Llama-3.1-8B-Text2SQL-Banque-FR-GGUF

Built with Llama

Llama 3.1 8B Instruct fine-tunรฉ en QLoRA pour traduire des questions mรฉtier en franรงais en requรชtes SQLite, sur une base bancaire synthรฉtique prรฉcise. Le modรจle est quantifiรฉ en GGUF Q4_K_M pour llama.cpp.

Code, benchmark et agent : github.com/Akhem3/text-to-sql-agent. Adaptateur LoRA (MLX) : akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX.

Portรฉe. Ce n'est pas un modรจle text-to-SQL gรฉnรฉraliste. Il a รฉtรฉ entraรฎnรฉ sur un seul schรฉma de 3 tables (clients, abonnements, factures), avec des donnรฉes synthรฉtiques gรฉnรฉrรฉes par Faker et des questions gรฉnรฉrรฉes par IA. Il n'a รฉtรฉ testรฉ sur aucun autre schรฉma.

Fichier

Fichier Quantification Taille SHA-256
llama31-lora-v1-iter440-Q4_K_M.gguf Q4_K_M (4,89 bits par poids) 4,9 Go aa354ae840fea94cc5bcba0880e2c3f427901585751d02191cece435fa8291da

Construction.

  1. L'adaptateur LoRA est fusionnรฉ dans les poids 16 bits du modรจle de base (rรฉvision 0e9e39f), et non dans le modรจle 4 bits qui a servi ร  l'entraรฎnement. On n'a ainsi qu'une seule quantification.
  2. Le modรจle fusionnรฉ est converti en GGUF bf16.
  3. Il est ensuite quantifiรฉ en Q4_K_M avec llama.cpp (commit cd959ba, build b12110).

Un contrรดle a vรฉrifiรฉ la fusion : les 112 matrices ciblรฉes valent W + scale ยท BยทA, et les 179 autres sont identiques au modรจle de base.

Utilisation

llama-server -m llama31-lora-v1-iter440-Q4_K_M.gguf -c 4096 --port 8080 \
    --chat-template-kwargs '{"date_string": "26 Jul 2024"}'
  • --port 8080 : le port qu'attend l'agent du dรฉpรดt. Le port par dรฉfaut de llama-server varie selon les versions (9931 dans le build b12110).

  • --chat-template-kwargs est indispensable. Le template de Llama 3.1 รฉcrit une ligne Today Date: dans le prompt systรจme. Le modรจle a รฉtรฉ entraรฎnรฉ et รฉvaluรฉ avec 26 Jul 2024, la valeur par dรฉfaut du template, alors que llama-server y met la date du jour. Sans cette option, le prompt diffรจre de celui qui a รฉtรฉ mesurรฉ, et rien ne le signale.

  • -c 4096 : le schรฉma de la base est inclus dans chaque prompt, qui compte environ 700 tokens.

  • Ajoutez -ngl 99 pour dรฉcharger les couches sur le GPU (Metal, CUDA).

Prompt. Le modรจle attend le prompt systรจme exact de l'entraรฎnement :

  • des rรจgles SQLite ;
  • le schรฉma CREATE TABLE ;
  • les valeurs possibles des colonnes catรฉgorielles.

Ce prompt est construit par build_messages dans src/text2sql/prompts.py. Le plus simple est d'utiliser l'agent du dรฉpรดt, qui s'en charge et ajoute une boucle de correction des erreurs SQLite. Il se lance directement ou avec Docker. Gรฉnรฉration en dรฉcodage glouton (tempรฉrature 0), 512 tokens au maximum.

Rรฉsultats

Le benchmark est maison : 100 questions de validation et 100 de test sur la base synthรฉtique. La mรฉtrique principale est l'execution accuracy (EX) : la requรชte renvoie le mรชme rรฉsultat que la requรชte de rรฉfรฉrence.

Test (utilisรฉ une seule fois, aprรจs tous les choix), Llama 3.1 8B quantifiรฉ en 4 bits sous MLX, 0-shot :

SQL valide EX
Sans adaptateur 86 % 18 %
Avec adaptateur 98 % 42 %
McNemar +12/-0, p < 0,001 +27/-3, p < 0,001

Ce GGUF n'a pas รฉtรฉ รฉvaluรฉ sur le test, dรฉjร  consommรฉ. Sur la validation, il ne montre pas de dรฉgradation dรฉtectable par rapport au modรจle MLX 4 bits avec adaptateur : EX 43 % contre 40 % (+11/-8, McNemar p = 0,65), et SQL valide 94 % contre 98 %. Ces 43 % mesurent seulement l'absence de dรฉgradation. Ils ne sont pas un score du modรจle.

Limites

  • La plupart des erreurs sont silencieuses. Sur le test, 98 requรชtes s'exรฉcutent mais 42 seulement sont justes.
  • Le gain vient surtout du choix des colonnes, en partie arbitraire dans le benchmark, plus que d'une meilleure logique SQL.
  • Les รฉchantillons sont petits : 100 questions de test, et 7 ร  9 par famille de requรชtes.
  • Le domaine est รฉtroit : un seul schรฉma, des donnรฉes et des questions synthรฉtiques.

Entraรฎnement

Mรฉthode QLoRA avec mlx-lm 0.32.2, sur le modรจle de base quantifiรฉ en 4 bits
Donnรฉes 441 exemples d'entraรฎnement et 50 de dev, tirรฉs du split train
LoRA rang 8, scale 20, dropout 0, 16 derniรจres couches (0,13 % des paramรจtres)
Optimisation Adam, learning rate 1e-5, batch 2, perte masquรฉe sur le prompt (--mask-prompt), graine 42
Durรฉe 660 itรฉrations (3 รฉpoques) en 79 min sur un Mac Apple M5 de 24 Go
Point retenu itรฉration 440 (2 รฉpoques), choisie sur la perte de dev (0,067)

Licence

Ce modรจle dรฉrive de Llama 3.1 8B Instruct et reste soumis ร  la Llama 3.1 Community License (fichiers LICENSE et NOTICE). Son usage doit respecter la politique d'utilisation acceptable de Meta.

Llama 3.1 is licensed under the Llama 3.1 Community License, Copyright ยฉ Meta Platforms, Inc. All Rights Reserved.

Downloads last month
108
GGUF
Model size
8B params
Architecture
llama
Hardware compatibility
Log In to add your hardware

4-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Model tree for akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF

Finetuned
(3,322)
this model