Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX

Built with Llama

Adaptateur LoRA (format mlx-lm) pour Llama 3.1 8B Instruct. Il traduit des questions métier en français en requêtes SQLite, sur une base bancaire synthétique précise. C'est l'adaptateur qui a obtenu 42 % d'execution accuracy sur le test du benchmark, contre 18 % sans adaptateur.

Code, benchmark et agent : github.com/Akhem3/text-to-sql-agent. Version GGUF pour llama.cpp : akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF.

Portée. Ce n'est pas un modèle text-to-SQL généraliste. Il a été entraîné sur un seul schéma de 3 tables (clients, abonnements, factures), avec des données synthétiques générées par Faker et des questions générées par IA. Il n'a été testé sur aucun autre schéma.

Fichiers

Fichier Contenu
adapters.safetensors poids LoRA, 42 Mo (SHA-256 2cac222ff0250f4430764f2a1e95591b26ef8d6ae4a80041a406041e9b56eb38)
adapter_config.json configuration de l'entraînement, telle qu'écrite par mlx-lm

adapter_config.json est celui du run complet : on y lit "iters": 660 et des chemins locaux (models/...). Le fichier adapters.safetensors, lui, est le point de sauvegarde de l'itération 440. mlx-lm n'utilise que le type d'adaptateur, le nombre de couches et les paramètres LoRA de ce fichier.

Utilisation (Apple Silicon)

L'adaptateur a été entraîné et évalué sur le modèle de base quantifié en 4 bits par mlx-lm, avec la taille de groupe par défaut (64). Il faut d'abord recréer ce modèle :

pip install mlx-lm==0.32.2
mlx_lm.convert --hf-path meta-llama/Llama-3.1-8B-Instruct --mlx-path llama31-8b-4bit -q --q-bits 4
hf download akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX --local-dir adapter

Le modèle de base Llama 3.1 est soumis à une licence : il faut l'accepter sur sa page Hugging Face avant le téléchargement. La révision utilisée pour ce projet est 0e9e39f.

Reproduire les 42 % avec le benchmark du dépôt cloné, après uv sync et la génération du dataset (uv run python -m src.finetuning.build_dataset). La quantification refaite avec la même version de mlx-lm devrait redonner le même modèle 4 bits, mais cela n'a pas été vérifié bit à bit.

uv run python -m src.text2sql.evaluate --backend mlx \
    --model llama31-8b-4bit --adapter adapter --split test --name repro_test

Prompt. Le modèle attend le prompt système exact de l'entraînement :

  • des règles SQLite ;
  • le schéma CREATE TABLE ;
  • les valeurs possibles des colonnes catégorielles.

Ce prompt est construit par build_messages dans src/text2sql/prompts.py. Génération en décodage glouton (température 0).

Résultats

Le benchmark est maison : 100 questions de validation et 100 de test sur la base synthétique. La métrique principale est l'execution accuracy (EX) : la requête renvoie le même résultat que la requête de référence.

Test (utilisé une seule fois, après tous les choix), modèle 4 bits sous MLX, 0-shot :

SQL valide EX
Sans adaptateur 86 % 18 %
Avec adaptateur 98 % 42 %
McNemar +12/-0, p < 0,001 +27/-3, p < 0,001

Sur la validation, EX passe de 17 % à 40 %. Ajouter 5 exemples au prompt (few-shot) n'apporte rien de significatif avec l'adaptateur : 39,7 % ± 2,3 sur 3 graines.

Limites

  • La plupart des erreurs sont silencieuses. Sur le test, 98 requêtes s'exécutent mais 42 seulement sont justes.
  • Le gain vient surtout du choix des colonnes, en partie arbitraire dans le benchmark, plus que d'une meilleure logique SQL.
  • Les échantillons sont petits : 100 questions de test, et 7 à 9 par famille de requêtes.
  • Le domaine est étroit : un seul schéma, des données et des questions synthétiques.

Entraînement

Méthode QLoRA avec mlx-lm 0.32.2 (mlx 0.32.4), sur le modèle de base quantifié en 4 bits
Données 441 exemples d'entraînement et 50 de dev, tirés du split train
LoRA rang 8, scale 20, dropout 0, 16 dernières couches (0,13 % des paramètres)
Optimisation Adam, learning rate 1e-5, batch 2, perte masquée sur le prompt (--mask-prompt), graine 42
Durée 660 itérations (3 époques) en 79 min sur un Mac Apple M5 de 24 Go
Point retenu itération 440 (2 époques), choisie sur la perte de dev (0,067)

Licence

Cet adaptateur dérive de Llama 3.1 8B Instruct et reste soumis à la Llama 3.1 Community License (fichiers LICENSE et NOTICE). Son usage doit respecter la politique d'utilisation acceptable de Meta.

Llama 3.1 is licensed under the Llama 3.1 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.

Downloads last month

-

Downloads are not tracked for this model. How to track
MLX
Hardware compatibility
Log In to add your hardware

Quantized

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX

Adapter
(3,065)
this model