Instructions to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- MLX
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX with MLX:
# Make sure mlx-lm is installed # pip install --upgrade mlx-lm # if on a CUDA device, also pip install mlx[cuda] # Generate text with mlx-lm from mlx_lm import load, generate model, tokenizer = load("akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX") prompt = "Once upon a time in" text = generate(model, tokenizer, prompt=prompt, verbose=True) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- LM Studio
- MLX LM
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX with MLX LM:
Generate or start a chat session
# Install MLX LM uv tool install mlx-lm # Generate some text mlx_lm.generate --model "akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX" --prompt "Once upon a time"
- Atomic Chat
Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX
Built with Llama
Adaptateur LoRA (format mlx-lm) pour Llama 3.1 8B Instruct. Il traduit des questions métier en français en requêtes SQLite, sur une base bancaire synthétique précise. C'est l'adaptateur qui a obtenu 42 % d'execution accuracy sur le test du benchmark, contre 18 % sans adaptateur.
Code, benchmark et agent : github.com/Akhem3/text-to-sql-agent. Version GGUF pour llama.cpp : akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF.
Portée. Ce n'est pas un modèle text-to-SQL généraliste. Il a été entraîné sur un seul schéma de 3 tables (
clients,abonnements,factures), avec des données synthétiques générées par Faker et des questions générées par IA. Il n'a été testé sur aucun autre schéma.
Fichiers
| Fichier | Contenu |
|---|---|
adapters.safetensors |
poids LoRA, 42 Mo (SHA-256 2cac222ff0250f4430764f2a1e95591b26ef8d6ae4a80041a406041e9b56eb38) |
adapter_config.json |
configuration de l'entraînement, telle qu'écrite par mlx-lm |
adapter_config.json est celui du run complet : on y lit "iters": 660 et des chemins locaux (models/...). Le fichier adapters.safetensors, lui, est le point de sauvegarde de l'itération 440. mlx-lm n'utilise que le type d'adaptateur, le nombre de couches et les paramètres LoRA de ce fichier.
Utilisation (Apple Silicon)
L'adaptateur a été entraîné et évalué sur le modèle de base quantifié en 4 bits par mlx-lm, avec la taille de groupe par défaut (64). Il faut d'abord recréer ce modèle :
pip install mlx-lm==0.32.2
mlx_lm.convert --hf-path meta-llama/Llama-3.1-8B-Instruct --mlx-path llama31-8b-4bit -q --q-bits 4
hf download akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX --local-dir adapter
Le modèle de base Llama 3.1 est soumis à une licence : il faut l'accepter sur sa page Hugging Face avant le téléchargement. La révision utilisée pour ce projet est 0e9e39f.
Reproduire les 42 % avec le benchmark du dépôt cloné, après uv sync et la génération du dataset (uv run python -m src.finetuning.build_dataset). La quantification refaite avec la même version de mlx-lm devrait redonner le même modèle 4 bits, mais cela n'a pas été vérifié bit à bit.
uv run python -m src.text2sql.evaluate --backend mlx \
--model llama31-8b-4bit --adapter adapter --split test --name repro_test
Prompt. Le modèle attend le prompt système exact de l'entraînement :
- des règles SQLite ;
- le schéma
CREATE TABLE; - les valeurs possibles des colonnes catégorielles.
Ce prompt est construit par build_messages dans src/text2sql/prompts.py. Génération en décodage glouton (température 0).
Résultats
Le benchmark est maison : 100 questions de validation et 100 de test sur la base synthétique. La métrique principale est l'execution accuracy (EX) : la requête renvoie le même résultat que la requête de référence.
Test (utilisé une seule fois, après tous les choix), modèle 4 bits sous MLX, 0-shot :
| SQL valide | EX | |
|---|---|---|
| Sans adaptateur | 86 % | 18 % |
| Avec adaptateur | 98 % | 42 % |
| McNemar | +12/-0, p < 0,001 | +27/-3, p < 0,001 |
Sur la validation, EX passe de 17 % à 40 %. Ajouter 5 exemples au prompt (few-shot) n'apporte rien de significatif avec l'adaptateur : 39,7 % ± 2,3 sur 3 graines.
Limites
- La plupart des erreurs sont silencieuses. Sur le test, 98 requêtes s'exécutent mais 42 seulement sont justes.
- Le gain vient surtout du choix des colonnes, en partie arbitraire dans le benchmark, plus que d'une meilleure logique SQL.
- Les échantillons sont petits : 100 questions de test, et 7 à 9 par famille de requêtes.
- Le domaine est étroit : un seul schéma, des données et des questions synthétiques.
Entraînement
| Méthode | QLoRA avec mlx-lm 0.32.2 (mlx 0.32.4), sur le modèle de base quantifié en 4 bits |
| Données | 441 exemples d'entraînement et 50 de dev, tirés du split train |
| LoRA | rang 8, scale 20, dropout 0, 16 dernières couches (0,13 % des paramètres) |
| Optimisation | Adam, learning rate 1e-5, batch 2, perte masquée sur le prompt (--mask-prompt), graine 42 |
| Durée | 660 itérations (3 époques) en 79 min sur un Mac Apple M5 de 24 Go |
| Point retenu | itération 440 (2 époques), choisie sur la perte de dev (0,067) |
Licence
Cet adaptateur dérive de Llama 3.1 8B Instruct et reste soumis à la Llama 3.1 Community License (fichiers LICENSE et NOTICE). Son usage doit respecter la politique d'utilisation acceptable de Meta.
Llama 3.1 is licensed under the Llama 3.1 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.
Quantized
Model tree for akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX
Base model
meta-llama/Llama-3.1-8B