Instructions to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M # Run inference directly in the terminal: llama cli -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M # Run inference directly in the terminal: llama cli -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama cli -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
Use Docker
docker model run hf.co/akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
- Llama new
- LM Studio
- Jan
- vLLM
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
- Ollama
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with Ollama:
ollama run hf.co/akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
- Unsloth Desktop
- Pi
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:9931/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with Docker Model Runner:
docker model run hf.co/akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
- Lemonade
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
Run and chat with the model
lemonade run user.Llama-3.1-8B-Text2SQL-Banque-FR-GGUF-Q4_K_M
List all available models
lemonade list
- Hermes Agent
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:9931/v1 hermes config set model.default akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:9931/v1 \ --custom-model-id "akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF:Q4_K_M" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
Llama-3.1-8B-Text2SQL-Banque-FR-GGUF
Built with Llama
Llama 3.1 8B Instruct fine-tunรฉ en QLoRA pour traduire des questions mรฉtier en franรงais en requรชtes SQLite, sur une base bancaire synthรฉtique prรฉcise. Le modรจle est quantifiรฉ en GGUF Q4_K_M pour llama.cpp.
Code, benchmark et agent : github.com/Akhem3/text-to-sql-agent. Adaptateur LoRA (MLX) : akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-LoRA-MLX.
Portรฉe. Ce n'est pas un modรจle text-to-SQL gรฉnรฉraliste. Il a รฉtรฉ entraรฎnรฉ sur un seul schรฉma de 3 tables (
clients,abonnements,factures), avec des donnรฉes synthรฉtiques gรฉnรฉrรฉes par Faker et des questions gรฉnรฉrรฉes par IA. Il n'a รฉtรฉ testรฉ sur aucun autre schรฉma.
Fichier
| Fichier | Quantification | Taille | SHA-256 |
|---|---|---|---|
llama31-lora-v1-iter440-Q4_K_M.gguf |
Q4_K_M (4,89 bits par poids) | 4,9 Go | aa354ae840fea94cc5bcba0880e2c3f427901585751d02191cece435fa8291da |
Construction.
- L'adaptateur LoRA est fusionnรฉ dans les poids 16 bits du modรจle de base (rรฉvision
0e9e39f), et non dans le modรจle 4 bits qui a servi ร l'entraรฎnement. On n'a ainsi qu'une seule quantification. - Le modรจle fusionnรฉ est converti en GGUF bf16.
- Il est ensuite quantifiรฉ en Q4_K_M avec llama.cpp (commit
cd959ba, buildb12110).
Un contrรดle a vรฉrifiรฉ la fusion : les 112 matrices ciblรฉes valent W + scale ยท BยทA, et les 179 autres sont identiques au modรจle de base.
Utilisation
llama-server -m llama31-lora-v1-iter440-Q4_K_M.gguf -c 4096 --port 8080 \
--chat-template-kwargs '{"date_string": "26 Jul 2024"}'
--port 8080: le port qu'attend l'agent du dรฉpรดt. Le port par dรฉfaut de llama-server varie selon les versions (9931 dans le buildb12110).--chat-template-kwargsest indispensable. Le template de Llama 3.1 รฉcrit une ligneToday Date:dans le prompt systรจme. Le modรจle a รฉtรฉ entraรฎnรฉ et รฉvaluรฉ avec26 Jul 2024, la valeur par dรฉfaut du template, alors que llama-server y met la date du jour. Sans cette option, le prompt diffรจre de celui qui a รฉtรฉ mesurรฉ, et rien ne le signale.-c 4096: le schรฉma de la base est inclus dans chaque prompt, qui compte environ 700 tokens.Ajoutez
-ngl 99pour dรฉcharger les couches sur le GPU (Metal, CUDA).
Prompt. Le modรจle attend le prompt systรจme exact de l'entraรฎnement :
- des rรจgles SQLite ;
- le schรฉma
CREATE TABLE; - les valeurs possibles des colonnes catรฉgorielles.
Ce prompt est construit par build_messages dans src/text2sql/prompts.py. Le plus simple est d'utiliser l'agent du dรฉpรดt, qui s'en charge et ajoute une boucle de correction des erreurs SQLite. Il se lance directement ou avec Docker. Gรฉnรฉration en dรฉcodage glouton (tempรฉrature 0), 512 tokens au maximum.
Rรฉsultats
Le benchmark est maison : 100 questions de validation et 100 de test sur la base synthรฉtique. La mรฉtrique principale est l'execution accuracy (EX) : la requรชte renvoie le mรชme rรฉsultat que la requรชte de rรฉfรฉrence.
Test (utilisรฉ une seule fois, aprรจs tous les choix), Llama 3.1 8B quantifiรฉ en 4 bits sous MLX, 0-shot :
| SQL valide | EX | |
|---|---|---|
| Sans adaptateur | 86 % | 18 % |
| Avec adaptateur | 98 % | 42 % |
| McNemar | +12/-0, p < 0,001 | +27/-3, p < 0,001 |
Ce GGUF n'a pas รฉtรฉ รฉvaluรฉ sur le test, dรฉjร consommรฉ. Sur la validation, il ne montre pas de dรฉgradation dรฉtectable par rapport au modรจle MLX 4 bits avec adaptateur : EX 43 % contre 40 % (+11/-8, McNemar p = 0,65), et SQL valide 94 % contre 98 %. Ces 43 % mesurent seulement l'absence de dรฉgradation. Ils ne sont pas un score du modรจle.
Limites
- La plupart des erreurs sont silencieuses. Sur le test, 98 requรชtes s'exรฉcutent mais 42 seulement sont justes.
- Le gain vient surtout du choix des colonnes, en partie arbitraire dans le benchmark, plus que d'une meilleure logique SQL.
- Les รฉchantillons sont petits : 100 questions de test, et 7 ร 9 par famille de requรชtes.
- Le domaine est รฉtroit : un seul schรฉma, des donnรฉes et des questions synthรฉtiques.
Entraรฎnement
| Mรฉthode | QLoRA avec mlx-lm 0.32.2, sur le modรจle de base quantifiรฉ en 4 bits |
| Donnรฉes | 441 exemples d'entraรฎnement et 50 de dev, tirรฉs du split train |
| LoRA | rang 8, scale 20, dropout 0, 16 derniรจres couches (0,13 % des paramรจtres) |
| Optimisation | Adam, learning rate 1e-5, batch 2, perte masquรฉe sur le prompt (--mask-prompt), graine 42 |
| Durรฉe | 660 itรฉrations (3 รฉpoques) en 79 min sur un Mac Apple M5 de 24 Go |
| Point retenu | itรฉration 440 (2 รฉpoques), choisie sur la perte de dev (0,067) |
Licence
Ce modรจle dรฉrive de Llama 3.1 8B Instruct et reste soumis ร la Llama 3.1 Community License (fichiers LICENSE et NOTICE). Son usage doit respecter la politique d'utilisation acceptable de Meta.
Llama 3.1 is licensed under the Llama 3.1 Community License, Copyright ยฉ Meta Platforms, Inc. All Rights Reserved.
- Downloads last month
- 108
4-bit
Model tree for akhe-m/Llama-3.1-8B-Text2SQL-Banque-FR-GGUF
Base model
meta-llama/Llama-3.1-8B