File size: 2,125 Bytes
c56015f 6856f4f 7810580 7f0d42c ed1eaf8 c56015f ed1eaf8 7f0d42c ed1eaf8 c56015f 465a303 ed1eaf8 9c82573 08944b8 834744a 08944b8 7f0d42c 61e5898 7f0d42c | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 | ---
license: apache-2.0
---
# 🧠 QA LLM – Utilisation du Modèle
Ce projet fournit un modèle de langage fine-tuné pour répondre à des questions en français.
Voici comment l'utiliser dans ton propre code, ou via l’interface Gradio.
---
## 📦 Installation
Installe les dépendances nécessaires :
```bash
pip install torch transformers gradio
```
# 🚀 Charger le modèle et générer une réponse
```bash import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_dir = "qa_llm_model"
tokenizer = AutoTokenizer.from_pretrained(model_dir)
model = AutoModelForCausalLM.from_pretrained(model_dir)
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
def generate_answer(question, max_new_tokens=128, temperature=0.8, top_p=0.9):
prompt = f"Question: {question}\nRéponse:"
inputs = tokenizer(prompt, return_tensors="pt").to(device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=max_new_tokens,
do_sample=True,
top_p=top_p,
temperature=temperature,
)
full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
if "Réponse:" in full_text:
answer_part = full_text.split("Réponse:", 1)[1]
else:
answer_part = full_text
if "<EOS>" in answer_part:
answer_part = answer_part.split("<EOS>")[0]
return answer_part.strip()
```
# 🎛 Interface Gradio
```bash import gradio as gr
iface = gr.Interface(
fn=generate_answer,
inputs=[
gr.Textbox(lines=2, label="Ta question"),
gr.Slider(16, 512, value=128, step=16, label="max_new_tokens"),
gr.Slider(0.1, 1.5, value=0.8, step=0.05, label="temperature"),
gr.Slider(0.1, 1.0, value=0.9, step=0.05, label="top_p"),
],
outputs=gr.Textbox(lines=8, label="Réponse de l'IA"),
title="QA LLM",
description="Pose une question en français et le modèle génère une réponse.",
)
iface.launch(share=True)
```
▶️ Lancer l’interface
```bash
python app.py
```
# 📜 Licence
## 🔒 Freeware |