changement modele llm gratuit

requirements.txt

@@ -16,3 +16,6 @@ chromadb
 # Optional but often useful
 tqdm                       # Pour affichage des barres de progression
 python-dotenv              # Pour lire .env si tu stockes des clés API
+
+transformers
+torch

src/streamlit_app.py

@@ -9,6 +9,35 @@ from utils.load_embeddings import get_local_embeddings
 import requests
 import datetime
 
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
+
+@st.cache_resource
+def load_local_model():
+    model_id = "mistralai/Mistral-7B-Instruct-v0.2"
+    tokenizer = AutoTokenizer.from_pretrained(model_id)
+    model = AutoModelForCausalLM.from_pretrained(
+        model_id,
+        torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+        device_map="auto"
+    )
+    return tokenizer, model
+
+tokenizer, model = load_local_model()
+
+def generate_response(prompt):
+    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=512,
+            do_sample=True,
+            temperature=0.7,
+            top_p=0.9
+        )
+    return tokenizer.decode(outputs[0], skip_special_tokens=True).split("[RESPONSE]")[-1].strip()
+
+
 st.set_page_config(page_title="Assistant Juridique IA", layout="wide")
 st.title("📚 Assistant Juridique avec IA")
 st.write("Posez une question juridique.")
@@ -192,46 +221,6 @@ if st.button("📤 Envoyer") and user_input.strip():
         f"\n[RESPONSE]"
     )
     # Appel direct à l'API Inference Hugging Face pour Mixtral
-    api_url = "https://api-inference.huggingface.co/models/mistralai/Mixtral-8x7B-Instruct-v0.1"
-    headers = {"Authorization": f"Bearer {token}"}
-    payload = {"inputs": prompt}
-    try:
-        response = requests.post(api_url, headers=headers, json=payload, timeout=60)
-        response.raise_for_status()
-        result_json = response.json()
-        if isinstance(result_json, list) and len(result_json) > 0 and "generated_text" in result_json[0]:
-            output_text = result_json[0]["generated_text"]
-            # Post-traitement : ne garder que la réponse après [RESPONSE]
-            if "[RESPONSE]" in output_text:
-                output_text = output_text.split("[RESPONSE]", 1)[-1].lstrip("\n :")
-        elif isinstance(result_json, dict) and "error" in result_json:
-            st.error(f"Erreur Hugging Face API : {result_json['error']}")
-            st.stop()
-        else:
-            output_text = str(result_json)
-    except Exception as e:
-        import traceback
-        st.error(f"❌ Erreur pendant la génération de la réponse : {e}")
-        st.error(f"Type d'erreur : {type(e).__name__}")
-        st.expander("Voir détails de l'erreur").write(traceback.format_exc())
-        st.write("### Question utilisateur")
-        st.write(user_input)
-        st.write("### Nombre de documents récupérés :", len(filtered_docs))
-        st.write("### Aperçu du premier document (métadonnées + contenu)")
-        if filtered_docs:
-            doc, score, pertinence = filtered_docs[0]
-            st.json({
-                "metadata": doc.metadata,
-                "pertinence": pertinence,
-                "page_content_preview": doc.page_content[:500]
-            })
-        st.stop()
-    # Gestion explicite de l'erreur 402 Hugging Face API
-    except requests.exceptions.HTTPError as e:
-        if hasattr(e.response, 'status_code') and e.response.status_code == 402:
-            st.error("❌ Erreur 402 : L’accès au modèle Mixtral via l’API Hugging Face nécessite un abonnement payant. Veuillez vérifier votre clé API ou utiliser un modèle local.")
-            st.stop()
-        else:
-            raise
+    output_text = generate_response(prompt)
     st.subheader("✅ Réponse générée")
     st.write(output_text)