modele : falcon

requirements.txt

@@ -17,5 +17,8 @@ chromadb
 tqdm                       # Pour affichage des barres de progression
 python-dotenv              # Pour lire .env si tu stockes des clés API
 
-transformers
-torch
+transformers>=4.36.0
+torch>=2.1.0
+accelerate
+
+

src/streamlit_app.py

@@ -11,10 +11,11 @@ import datetime
 
 from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
+import streamlit as st
 
 @st.cache_resource
 def load_local_model():
-    model_id = "mistralai/Mistral-7B-Instruct-v0.2"
+    model_id = "tiiuae/falcon-7b-instruct"
     tokenizer = AutoTokenizer.from_pretrained(model_id)
     model = AutoModelForCausalLM.from_pretrained(
         model_id,
@@ -25,6 +26,9 @@ def load_local_model():
 
 tokenizer, model = load_local_model()
 
+
+tokenizer, model = load_local_model()
+
 def generate_response(prompt):
     inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
     with torch.no_grad():
@@ -35,8 +39,11 @@ def generate_response(prompt):
             temperature=0.7,
             top_p=0.9
         )
-    return tokenizer.decode(outputs[0], skip_special_tokens=True).split("[RESPONSE]")[-1].strip()
-
+    text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    # Nettoyage optionnel : couper avant [RESPONSE] si tu utilises ce tag
+    if "[RESPONSE]" in text:
+        text = text.split("[RESPONSE]", 1)[-1].strip()
+    return text
 
 st.set_page_config(page_title="Assistant Juridique IA", layout="wide")
 st.title("📚 Assistant Juridique avec IA")
@@ -158,7 +165,7 @@ if st.button("📤 Envoyer") and user_input.strip():
         score = max(0, min(score, max_dist))
         return round((1 - score / max_dist) * 100)
 
-    with st.spinner("Recherche et génération de la réponse..."):
+    with st.spinner("Recherche des documents pertinents..."):
         embeddings = get_local_embeddings()
         db_path = os.path.abspath("./db")
         db = Chroma(persist_directory=db_path, embedding_function=embeddings)
@@ -206,21 +213,28 @@ if st.button("📤 Envoyer") and user_input.strip():
                     unsafe_allow_html=True
                 )
 
-    # Préparation d'un prompt optimisé pour Mixtral, tenant compte du score de pertinence
+    # Préparation d'un prompt optimisé pour Falcon, tenant compte du score de pertinence
     context_text = "\n\n".join([
         f"<doc pertinence={score:.2f}>\n{doc.page_content.strip()}\n</doc>"
         for doc, score, pertinence in filtered_docs
     ])
-    prompt = (
-        f"<s>\n[INSTRUCTION]\nVous êtes un assistant juridique spécialisé en droit français.\n"
-        f"Votre tâche est de proposer une réponse synthétique et argumentée à la question suivante, en vous appuyant uniquement sur les extraits de documents fournis, classés par pertinence.\n"
-        f"Indiquez clairement si la réponse est incertaine ou partielle.\n"
-        f"Répondez en français.\n"
-        f"\nQuestion : {user_input}\n"
-        f"\nContexte documentaire (avec pertinence) :\n{context_text}\n"
-        f"\n[RESPONSE]"
-    )
-    # Appel direct à l'API Inference Hugging Face pour Mixtral
-    output_text = generate_response(prompt)
-    st.subheader("✅ Réponse générée")
-    st.write(output_text)
+    prompt = f"""
+    <s>
+    [INSTRUCTION]
+    Vous êtes un assistant juridique spécialisé en droit français.
+    Votre tâche est de proposer une réponse synthétique et argumentée à la question suivante, en vous appuyant uniquement sur les extraits de documents fournis, classés par pertinence.
+    Indiquez clairement si la réponse est incertaine ou partielle.
+    Répondez en français.
+
+    Question : {user_input}
+
+    Contexte documentaire (avec pertinence) :
+    {context_text}
+
+    [RESPONSE]
+    """
+
+    with st.spinner("Génération de la réponse..."):
+       output_text = generate_response(prompt)
+       st.subheader("✅ Réponse générée")
+       st.write(output_text)