Un coup de copilote pour gérer la déviance du modèle, le dialogue : l'objectif est de partir sur un modele d'extraction et pas un modele de chat quand même.

app.py

@@ -68,24 +68,52 @@ def rechercher_article(articleSource):
 def extract_json_from_response(response):
     """
     Extrait le premier bloc JSON valide d'une chaîne de texte contenant potentiellement du texte en vrac.
+    Gère les dialogues USER/INST et autres artefacts de modèles de chat.
     Retourne un objet Python (dict) ou None si extraction impossible.
     """
-    # Recherche tous les blocs JSON potentiels dans la réponse
-    json_candidates = re.findall(r'({[\s\S]*?})', response)
+    # Nettoyer la réponse des balises de dialogue communes
+    cleaned_response = response
+    
+    # Supprimer les balises de dialogue courantes
+    patterns_to_remove = [
+        r'USER:.*?(?=\{|$)',
+        r'INST:.*?(?=\{|$)',
+        r'ASSISTANT:.*?(?=\{|$)',
+        r'AI:.*?(?=\{|$)',
+        r'```json',
+        r'```',
+        r'Here is the JSON:',
+        r'The JSON response is:',
+        r'Response:',
+    ]
+    
+    for pattern in patterns_to_remove:
+        cleaned_response = re.sub(pattern, '', cleaned_response, flags=re.IGNORECASE | re.DOTALL)
+    
+    # Recherche tous les blocs JSON potentiels dans la réponse nettoyée
+    json_candidates = re.findall(r'({[\s\S]*?})', cleaned_response)
+    
     for candidate in json_candidates:
         try:
-            return json.loads(candidate)
+            # Nettoyer le candidat des caractères parasites
+            candidate = candidate.strip()
+            parsed = json.loads(candidate)
+            # Vérifier que c'est un objet avec la structure attendue
+            if isinstance(parsed, dict):
+                return parsed
         except Exception:
             continue
+    
     # Si aucun bloc JSON valide trouvé, essayer de corriger les crochets manquants
     try:
-        start = response.index('{')
-        end = response.rindex('}') + 1
-        json_str = response[start:end]
+        start = cleaned_response.index('{')
+        end = cleaned_response.rindex('}') + 1
+        json_str = cleaned_response[start:end]
         return json.loads(json_str)
     except Exception as e:
         print("Erreur lors du parsing JSON extrait:", e)
-        print("Aucun JSON trouvé dans la réponse.")
+        print("Réponse brute:", response)
+        print("Réponse nettoyée:", cleaned_response)
         return None
 
 
@@ -94,19 +122,32 @@ def respond(message):
     print(message)
     print(" ------------------ ")
     # Prompt par défaut
-    custom_prompt = """Tu es un programme chargé de générer un fichier JSON à partir d'un message.
-    Ta mission est de déterminer dans le messages fourni quels sont les articles qui sont demandés et pour quelle quantité.   
-    La réponse est au format json et donne uniquement une liste d'article.
-    Pour chaque article 2 informations par article identifié : la désignation et le nombre
-    La désignation peut être est formée du type d'article et des caractéristiques comme la matière ou les dimensions
-
-    Return only JSON content.
+    custom_prompt = """Tu es un analyseur de texte qui extrait des informations d'articles.
+    Tu dois analyser le message et identifier les articles demandés avec leurs quantités.
+    
+    IMPORTANT: Réponds UNIQUEMENT avec un objet JSON valide, sans texte supplémentaire.
+    
+    Format de réponse attendu:
+    {
+        "articles": [
+            {
+                "designation": "description de l'article",
+                "quantite": nombre_ou_null
+            }
+        ]
+    }
     
+    Règles:
+    - Pas de texte avant ou après le JSON
+    - Pas de commentaires
+    - Pas de dialogue USER/INST
+    - Juste le JSON brut
     """
     
     messages = [{"role": "system", "content": custom_prompt}]
     messages +=  [{"role": "user", "content": message}]
 
+    # Utiliser zephyr avec des paramètres plus stricts pour éviter les dialogues
     client = InferenceClient("HuggingFaceH4/zephyr-7b-beta", token=os.getenv("HF_TOKEN"))
     # client = InferenceClient(
     #     "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
@@ -118,10 +159,11 @@ def respond(message):
     full_response = ""
     for chunk in client.chat_completion(
         messages,
-        max_tokens=512,
+        max_tokens=256,  # Réduire pour éviter les dialogues longs
         stream=True,
-        temperature=0.1,
-        top_p=0.1,
+        temperature=0.05,  # Très faible pour plus de déterminisme
+        top_p=0.3,  # Plus restrictif
+        do_sample=False,  # Mode déterministe
     ):
         token = chunk.choices[0].delta.content
         if token:
@@ -139,11 +181,29 @@ def respond(message):
     # try:
     order = {}
     try:
+        if json_response is None:
+            print("Aucun JSON valide trouvé dans la réponse")
+            return {"articles": [], "erreur": "Impossible de parser la réponse"}
         
         articles = []
-        for article in json_response.get("articles", []):
-            found_article = rechercher_article(article)
-            articles.append(found_article)
+        # Vérifier si la réponse a la structure attendue
+        if "articles" in json_response:
+            articles_data = json_response["articles"]
+        else:
+            # Si pas de clé "articles", essayer d'utiliser la réponse directement si c'est une liste
+            if isinstance(json_response, list):
+                articles_data = json_response
+            else:
+                print("Structure JSON inattendue:", json_response)
+                return {"articles": [], "erreur": "Structure JSON inattendue"}
+        
+        for article in articles_data:
+            if isinstance(article, dict) and "designation" in article:
+                found_article = rechercher_article(article)
+                articles.append(found_article)
+            else:
+                print("Article mal formaté:", article)
+        
         order["articles"] = articles
         # Ajouter les champs destinataire et delai avec des valeurs figées
         order["destinataire"] = {
@@ -182,4 +242,4 @@ with gr.Blocks() as demo:
     )
 
 if __name__ == "__main__":
-    demo.launch(share=True)
+    demo.launch(share=True)