Update app.py

app.py

@@ -24,7 +24,6 @@ from langchain_community.embeddings import HuggingFaceEmbeddings
 from sklearn.metrics.pairwise import cosine_similarity
 import time
 
-# Ajoutez ces imports au début du fichier
 from fastapi.responses import StreamingResponse
 import json
 import asyncio
@@ -128,11 +127,9 @@ def retrieve_relevant_context(query, embedding_model, mongo_collection, k=5):
     
     docs = list(mongo_collection.find({}, {"text": 1, "embedding": 1}))
     
-    # Format pour affichage de debug
     print(f"[DEBUG] Recherche de contexte pour: '{query}'")
     print(f"[DEBUG] {len(docs)} documents trouvés dans la base de données")
     
-    # Si pas de documents, retourner chaîne vide
     if not docs:
         print("[DEBUG] Aucun document dans la collection. RAG désactivé.")
         return ""
@@ -147,7 +144,6 @@ def retrieve_relevant_context(query, embedding_model, mongo_collection, k=5):
         sim = cosine_similarity([query_embedding], [doc["embedding"]])[0][0]
         similarities.append((sim, i, doc["text"]))
     
-    # Trier par similarité décroissante
     similarities.sort(reverse=True)
     
     # Afficher les top k documents avec leurs scores
@@ -159,7 +155,6 @@ def retrieve_relevant_context(query, embedding_model, mongo_collection, k=5):
         top_k_docs.append(text)
     print("==========================\n")
     
-    # Retourner le texte joint
     return "\n\n".join(top_k_docs)
 
 
@@ -171,7 +166,6 @@ async def get_admin_user(request: Request):
     return user
 
 
-# Initialiser le modèle d'embedding (à faire une seule fois au démarrage)
 try:
     embedding_model = HuggingFaceEmbeddings(model_name="shtilev/medical_embedded_v2")
     print("✅ Modèle d'embedding médical chargé avec succès")
@@ -199,42 +193,35 @@ async def upload_pdf(
     current_user: dict = Depends(get_admin_user)
 ):
     try:
-        # Vérifier que le fichier est un PDF
         if not file.filename.endswith('.pdf'):
             raise HTTPException(status_code=400, detail="Le fichier doit être un PDF")
         
-        # Lire le contenu du PDF
         contents = await file.read()
         pdf_file = BytesIO(contents)
         
-        # Extraire le texte du PDF
         pdf_reader = PyPDF2.PdfReader(pdf_file)
         text_content = ""
         for page_num in range(len(pdf_reader.pages)):
             text_content += pdf_reader.pages[page_num].extract_text() + "\n"
         
-        # Générer un embedding pour l'ensemble du texte si le modèle est disponible
         embedding = None
         if embedding_model:
             try:
                 # Limiter la taille du texte si nécessaire
                 max_length = 5000
                 truncated_text = text_content[:max_length]
-                embedding = embedding_model.encode(truncated_text).tolist()
+                embedding = embedding_model.embed_query(truncated_text)  
             except Exception as e:
                 print(f"Erreur lors de la génération de l'embedding: {str(e)}")
         
-        # Générer un identifiant unique pour le document
         doc_id = ObjectId()
         
-        # Enregistrer le fichier original 
         pdf_path = f"files/{str(doc_id)}.pdf"
         os.makedirs("files", exist_ok=True)
         with open(pdf_path, "wb") as f:
             pdf_file.seek(0)
             f.write(contents)
         
-        # Créer un objet document dans MongoDB
         document = {
             "_id": doc_id,
             "text": text_content,
@@ -266,10 +253,8 @@ async def upload_pdf(
 @app.get("/api/admin/knowledge")
 async def list_documents(current_user: dict = Depends(get_admin_user)):
     try:
-        # Récupérer les documents triés par date (plus récents en premier)
         documents = list(db.connaissances.find().sort("upload_date", -1))
         
-        # Convertir les types non sérialisables (ObjectId, datetime, etc.)
         result = []
         for doc in documents:
             doc_safe = {
@@ -291,7 +276,6 @@ async def list_documents(current_user: dict = Depends(get_admin_user)):
 @app.delete("/api/admin/knowledge/{document_id}")
 async def delete_document(document_id: str, current_user: dict = Depends(get_admin_user)):
     try:
-        # Convertir l'ID string en ObjectId
         try:
             doc_id = ObjectId(document_id)
         except Exception:
@@ -316,7 +300,6 @@ async def delete_document(document_id: str, current_user: dict = Depends(get_adm
                 print(f"Fichier supprimé: {pdf_path}")
             except Exception as e:
                 print(f"Erreur lors de la suppression du fichier: {str(e)}")
-                # On continue même si la suppression du fichier échoue
         
         return {"success": True, "message": "Document supprimé avec succès"}
         
@@ -341,7 +324,6 @@ async def login(request: Request, response: Response):
         user_id = str(user["_id"])
         username = f"{user['prenom']} {user['nom']}"
         
-        # Stocker la session en base de données
         db.sessions.insert_one({
             "session_id": session_id,
             "user_id": user_id,
@@ -349,7 +331,6 @@ async def login(request: Request, response: Response):
             "expires_at": datetime.utcnow() + timedelta(days=7)
         })
         
-        # Cookie configuré pour fonctionner sur HF Spaces
         response.set_cookie(
             key="session_id", 
             value=session_id, 
@@ -409,7 +390,6 @@ async def get_current_user(request: Request):
     
     return user
 
-# Endpoint pour déconnexion
 @app.post("/api/logout")
 async def logout(request: Request, response: Response):
     session_id = request.cookies.get("session_id")
@@ -490,18 +470,15 @@ async def chat(request: Request):
     user_message = data.get("message", "").strip()
     conversation_id = data.get("conversation_id")
 
-    # ② Vérification du message utilisateur
     if not user_message:
         raise HTTPException(status_code=400, detail="Le champ 'message' est requis.")
 
-    # ③ Authentification (on continue même si non authentifié)
     current_user = None
     try:
         current_user = await get_current_user(request)
     except HTTPException:
         pass
 
-    # ④ Gestion du quota de tokens pour l'utilisateur/authenticated convo
     current_tokens = 0
     message_tokens = 0
     if current_user and conversation_id:
@@ -521,7 +498,6 @@ async def chat(request: Request):
                 "tokens_limit": MAX_TOKENS
             }, status_code=403)
 
-    # ⑤ Sauvegarde immédiate du message utilisateur
     if conversation_id and current_user:
         db.messages.insert_one({
             "conversation_id": conversation_id,
@@ -531,7 +507,6 @@ async def chat(request: Request):
             "timestamp": datetime.utcnow()
         })
 
-    # ⑥ Détection d'une question sur l'historique
     is_history_question = any(
         phrase in user_message.lower()
         for phrase in [
@@ -541,7 +516,6 @@ async def chat(request: Request):
         ]
     )
 
-    # ⑦ Initialize conversation history if it doesn't exist
     if conversation_id not in conversation_history:
         conversation_history[conversation_id] = []
         # If there's existing conversation in DB, load it to memory
@@ -556,9 +530,7 @@ async def chat(request: Request):
                 else:
                     conversation_history[conversation_id].append(f"Réponse : {msg['text']}")
 
-    # ─── Gestion spécialisée des questions d'historique ─────────
     if is_history_question:
-        # Recueillir les vraies questions (pas les méta-questions sur l'historique)
         actual_questions = []
         
         if conversation_id in conversation_history:
@@ -574,23 +546,19 @@ async def chat(request: Request):
                     if not is_meta:
                         actual_questions.append(q_text)
         
-        # Cas 1: Aucune question précédente
         if not actual_questions:
             return JSONResponse({
                 "response": "Vous n'avez pas encore posé de question dans cette conversation. C'est notre premier échange."
             })
         
-        # Détection dynamique du numéro de question demandé
         question_number = None
         
-        # Chercher les patterns de questions spécifiques
         if any(p in user_message.lower() for p in ["première question", "1ère question", "1ere question"]):
             question_number = 1
         elif any(p in user_message.lower() for p in ["deuxième question", "2ème question", "2eme question", "seconde question"]):
             question_number = 2
         else:
             import re
-            # Chercher des patterns comme "3ème question", "4e question", etc.
             match = re.search(r'(\d+)[eèiéê]*m*e* question', user_message.lower())
             if match:
                 try:
@@ -598,7 +566,6 @@ async def chat(request: Request):
                 except:
                     pass
         
-        # Si on a identifié un numéro de question spécifique
         if question_number is not None:
             if 0 < question_number <= len(actual_questions):
                 suffix = "ère" if question_number == 1 else "ème"
@@ -610,7 +577,6 @@ async def chat(request: Request):
                     "response": f"Vous n'avez pas encore posé {question_number} questions dans cette conversation."
                 })
         
-        # Cas général: liste toutes les questions
         else:
             if len(actual_questions) == 1:
                 return JSONResponse({
@@ -621,30 +587,23 @@ async def chat(request: Request):
                 return JSONResponse({
                     "response": f"Voici les questions que vous avez posées dans cette conversation :\n\n{question_list}"
                 })
-    # ───────────────────────────────────────────────────────────────
 
-    # ⑧ RAG – récupération de contexte si ce n'est pas une question d'historique
     context = None
     if not is_history_question and embedding_model:
         context = retrieve_relevant_context(user_message, embedding_model, db.connaissances, k=5)
-        # Store context in history
         if context and conversation_id:
             conversation_history[conversation_id].append(f"Contexte : {context}")
 
-    # Add current question to history
     if conversation_id:
         conversation_history[conversation_id].append(f"Question : {user_message}")
 
-    # ⑨ Construction du prompt système avec contexte enrichi
     system_prompt = (
         "Tu es un chatbot spécialisé dans la santé mentale, et plus particulièrement la schizophrénie. "
         "Tu réponds de façon fiable, claire et empathique, en t'appuyant uniquement sur des sources médicales et en français. "
     )
 
-    # Construire un contexte enrichi qui combine RAG et résumé de l'historique
     enriched_context = ""
 
-    # Ajouter un résumé des questions précédentes (maximum 3)
     if conversation_id in conversation_history:
         actual_questions = []
         for msg in conversation_history[conversation_id]:
@@ -656,10 +615,9 @@ async def chat(request: Request):
                     "ce que j'ai demandé", "j'ai dit quoi", "quelles questions",
                     "c'était quoi ma", "quelle était ma", "mes questions"
                 ])
-                if not is_meta and q_text != user_message:  # Ne pas inclure la question actuelle
+                if not is_meta and q_text != user_message: 
                     actual_questions.append(q_text)
         
-        # Ajouter les 3 dernières questions au contexte
         if actual_questions:
             recent_questions = actual_questions[-5:]  # 3 dernières questions
             enriched_context += "Historique récent des questions:\n"
@@ -667,13 +625,11 @@ async def chat(request: Request):
                 enriched_context += f"- Question précédente {len(recent_questions)-i}: {q}\n"
             enriched_context += "\n"
 
-    # Ajouter le contexte RAG s'il existe
     if context:
         enriched_context += "Contexte médical pertinent:\n"
         enriched_context += context
         enriched_context += "\n\n"
 
-    # Compléter le prompt système
     if enriched_context:
         system_prompt += (
             f"\n\n{enriched_context}\n\n"
@@ -686,12 +642,9 @@ async def chat(request: Request):
             "Si tu ne sais pas répondre, indique-le clairement et suggère de consulter un professionnel de santé."
         )
 
-    # ⑩ Construction de l'historique conversationnel pour le modèle
     messages = [{"role": "system", "content": system_prompt}]
     
-    # Format conversation history for the LLM
     if conversation_id and len(conversation_history.get(conversation_id, [])) > 0:
-        # Convert our history format to chat format (last 10 exchanges)
         history = conversation_history[conversation_id]
         for i in range(0, min(20, len(history)-1), 2):
             if i+1 < len(history):
@@ -703,10 +656,8 @@ async def chat(request: Request):
                     assistant_text = history[i+1].replace("Réponse : ", "")
                     messages.append({"role": "assistant", "content": assistant_text})
     
-    # Add current user message
     messages.append({"role": "user", "content": user_message})
 
-    # ⑫ Appel à l'API Hugging Face
     try:
         completion = hf_client.chat.completions.create(
             model="mistralai/Mistral-7B-Instruct-v0.3",
@@ -725,15 +676,12 @@ async def chat(request: Request):
         )
         bot_response = fallback
 
-    # Add bot response to history
     if conversation_id:
         conversation_history[conversation_id].append(f"Réponse : {bot_response}")
         
-        # Keep history to a reasonable size
         if len(conversation_history[conversation_id]) > 50:  # 25 exchanges
             conversation_history[conversation_id] = conversation_history[conversation_id][-50:]
 
-    # ⑬ Sauvegarde de la réponse de l'assistant + mise à jour tokens & last_message
     if conversation_id and current_user:
         db.messages.insert_one({
             "conversation_id": conversation_id,
@@ -753,7 +701,6 @@ async def chat(request: Request):
             }}
         )
 
-    # ⑭ Retour de la réponse finale
     return {"response": bot_response}
 
 
@@ -764,16 +711,12 @@ def simulate_token_count(text):
     if not text:
         return 0
     
-    # Prétraitement pour mieux gérer les cas spéciaux
     text = text.replace('\n', ' \n ')
     
-    # Compter les caractères spéciaux et espaces
     spaces_and_punct = sum(1 for c in text if c.isspace() or c in ',.;:!?()[]{}"\'`-_=+<>/@#$%^&*|\\')
     
-    # Compter les chiffres
     digits = sum(1 for c in text if c.isdigit())
     
-    # Compter les mots courts et tokens spéciaux
     words = text.split()
     short_words = sum(1 for w in words if len(w) <= 2)
     
@@ -781,10 +724,8 @@ def simulate_token_count(text):
     code_blocks = len(re.findall(r'```[\s\S]*?```', text))
     urls = len(re.findall(r'https?://\S+', text))
     
-    # Longueur restante après ajustements
     adjusted_length = len(text) - spaces_and_punct - digits - short_words
     
-    # Calcul final avec facteurs de pondération
     token_count = (
         adjusted_length / 4 +
         spaces_and_punct * 0.25 +