Update app.py

app.py

@@ -49,6 +49,7 @@ def track_sources(question, answer, sources):
             "sources": [
                 {
                     "file": doc.metadata['source'],
+                    "section": doc.metadata.get('section', 'غير محدد'),
                     "content": doc.page_content
                 }
                 for doc in sources
@@ -71,6 +72,7 @@ def track_sources(question, answer, sources):
         for i, doc in enumerate(sources, 1):
             f.write(f"\nالمصدر #{i}:\n")
             f.write(f"- الملف: {os.path.basename(doc.metadata['source'])}\n")
+            f.write(f"- العنوان: {doc.metadata.get('section', 'غير محدد')}\n")
             f.write(f"- المحتوى الكامل:\n{doc.page_content}\n")
             f.write("-"*80 + "\n")
         
@@ -102,7 +104,7 @@ def setup_chains(vectorstore: FAISS):
     llm = ChatOpenAI(
         model="meta-llama/llama-3-70b-instruct",
         base_url="https://openrouter.ai/api/v1",
-        api_key="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",
+        api_key="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",
         temperature=0.4
     )
 
@@ -173,7 +175,7 @@ def setup_chains(vectorstore: FAISS):
         llm=llm,
         retriever=vectorstore.as_retriever(
             search_type="mmr",
-            search_kwargs={'k': 20, 'fetch_k': 100, 'lambda_mult': 0.8}
+            search_kwargs={'k': 20, 'fetch_k': 100, 'lambda_mult': 0.9}
         ),
         return_source_documents=True,
         chain_type_kwargs={"prompt": qa_prompt}
@@ -181,6 +183,47 @@ def setup_chains(vectorstore: FAISS):
 
     return rephrase_chain, qa_chain
 
+def process_question(question: str, rephrase_chain, qa_chain, chat_history: list) -> tuple:
+    """معالجة السؤال مع التتبع الكامل"""
+    rewritten = rephrase_chain.invoke({"question": question})
+    fusha_question = rewritten.content.strip()
+
+    result = qa_chain.invoke(fusha_question)
+    answer = result["result"]
+
+    # تسجيل كامل في السجل مع المصادر
+    write_to_log(
+        f"السؤال: {question}",
+        f"السؤال المحول: {fusha_question}",
+        f"الإجابة: {answer}",
+        "المصادر المستخدمة:"
+    )
+    
+    for i, doc in enumerate(result["source_documents"], 1):
+        write_to_log(
+            f"المصدر #{i}:",
+            f"الملف: {os.path.basename(doc.metadata['source'])}",
+            f"القسم: {doc.metadata.get('section', 'غير محدد')}",
+            f"المحتوى: {doc.page_content[:300]}..." if len(doc.page_content) > 300 else f"المحتوى: {doc.page_content}",
+            "-"*50
+        )
+
+    # تتبع المصادر في الملفات الأخرى
+    track_sources(question, answer, result["source_documents"])
+
+    # تحضير بيانات المصادر للعرض
+    sources_data = [
+        {
+            "الملف": os.path.basename(doc.metadata['source']),
+            "النص": doc.page_content[:300] + "..." if len(doc.page_content) > 300 else doc.page_content,
+            "الإجابة": answer
+        }
+        for doc in result["source_documents"]
+    ]
+
+    chat_history.append((question, answer))
+    return "", chat_history, sources_data
+
 def create_gradio_interface(rephrase_chain, qa_chain):
     """إنشاء واجهة Gradio مع عرض المصادر"""
     with gr.Blocks(title="المساعد الذكي للتأمين الصحي") as demo:
@@ -223,6 +266,7 @@ def create_gradio_interface(rephrase_chain, qa_chain):
                 write_to_log(
                     f"المصدر #{i}:",
                     f"الملف: {os.path.basename(doc.metadata['source'])}",
+                    f"القسم: {doc.metadata.get('section', 'غير محدد')}",
                     f"المحتوى: {doc.page_content[:300]}..." if len(doc.page_content) > 300 else f"المحتوى: {doc.page_content}",
                     "-"*50
                 )
@@ -283,4 +327,4 @@ if __name__ == "__main__":
     vectorstore = load_embeddings()
     rephrase_chain, qa_chain = setup_chains(vectorstore)
     demo = create_gradio_interface(rephrase_chain, qa_chain)
-    demo.launch(show_api=True , share=False)
+    demo.launch(share=False)