Update app.py

app.py

@@ -1,103 +1,86 @@
 import os
-import shutil
-import logging
 import gradio as gr
-import fitz  # PyMuPDF
-import easyocr
-from langchain_community.embeddings import OpenAIEmbeddings
-from langchain_community.vectorstores import FAISS
-
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-UPLOAD_FOLDER = "uploaded_files"
-DATABASE_FILE = "/home/user/app/vector_database"
-os.makedirs(UPLOAD_FOLDER, exist_ok=True)
-
-reader = easyocr.Reader(['fa', 'en'])
-
-def extract_text_from_pdf(file_path):
-    """ استخراج متن از PDF با PyMuPDF + EasyOCR برای صفحات تصویری """
-    extracted_texts = []
-    doc = fitz.open(file_path)
-
-    for page_num in range(len(doc)):
-        page = doc[page_num]
-        text = page.get_text("text")
-        
-        if not text.strip():
-            # اگر صفحه خالی بود، از OCR استفاده کن
-            logger.warning(f"🔍 صفحه {page_num+1} بدون متن است، OCR انجام می‌شود...")
-            img = page.get_pixmap()
-            text = reader.readtext(img.samples, detail=0, paragraph=True)
-            text = "\n".join(text)
-
-        extracted_texts.append(text)
-
-    return extracted_texts
-
-def process_and_store_pdfs(file_paths):
-    texts = []
-    
-    for file_path in file_paths:
-        try:
-            logger.info(f"📄 پردازش فایل: {file_path}")
-            if file_path.endswith(".pdf"):
-                extracted_texts = extract_text_from_pdf(file_path)
-                for i, text in enumerate(extracted_texts):
-                    texts.append({"page_content": text, "metadata": {"source": file_path, "page": i+1}})
-                logger.info(f"✅ تعداد صفحات پردازش شده: {len(extracted_texts)}")
-            else:
-                logger.warning(f"❌ فرمت فایل {file_path} پشتیبانی نمی‌شود.")
-        except Exception as e:
-            logger.error(f"❌ خطا در پردازش فایل {file_path}: {e}")
-
+import faiss
+import pickle
+import openai
+from langchain.vectorstores import FAISS
+from langchain.chains import RetrievalQA
+from langchain.chat_models import ChatOpenAI
+from langchain.schema import Document
+
+# تنظیمات کلید API
+openai.api_key = "sk-*****"
+
+# مسیر دیتابیس برداری
+DB_PATH = "/home/user/app/vector_database"
+
+# مسیر فایل‌های آپلود شده
+UPLOAD_DIR = "uploaded_files"
+os.makedirs(UPLOAD_DIR, exist_ok=True)
+
+# بارگذاری دیتابیس FAISS
+def load_vector_database():
     try:
-        logger.info("🔍 ایجاد embeddings و ذخیره در FAISS...")
-        openai_api_key = os.getenv("My_huggingface_key")
-        embeddings = OpenAIEmbeddings(openai_api_key=openai_api_key)
-
-        vector_db = FAISS.from_documents(texts, embeddings)
-        logger.info(f"✅ ذخیره در FAISS انجام شد، تعداد اسناد: {vector_db.index.ntotal}")
+        vector_db = FAISS.load_local(DB_PATH)
+        print("✅ دیتابیس FAISS بارگذاری شد.")
+        print(f"📄 تعداد اسناد ذخیره‌شده: {len(vector_db.index_to_docstore_id)}")
         return vector_db
     except Exception as e:
-        logger.error(f"❌ خطا در ذخیره FAISS: {e}")
+        print("❌ خطا در بارگذاری دیتابیس:", str(e))
         return None
 
-def chat_with_doc(query):
-    if not global_vector_db:
-        return "❌ لطفاً فایل مرتبط آپلود کنید."
+vector_db = load_vector_database()
 
-    retriever = global_vector_db.as_retriever(search_kwargs={"k": 5})
-    docs = retriever.get_relevant_documents(query)
+# بررسی دیتابیس
+if vector_db:
+    print(f"🔍 تعداد اسناد در دیتابیس: {len(vector_db.index_to_docstore_id)}")
+else:
+    print("⚠️ دیتابیس برداری بارگذاری نشد!")
 
+# تابع جستجو در دیتابیس
+def search_documents(query):
+    if not vector_db:
+        return "❌ دیتابیس بارگذاری نشد!"
+    
+    docs = vector_db.similarity_search(query, k=5)
     if not docs:
-        return "هیچ اطلاعات مرتبطی یافت نشد."
-
-    context = "\n\n".join([doc["page_content"][:200] for doc in docs])
-    return f"🔍 نتایج جستجو از FAISS:\n{context}"
-
-def save_uploaded_file(file):
-    file_path = os.path.join(UPLOAD_FOLDER, os.path.basename(file))
-    shutil.copy(file, file_path)
+        return "⚠️ هیچ سند مرتبطی یافت نشد."
+    
+    print("🔍 نتایج جستجو:")
+    for i, doc in enumerate(docs):
+        print(f"{i+1}. {doc.page_content[:200]}")  # نمایش ۲۰۰ کاراکتر اول هر سند
 
-    global global_vector_db
-    global_vector_db = process_and_store_pdfs([file_path])
+    return docs
 
-    return f"✅ فایل ذخیره شد: {file_path}"
+# تنظیم مدل LLM
+llm = ChatOpenAI(model_name="gpt-4", openai_api_key=openai.api_key)
 
-with gr.Blocks() as demo:
-    gr.Markdown("# دستیار هوشمند توزیع برق")
+# تابع پاسخ به پرسش‌ها
+def answer_question(query):
+    if not vector_db:
+        return "⚠️ دیتابیس بارگذاری نشده است!"
 
-    query = gr.Textbox(label="سوال خود را بپرسید", lines=2)
-    response = gr.Textbox(label="پاسخ", lines=10, interactive=False)
-    submit_btn = gr.Button("ارسال سوال")
+    docs = search_documents(query)
+    if isinstance(docs, str):  # اگر جستجو پیام خطا برگرداند
+        return docs
+    
+    qa_chain = RetrievalQA.from_chain_type(llm, retriever=vector_db.as_retriever())
+    response = qa_chain.run(query)
 
-    file = gr.File(label="📎 آپلود فایل", file_types=[".pdf"])
-    upload_status = gr.Textbox(label="وضعیت آپلود", interactive=False)
-    upload_btn = gr.Button("ارسال فایل")
+    print("📝 پاسخ مدل:", response)
+    return response
 
-    submit_btn.click(chat_with_doc, inputs=[query], outputs=[response])
-    upload_btn.click(save_uploaded_file, inputs=[file], outputs=[upload_status])
+# ساخت رابط کاربری با Gradio
+with gr.Blocks() as demo:
+    gr.Markdown("# 📄 ابزار تحلیل اسناد توزیع برق")
+    
+    query_input = gr.Textbox(label="🔍 سوال خود را بپرسید")
+    submit_btn = gr.Button("📩 ارسال")
+    
+    output_text = gr.Textbox(label="📝 پاسخ")
+    
+    submit_btn.click(fn=answer_question, inputs=query_input, outputs=output_text)
 
-demo.launch()
+# اجرای برنامه
+if __name__ == "__main__":
+    demo.launch()