Update app.py

app.py

@@ -2,158 +2,92 @@ import os
 import shutil
 import logging
 import gradio as gr
-from langchain_community.document_loaders import PyPDFLoader
+import fitz  # PyMuPDF
+import easyocr
 from langchain_community.embeddings import OpenAIEmbeddings
 from langchain_community.vectorstores import FAISS
-from langchain_community.chat_models import ChatOpenAI
 
-# تنظیمات لاگ‌گیری
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-# تنظیمات مسیرها
 UPLOAD_FOLDER = "uploaded_files"
 DATABASE_FILE = "/home/user/app/vector_database"
 os.makedirs(UPLOAD_FOLDER, exist_ok=True)
 
-# بررسی و بارگذاری دیتابیس برداری
-def load_database():
-    try:
-        if os.path.exists(DATABASE_FILE):
-            embeddings = OpenAIEmbeddings(openai_api_key=os.getenv("My_huggingface_key"))
-            vector_db = FAISS.load_local(DATABASE_FILE, embeddings)
-            logger.info(f"✅ دیتابیس بارگذاری شد: {DATABASE_FILE}")
-            return vector_db
-        else:
-            logger.warning(f"❌ دیتابیس در مسیر {DATABASE_FILE} وجود ندارد.")
-            return None
-    except Exception as e:
-        logger.error(f"❌ خطا در بارگذاری دیتابیس: {e}")
-        return None
+reader = easyocr.Reader(['fa', 'en'])
 
-def save_database(vector_db):
-    try:
-        vector_db.save_local(DATABASE_FILE)
-        logger.info(f"✅ دیتابیس ذخیره شد: {DATABASE_FILE}")
-    except Exception as e:
-        logger.error(f"❌ خطا در ذخیره دیتابیس: {e}")
-        raise e
+def extract_text_from_pdf(file_path):
+    """ استخراج متن از PDF با PyMuPDF + EasyOCR برای صفحات تصویری """
+    extracted_texts = []
+    doc = fitz.open(file_path)
+
+    for page_num in range(len(doc)):
+        page = doc[page_num]
+        text = page.get_text("text")
+        
+        if not text.strip():
+            # اگر صفحه خالی بود، از OCR استفاده کن
+            logger.warning(f"🔍 صفحه {page_num+1} بدون متن است، OCR انجام می‌شود...")
+            img = page.get_pixmap()
+            text = reader.readtext(img.samples, detail=0, paragraph=True)
+            text = "\n".join(text)
+
+        extracted_texts.append(text)
 
-global_vector_db = load_database()
+    return extracted_texts
 
-# پردازش و ذخیره‌سازی فایل‌های PDF
 def process_and_store_pdfs(file_paths):
     texts = []
+    
     for file_path in file_paths:
         try:
-            logger.info(f"در حال پردازش فایل: {file_path}")
+            logger.info(f"📄 پردازش فایل: {file_path}")
             if file_path.endswith(".pdf"):
-                loader = PyPDFLoader(file_path)
-                documents = loader.load()
-                texts.extend(documents)
-                logger.info(f"✅ تعداد صفحات پردازش شده: {len(documents)}")
+                extracted_texts = extract_text_from_pdf(file_path)
+                for i, text in enumerate(extracted_texts):
+                    texts.append({"page_content": text, "metadata": {"source": file_path, "page": i+1}})
+                logger.info(f"✅ تعداد صفحات پردازش شده: {len(extracted_texts)}")
             else:
-                logger.warning(f"فرمت فایل {file_path} پشتیبانی نمی‌شود.")
+                logger.warning(f"❌ فرمت فایل {file_path} پشتیبانی نمی‌شود.")
         except Exception as e:
-            logger.error(f"خطا در پردازش فایل {file_path}: {e}")
+            logger.error(f"❌ خطا در پردازش فایل {file_path}: {e}")
 
     try:
-        logger.info("در حال ایجاد embeddings و ذخیره‌سازی در FAISS...")
+        logger.info("🔍 ایجاد embeddings و ذخیره در FAISS...")
         openai_api_key = os.getenv("My_huggingface_key")
-
-        if not openai_api_key:
-            logger.error("❌ کلید API مقداردهی نشده است!")
-            raise ValueError("❌ کلید OpenAI API یافت نشد.")
-
         embeddings = OpenAIEmbeddings(openai_api_key=openai_api_key)
+
         vector_db = FAISS.from_documents(texts, embeddings)
-        logger.info(f"✅ ذخیره‌سازی در FAISS با موفقیت انجام شد. تعداد اسناد: {vector_db.index.ntotal}")
+        logger.info(f"✅ ذخیره در FAISS انجام شد، تعداد اسناد: {vector_db.index.ntotal}")
         return vector_db
     except Exception as e:
-        logger.error(f"خطا در ایجاد embeddings یا ذخیره‌سازی در FAISS: {e}")
+        logger.error(f"❌ خطا در ذخیره FAISS: {e}")
         return None
 
-# پاسخ‌گویی بر اساس اسناد بارگذاری‌شده
 def chat_with_doc(query):
-    try:
-        global global_vector_db
-        if not global_vector_db:
-            return "❌ لطفاً یک فایل مرتبط آپلود کنید."
-
-        if not query.strip():
-            return "❌ لطفاً سوال خود را وارد کنید."
-
-        retriever = global_vector_db.as_retriever(search_kwargs={"k": 5})
-        docs = retriever.get_relevant_documents(query)
-
-        logger.info(f"✅ تعداد اسناد بازیابی‌شده: {len(docs)}")
+    if not global_vector_db:
+        return "❌ لطفاً فایل مرتبط آپلود کنید."
 
-        if len(docs) == 0:
-            return "هیچ اطلاعات مرتبطی یافت نشد."
+    retriever = global_vector_db.as_retriever(search_kwargs={"k": 5})
+    docs = retriever.get_relevant_documents(query)
 
-        context = "\n\n".join([doc.page_content[:200] for doc in docs])  # نمایش ۲۰۰ کاراکتر اول از هر سند
-        logger.info(f"📄 اسناد بازیابی‌شده:\n{context}")
+    if not docs:
+        return "هیچ اطلاعات مرتبطی یافت نشد."
 
-        # تست جداگانه FAISS
-        return f"🔍 نتایج جستجو از FAISS:\n{context}"
+    context = "\n\n".join([doc["page_content"][:200] for doc in docs])
+    return f"🔍 نتایج جستجو از FAISS:\n{context}"
 
-        llm = ChatOpenAI(model_name="gpt-4", openai_api_key=os.getenv("My_huggingface_key"))
-        response = llm.predict(f"""سوال: {query}\n\nاطلاعات مرتبط:\n{context}\n\nپاسخ:""")
-
-        final_response = f"پاسخ:\n{response}\n\nمنابع:\n"
-        for doc in docs:
-            final_response += f"- {doc.metadata.get('source', 'نامشخص')}, صفحه {doc.metadata.get('page', 'نامشخص')}\n"
-
-        return final_response
-    except Exception as e:
-        logger.error(f"خطا در پاسخ‌گویی بر اساس سند: {e}")
-        return f"❌ خطایی رخ داده است: {e}"
-
-# ذخیره فایل آپلود شده
 def save_uploaded_file(file):
-    try:
-        file_name = os.path.basename(file)
-        file_path = os.path.join(UPLOAD_FOLDER, file_name)
-        shutil.copy(file, file_path)
-
-        global global_vector_db
-        global_vector_db = process_and_store_pdfs([file_path])
-        if global_vector_db:
-            save_database(global_vector_db)
-
-        return f"✅ فایل ذخیره شد: {file_path}"
-    except Exception as e:
-        return f"❌ خطا در ذخیره فایل: {e}"
+    file_path = os.path.join(UPLOAD_FOLDER, os.path.basename(file))
+    shutil.copy(file, file_path)
 
-# دباگ موقت
-def debug_temp():
-    debug_results = []
+    global global_vector_db
+    global_vector_db = process_and_store_pdfs([file_path])
 
-    # بررسی مقدار کلید API
-    openai_api_key = os.getenv("My_huggingface_key")
-    if openai_api_key:
-        debug_results.append(f"✅ کلید API مقداردهی شده: {openai_api_key[:5]}****")
-    else:
-        debug_results.append("❌ کلید API مقداردهی نشده است!")
+    return f"✅ فایل ذخیره شد: {file_path}"
 
-    # بررسی وضعیت دیتابیس
-    try:
-        if os.path.exists(DATABASE_FILE):
-            debug_results.append(f"✅ دیتابیس در مسیر {DATABASE_FILE} وجود دارد.")
-            if global_vector_db:
-                debug_results.append(f"   - تعداد اسناد در دیتابیس: {global_vector_db.index.ntotal}")
-            else:
-                debug_results.append("❌ دیتابیس در حافظه بارگذاری نشده است")
-        else:
-            debug_results.append(f"❌ دیتابیس در مسیر {DATABASE_FILE} وجود ندارد.")
-    except Exception as e:
-        debug_results.append(f"❌ خطا در بررسی دیتابیس: {e}")
-
-    return "\n".join(debug_results)
-
-# رابط کاربری با Gradio
 with gr.Blocks() as demo:
-    gr.Markdown("# هوش مصنوعی همراه کارشناسان توزیع برق ایران")
+    gr.Markdown("# دستیار هوشمند توزیع برق")
 
     query = gr.Textbox(label="سوال خود را بپرسید", lines=2)
     response = gr.Textbox(label="پاسخ", lines=10, interactive=False)
@@ -163,11 +97,7 @@ with gr.Blocks() as demo:
     upload_status = gr.Textbox(label="وضعیت آپلود", interactive=False)
     upload_btn = gr.Button("ارسال فایل")
 
-    debug_btn = gr.Button("🔍 بررسی دباگ موقت")
-    debug_output = gr.Textbox(label="نتایج دباگ", lines=10, interactive=False)
-
     submit_btn.click(chat_with_doc, inputs=[query], outputs=[response])
     upload_btn.click(save_uploaded_file, inputs=[file], outputs=[upload_status])
-    debug_btn.click(debug_temp, outputs=debug_output)
 
 demo.launch()