Update app.py

app.py

@@ -1,129 +1,10 @@
-import os
-import logging
-import gradio as gr
-import pickle
-import shutil
-from langchain_community.document_loaders import PDFMinerLoader
-from langchain_community.embeddings import OpenAIEmbeddings
-from langchain_community.vectorstores import FAISS
-from langchain_community.chat_models import ChatOpenAI
-
-# تنظیمات لاگ‌گیری
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-# تنظیمات مسیرها
-UPLOAD_FOLDER = "uploaded_files"
-DATABASE_FILE = "/home/user/app/vector_database.pkl"  # مشخص کردن مسیر دقیق
-os.makedirs(UPLOAD_FOLDER, exist_ok=True)
-
-# بارگذاری دیتابیس برداری در صورت وجود
-def load_database():
-    if os.path.exists(DATABASE_FILE):
-        with open(DATABASE_FILE, "rb") as f:
-            return pickle.load(f)
-    return None
-
-# ذخیره دیتابیس
-def save_database(vector_db):
-    with open(DATABASE_FILE, "wb") as f:
-        pickle.dump(vector_db, f)
-    logger.info(f"✅ دیتابیس ذخیره شد: {DATABASE_FILE}")
-
-# دیتابیس کلی
-global_vector_db = load_database()
-
-# پردازش و ذخیره‌سازی فایل‌های PDF
-def process_and_store_pdfs(file_paths):
-    texts = []
-    for file_path in file_paths:
-        try:
-            logger.info(f"در حال پردازش فایل: {file_path}")
-            if file_path.endswith(".pdf"):
-                loader = PDFMinerLoader(file_path)
-                documents = loader.load()
-                texts.extend(documents)
-            else:
-                logger.warning(f"فرمت فایل {file_path} پشتیبانی نمی‌شود.")
-        except Exception as e:
-            logger.error(f"خطا در پردازش فایل {file_path}: {e}")
-
-    try:
-        logger.info("در حال ایجاد embeddings و ذخیره‌سازی در FAISS...")
-        embeddings = OpenAIEmbeddings()
-        vector_db = FAISS.from_documents(texts, embeddings)
-        logger.info("✅ ذخیره‌سازی در FAISS با موفقیت انجام شد.")
-        return vector_db
-    except Exception as e:
-        logger.error(f"خطا در ایجاد embeddings یا ذخیره‌سازی در FAISS: {e}")
-        return None
-
-# پاسخ‌گویی بر اساس اسناد بارگذاری‌شده
-def chat_with_doc(query):
-    try:
-        global global_vector_db
-        if not global_vector_db:
-            logger.warning("❌ دیتابیس برداری خالی است.")
-            return "❌ لطفاً یک فایل مرتبط آپلود کنید."
-
-        if not query.strip():
-            return "❌ لطفاً سوال خود را وارد کنید."
-
-        logger.info("در حال جستجو در دیتابیس برداری...")
-        retriever = global_vector_db.as_retriever(search_kwargs={"k": 5})
-        docs = retriever.get_relevant_documents(query)
-        context = "\n\n".join([doc.page_content for doc in docs])
-
-        if not context:
-            logger.warning("هیچ سند مرتبطی یافت نشد.")
-            return "هیچ اطلاعات مرتبطی یافت نشد."
-
-        logger.info("در حال تولید پاسخ با GPT...")
-        llm = ChatOpenAI(model_name="gpt-4", openai_api_key=os.getenv("My_huggingface_key"))
-        response = llm.predict(f"""سوال: {query}\n\nاطلاعات مرتبط:\n{context}\n\nپاسخ:""")
-
-        final_response = f"پاسخ:\n{response}\n\nمنابع:\n"
-        for doc in docs:
-            final_response += f"- {doc.metadata.get('source', 'نامشخص')}, صفحه {doc.metadata.get('page', 'نامشخص')}\n"
-
-        return final_response
-    except Exception as e:
-        logger.error(f"خطا در پاسخ‌گویی بر اساس سند: {e}")
-        return f"❌ خطایی رخ داده است: {e}"
-
-# پردازش فایل و ذخیره در دیتابیس
-def handle_file_upload(file):
-    global global_vector_db
-    if not file:
-        return "❌ خطا: فایلی انتخاب نشده است."
-
-    file_path = os.path.join(UPLOAD_FOLDER, os.path.basename(file.name))
-    try:
-        shutil.copy(file.name, file_path)
-        logger.info(f"✅ فایل {file.name} ذخیره شد.")
-
-        new_vector_db = process_and_store_pdfs([file_path])
-        if new_vector_db:
-            if global_vector_db:
-                global_vector_db.merge_from(new_vector_db)
-            else:
-                global_vector_db = new_vector_db
-
-            save_database(global_vector_db)
-            return f"✅ فایل {file.name} با موفقیت آپلود و پردازش شد."
-        else:
-            return "❌ خطا در پردازش فایل."
-    except Exception as e:
-        logger.error(f"خطا در پردازش فایل: {e}")
-        return f"❌ خطا: {e}"
+برای عیب‌یابی بهتر و شناسایی دقیق‌تر مشکل، می‌توانیم بخش دباگ موقت را گسترش دهیم و چک‌های پیشنهادی را به آن اضافه کنیم. این بخش به شما کمک می‌کند تا وضعیت فایل‌ها، دیتابیس، و مراحل پردازش را به دقت بررسی کنید. در زیر کد به‌روز شده با اضافه شدن چک‌های جدید آورده شده است:
 
-# نمایش تعداد فایل‌های آپلود شده در دیتابیس
-def list_files_in_db():
-    if global_vector_db:
-        file_count = len(global_vector_db.docstore._dict)
-        return f"تعداد فایل‌های آپلود شده در دیتابیس: {file_count} فایل"
-    return "هیچ فایلی در دیتابیس وجود ندارد."
+---
 
+### کد به‌روز شده با بخش دباگ گسترش‌یافته
+
+```python
 # **بخش دباگ موقت برای بررسی مسیر و فایل‌ها**
 def check_files():
     base_path = "/home/user/app"
@@ -143,6 +24,54 @@ def check_database_file():
 def get_working_directory():
     return f"Current Working Directory: {os.getcwd()}"
 
+# بررسی فایل‌های آپلود شده
+def check_uploaded_files():
+    if os.path.exists(UPLOAD_FOLDER):
+        files = os.listdir(UPLOAD_FOLDER)
+        if files:
+            return f"فایل‌های آپلود شده:\n" + "\n".join(files)
+        else:
+            return "❌ هیچ فایلی در پوشه آپلود وجود ندارد."
+    else:
+        return "❌ پوشه آپلود وجود ندارد."
+
+# بررسی پردازش فایل‌های PDF
+def check_pdf_processing():
+    if os.path.exists(UPLOAD_FOLDER):
+        pdf_files = [f for f in os.listdir(UPLOAD_FOLDER) if f.endswith(".pdf")]
+        if not pdf_files:
+            return "❌ هیچ فایل PDF در پوشه آپلود وجود ندارد."
+
+        results = []
+        for pdf_file in pdf_files:
+            file_path = os.path.join(UPLOAD_FOLDER, pdf_file)
+            try:
+                loader = PDFMinerLoader(file_path)
+                documents = loader.load()
+                if documents:
+                    results.append(f"✅ فایل {pdf_file} با موفقیت پردازش شد. تعداد صفحات: {len(documents)}")
+                else:
+                    results.append(f"❌ فایل {pdf_file} پردازش نشد (هیچ متنی استخراج نشد).")
+            except Exception as e:
+                results.append(f"❌ خطا در پردازش فایل {pdf_file}: {str(e)}")
+        return "\n".join(results)
+    else:
+        return "❌ پوشه آپلود وجود ندارد."
+
+# بررسی ایجاد embeddings و ذخیره‌سازی در FAISS
+def check_faiss_database():
+    if global_vector_db:
+        return f"✅ دیتابیس FAISS ایجاد شده است. تعداد اسناد: {len(global_vector_db.docstore._dict)}"
+    else:
+        return "❌ دیتابیس FAISS ایجاد نشده است."
+
+# بررسی ادغام دیتابیس‌ها
+def check_database_merge():
+    if global_vector_db:
+        return f"✅ دیتابیس اصلی با موفقیت ادغام شده است. تعداد اسناد: {len(global_vector_db.docstore._dict)}"
+    else:
+        return "❌ دیتابیس اصلی وجود ندارد."
+
 # رابط کاربری با Gradio
 with gr.Blocks() as demo:
     gr.Markdown("# هوش مصنوعی همراه کارشناسان توزیع برق ایران")
@@ -162,6 +91,10 @@ with gr.Blocks() as demo:
     debug_files_btn = gr.Button("🔍 بررسی فایل‌ها")
     debug_db_btn = gr.Button("📂 بررسی دیتابیس")
     debug_dir_btn = gr.Button("📁 بررسی مسیر")
+    debug_upload_btn = gr.Button("📄 بررسی فایل‌های آپلود شده")
+    debug_pdf_btn = gr.Button("📑 بررسی پردازش PDF")
+    debug_faiss_btn = gr.Button("🔍 بررسی FAISS")
+    debug_merge_btn = gr.Button("🔄 بررسی ادغام دیتابیس")
 
     debug_output = gr.Textbox(label="نتایج دباگ", lines=10, interactive=False)
 
@@ -172,5 +105,56 @@ with gr.Blocks() as demo:
     debug_files_btn.click(check_files, outputs=debug_output)
     debug_db_btn.click(check_database_file, outputs=debug_output)
     debug_dir_btn.click(get_working_directory, outputs=debug_output)
+    debug_upload_btn.click(check_uploaded_files, outputs=debug_output)
+    debug_pdf_btn.click(check_pdf_processing, outputs=debug_output)
+    debug_faiss_btn.click(check_faiss_database, outputs=debug_output)
+    debug_merge_btn.click(check_database_merge, outputs=debug_output)
 
 demo.launch()
+```
+
+---
+
+### توضیحات بخش‌های جدید دباگ
+
+1. **بررسی فایل‌های آپلود شده (`check_uploaded_files`)**:
+   - این تابع بررسی می‌کند که آیا فایل‌ها در پوشه `UPLOAD_FOLDER` ذخیره شده‌اند یا خیر.
+
+2. **بررسی پردازش فایل‌های PDF (`check_pdf_processing`)**:
+   - این تابع بررسی می‌کند که آیا فایل‌های PDF به درستی پردازش شده‌اند و متن آن‌ها استخراج شده است.
+
+3. **بررسی ایجاد embeddings و ذخیره‌سازی در FAISS (`check_faiss_database`)**:
+   - این تابع بررسی می‌کند که آیا دیتابیس FAISS ایجاد شده است و تعداد اسناد موجود در آن را نمایش می‌دهد.
+
+4. **بررسی ادغام دیتابیس‌ها (`check_database_merge`)**:
+   - این تابع بررسی می‌کند که آیا دیتابیس جدید با دیتابیس موجود ادغام شده است.
+
+---
+
+### نحوه استفاده از بخش دباگ
+
+1. **بررسی فایل‌ها**:
+   - روی دکمه `🔍 بررسی فایل‌ها` کلیک کنید تا فایل‌های موجود در مسیر `/home/user/app` بررسی شوند.
+
+2. **بررسی دیتابیس**:
+   - روی دکمه `📂 بررسی دیتابیس` کلیک کنید تا وجود فایل دیتابیس (`vector_database.pkl`) بررسی شود.
+
+3. **بررسی مسیر جاری**:
+   - روی دکمه `📁 بررسی مسیر` کلیک کنید تا مسیر جاری برنامه نمایش داده شود.
+
+4. **بررسی فایل‌های آپلود شده**:
+   - روی دکمه `📄 بررسی فایل‌های آپلود شده` کلیک کنید تا فایل‌های موجود در پوشه `UPLOAD_FOLDER` بررسی شوند.
+
+5. **بررسی پردازش PDF**:
+   - روی دکمه `📑 بررسی پردازش PDF` کلیک کنید تا پردازش فایل‌های PDF بررسی شود.
+
+6. **بررسی FAISS**:
+   - روی دکمه `🔍 بررسی FAISS` کلیک کنید تا وضعیت دیتابیس FAISS بررسی شود.
+
+7. **بررسی ادغام دیتابیس**:
+   - روی دکمه `🔄 بررسی ادغام دیتابیس` کلیک کنید تا ادغام دیتابیس‌ها بررسی شود.
+
+---
+
+### ارسال نتایج
+پس از اجرای برنامه و کلیک روی دکمه‌های دباگ، نتایج را برای من ارسال کنید تا بتوانم مشکل را دقیق‌تر شناسایی و راه‌حل ارائه دهم.