Update app.py

app.py

@@ -1,10 +1,132 @@
-برای عیب‌یابی بهتر و شناسایی دقیق‌تر مشکل، می‌توانیم بخش دباگ موقت را گسترش دهیم و چک‌های پیشنهادی را به آن اضافه کنیم. این بخش به شما کمک می‌کند تا وضعیت فایل‌ها، دیتابیس، و مراحل پردازش را به دقت بررسی کنید. در زیر کد به‌روز شده با اضافه شدن چک‌های جدید آورده شده است:
-
----
+# برای عیب‌یابی بهتر و شناسایی دقیق‌تر مشکل، می‌توانیم بخش دباگ موقت را گسترش دهیم و چک‌های پیشنهادی را به آن اضافه کنیم.
+# این بخش به شما کمک می‌کند تا وضعیت فایل‌ها، دیتابیس، و مراحل پردازش را به دقت بررسی کنید.
+
+import os
+import logging
+import gradio as gr
+import pickle
+import shutil
+from langchain_community.document_loaders import PDFMinerLoader
+from langchain_community.embeddings import OpenAIEmbeddings
+from langchain_community.vectorstores import FAISS
+from langchain_community.chat_models import ChatOpenAI
+
+# تنظیمات لاگ‌گیری
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+# تنظیمات مسیرها
+UPLOAD_FOLDER = "uploaded_files"
+DATABASE_FILE = "/home/user/app/vector_database.pkl"  # مشخص کردن مسیر دقیق
+os.makedirs(UPLOAD_FOLDER, exist_ok=True)
+
+# بارگذاری دیتابیس برداری در صورت وجود
+def load_database():
+    if os.path.exists(DATABASE_FILE):
+        with open(DATABASE_FILE, "rb") as f:
+            return pickle.load(f)
+    return None
+
+# ذخیره دیتابیس
+def save_database(vector_db):
+    with open(DATABASE_FILE, "wb") as f:
+        pickle.dump(vector_db, f)
+    logger.info(f"✅ دیتابیس ذخیره شد: {DATABASE_FILE}")
+
+# دیتابیس کلی
+global_vector_db = load_database()
+
+# پردازش و ذخیره‌سازی فایل‌های PDF
+def process_and_store_pdfs(file_paths):
+    texts = []
+    for file_path in file_paths:
+        try:
+            logger.info(f"در حال پردازش فایل: {file_path}")
+            if file_path.endswith(".pdf"):
+                loader = PDFMinerLoader(file_path)
+                documents = loader.load()
+                texts.extend(documents)
+            else:
+                logger.warning(f"فرمت فایل {file_path} پشتیبانی نمی‌شود.")
+        except Exception as e:
+            logger.error(f"خطا در پردازش فایل {file_path}: {e}")
+
+    try:
+        logger.info("در حال ایجاد embeddings و ذخیره‌سازی در FAISS...")
+        embeddings = OpenAIEmbeddings()
+        vector_db = FAISS.from_documents(texts, embeddings)
+        logger.info("✅ ذخیره‌سازی در FAISS با موفقیت انجام شد.")
+        return vector_db
+    except Exception as e:
+        logger.error(f"خطا در ایجاد embeddings یا ذخیره‌سازی در FAISS: {e}")
+        return None
+
+# پاسخ‌گویی بر اساس اسناد بارگذاری‌شده
+def chat_with_doc(query):
+    try:
+        global global_vector_db
+        if not global_vector_db:
+            logger.warning("❌ دیتابیس برداری خالی است.")
+            return "❌ لطفاً یک فایل مرتبط آپلود کنید."
+
+        if not query.strip():
+            return "❌ لطفاً سوال خود را وارد کنید."
+
+        logger.info("در حال جستجو در دیتابیس برداری...")
+        retriever = global_vector_db.as_retriever(search_kwargs={"k": 5})
+        docs = retriever.get_relevant_documents(query)
+        context = "\n\n".join([doc.page_content for doc in docs])
+
+        if not context:
+            logger.warning("هیچ سند مرتبطی یافت نشد.")
+            return "هیچ اطلاعات مرتبطی یافت نشد."
+
+        logger.info("در حال تولید پاسخ با GPT...")
+        llm = ChatOpenAI(model_name="gpt-4", openai_api_key=os.getenv("My_huggingface_key"))
+        response = llm.predict(f"""سوال: {query}\n\nاطلاعات مرتبط:\n{context}\n\nپاسخ:""")
+
+        final_response = f"پاسخ:\n{response}\n\nمنابع:\n"
+        for doc in docs:
+            final_response += f"- {doc.metadata.get('source', 'نامشخص')}, صفحه {doc.metadata.get('page', 'نامشخص')}\n"
+
+        return final_response
+    except Exception as e:
+        logger.error(f"خطا در پاسخ‌گویی بر اساس سند: {e}")
+        return f"❌ خطایی رخ داده است: {e}"
+
+# پردازش فایل و ذخیره در دیتابیس
+def handle_file_upload(file):
+    global global_vector_db
+    if not file:
+        return "❌ خطا: فایلی انتخاب نشده است."
+
+    file_path = os.path.join(UPLOAD_FOLDER, os.path.basename(file.name))
+    try:
+        shutil.copy(file.name, file_path)
+        logger.info(f"✅ فایل {file.name} ذخیره شد.")
+
+        new_vector_db = process_and_store_pdfs([file_path])
+        if new_vector_db:
+            if global_vector_db:
+                global_vector_db.merge_from(new_vector_db)
+            else:
+                global_vector_db = new_vector_db
+
+            save_database(global_vector_db)
+            return f"✅ فایل {file.name} با موفقیت آپلود و پردازش شد."
+        else:
+            return "❌ خطا در پردازش فایل."
+    except Exception as e:
+        logger.error(f"خطا در پردازش فایل: {e}")
+        return f"❌ خطا: {e}"
 
-### کد به‌روز شده با بخش دباگ گسترش‌یافته
+# نمایش تعداد فایل‌های آپلود شده در دیتابیس
+def list_files_in_db():
+    if global_vector_db:
+        file_count = len(global_vector_db.docstore._dict)
+        return f"تعداد فایل‌های آپلود شده در دیتابیس: {file_count} فایل"
+    return "هیچ فایلی در دیتابیس وجود ندارد."
 
-```python
 # **بخش دباگ موقت برای بررسی مسیر و فایل‌ها**
 def check_files():
     base_path = "/home/user/app"
@@ -110,51 +232,4 @@ with gr.Blocks() as demo:
     debug_faiss_btn.click(check_faiss_database, outputs=debug_output)
     debug_merge_btn.click(check_database_merge, outputs=debug_output)
 
-demo.launch()
-```
-
----
-
-### توضیحات بخش‌های جدید دباگ
-
-1. **بررسی فایل‌های آپلود شده (`check_uploaded_files`)**:
-   - این تابع بررسی می‌کند که آیا فایل‌ها در پوشه `UPLOAD_FOLDER` ذخیره شده‌اند یا خیر.
-
-2. **بررسی پردازش فایل‌های PDF (`check_pdf_processing`)**:
-   - این تابع بررسی می‌کند که آیا فایل‌های PDF به درستی پردازش شده‌اند و متن آن‌ها استخراج شده است.
-
-3. **بررسی ایجاد embeddings و ذخیره‌سازی در FAISS (`check_faiss_database`)**:
-   - این تابع بررسی می‌کند که آیا دیتابیس FAISS ایجاد شده است و تعداد اسناد موجود در آن را نمایش می‌دهد.
-
-4. **بررسی ادغام دیتابیس‌ها (`check_database_merge`)**:
-   - این تابع بررسی می‌کند که آیا دیتابیس جدید با دیتابیس موجود ادغام شده است.
-
----
-
-### نحوه استفاده از بخش دباگ
-
-1. **بررسی فایل‌ها**:
-   - روی دکمه `🔍 بررسی فایل‌ها` کلیک کنید تا فایل‌های موجود در مسیر `/home/user/app` بررسی شوند.
-
-2. **بررسی دیتابیس**:
-   - روی دکمه `📂 بررسی دیتابیس` کلیک کنید تا وجود فایل دیتابیس (`vector_database.pkl`) بررسی شود.
-
-3. **بررسی مسیر جاری**:
-   - روی دکمه `📁 بررسی مسیر` کلیک کنید تا مسیر جاری برنامه نمایش داده شود.
-
-4. **بررسی فایل‌های آپلود شده**:
-   - روی دکمه `📄 بررسی فایل‌های آپلود شده` کلیک کنید تا فایل‌های موجود در پوشه `UPLOAD_FOLDER` بررسی شوند.
-
-5. **بررسی پردازش PDF**:
-   - روی دکمه `📑 بررسی پردازش PDF` کلیک کنید تا پردازش فایل‌های PDF بررسی شود.
-
-6. **بررسی FAISS**:
-   - روی دکمه `🔍 بررسی FAISS` کلیک کنید تا وضعیت دیتابیس FAISS بررسی شود.
-
-7. **بررسی ادغام دیتابیس**:
-   - روی دکمه `🔄 بررسی ادغام دیتابیس` کلیک کنید تا ادغام دیتابیس‌ها بررسی شود.
-
----
-
-### ارسال نتایج
-پس از اجرای برنامه و کلیک روی دکمه‌های دباگ، نتایج را برای من ارسال کنید تا بتوانم مشکل را دقیق‌تر شناسایی و راه‌حل ارائه دهم.
+demo.launch()