Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
|
@@ -2,10 +2,13 @@ import os
|
|
| 2 |
import shutil
|
| 3 |
import logging
|
| 4 |
import gradio as gr
|
| 5 |
-
from langchain_community.document_loaders import PyPDFLoader
|
| 6 |
from langchain_community.embeddings import OpenAIEmbeddings
|
| 7 |
from langchain_community.vectorstores import FAISS
|
| 8 |
from langchain_community.chat_models import ChatOpenAI
|
|
|
|
|
|
|
|
|
|
| 9 |
|
| 10 |
# تنظیمات لاگگیری
|
| 11 |
logging.basicConfig(level=logging.INFO)
|
|
@@ -20,7 +23,7 @@ os.makedirs(UPLOAD_FOLDER, exist_ok=True)
|
|
| 20 |
def load_database():
|
| 21 |
try:
|
| 22 |
if os.path.exists(DATABASE_FILE):
|
| 23 |
-
embeddings = OpenAIEmbeddings(openai_api_key=os.getenv("My_huggingface_key"))
|
| 24 |
vector_db = FAISS.load_local(DATABASE_FILE, embeddings)
|
| 25 |
logger.info(f"✅ دیتابیس بارگذاری شد: {DATABASE_FILE}")
|
| 26 |
return vector_db
|
|
@@ -48,7 +51,6 @@ def process_and_store_pdfs(file_paths):
|
|
| 48 |
try:
|
| 49 |
logger.info(f"در حال پردازش فایل: {file_path}")
|
| 50 |
if file_path.endswith(".pdf"):
|
| 51 |
-
# استفاده از PyPDFLoader به جای PDFMinerLoader
|
| 52 |
loader = PyPDFLoader(file_path)
|
| 53 |
documents = loader.load()
|
| 54 |
texts.extend(documents)
|
|
@@ -66,7 +68,7 @@ def process_and_store_pdfs(file_paths):
|
|
| 66 |
logger.error("❌ کلید API مقداردهی نشده است!")
|
| 67 |
raise ValueError("❌ کلید OpenAI API یافت نشد.")
|
| 68 |
|
| 69 |
-
embeddings = OpenAIEmbeddings(openai_api_key=openai_api_key)
|
| 70 |
vector_db = FAISS.from_documents(texts, embeddings)
|
| 71 |
logger.info(f"✅ ذخیرهسازی در FAISS با موفقیت انجام شد. تعداد اسناد: {vector_db.index.ntotal}")
|
| 72 |
return vector_db
|
|
@@ -74,6 +76,13 @@ def process_and_store_pdfs(file_paths):
|
|
| 74 |
logger.error(f"خطا در ایجاد embeddings یا ذخیرهسازی در FAISS: {e}")
|
| 75 |
return None
|
| 76 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 77 |
# پاسخگویی بر اساس اسناد بارگذاریشده
|
| 78 |
def chat_with_doc(query):
|
| 79 |
try:
|
|
@@ -84,8 +93,8 @@ def chat_with_doc(query):
|
|
| 84 |
if not query.strip():
|
| 85 |
return "❌ لطفاً سوال خود را وارد کنید."
|
| 86 |
|
| 87 |
-
# بازیابی اسناد
|
| 88 |
-
retriever =
|
| 89 |
docs = retriever.get_relevant_documents(query)
|
| 90 |
|
| 91 |
# لاگگیری برای بررسی اسناد بازیابی شده
|
|
@@ -98,11 +107,20 @@ def chat_with_doc(query):
|
|
| 98 |
if not context:
|
| 99 |
return "هیچ اطلاعات مرتبطی یافت نشد."
|
| 100 |
|
| 101 |
-
#
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 102 |
llm = ChatOpenAI(model_name="gpt-3.5-turbo", openai_api_key=os.getenv("My_huggingface_key"))
|
| 103 |
-
|
| 104 |
-
# ساختار درخواست سادهتر
|
| 105 |
-
prompt = f"""سوال: {query}\n\nاطلاعات مرتبط:\n{context}\n\nلطفاً به سوال پاسخ دهید:"""
|
| 106 |
response = llm.predict(prompt)
|
| 107 |
|
| 108 |
final_response = f"پاسخ:\n{response}\n\nمنابع:\n"
|
|
@@ -130,62 +148,6 @@ def save_uploaded_file(file):
|
|
| 130 |
except Exception as e:
|
| 131 |
return f"❌ خطا در ذخیره فایل: {e}"
|
| 132 |
|
| 133 |
-
# دباگ موقت
|
| 134 |
-
def debug_temp():
|
| 135 |
-
debug_results = []
|
| 136 |
-
|
| 137 |
-
# بررسی مقدار کلید API
|
| 138 |
-
openai_api_key = os.getenv("My_huggingface_key")
|
| 139 |
-
if openai_api_key:
|
| 140 |
-
debug_results.append(f"✅ کلید API مقداردهی شده: {openai_api_key[:5]}********")
|
| 141 |
-
else:
|
| 142 |
-
debug_results.append("❌ کلید API مقداردهی نشده است!")
|
| 143 |
-
|
| 144 |
-
# بررسی نسخه langchain_community
|
| 145 |
-
try:
|
| 146 |
-
import langchain_community
|
| 147 |
-
version = langchain_community.__version__
|
| 148 |
-
debug_results.append(f"✅ نسخه langchain_community: {version}")
|
| 149 |
-
except Exception as e:
|
| 150 |
-
debug_results.append(f"❌ خطا در بررسی نسخه langchain_community: {e}")
|
| 151 |
-
|
| 152 |
-
# بررسی فایلهای PDF در مسیر آپلود
|
| 153 |
-
try:
|
| 154 |
-
pdf_files = [f for f in os.listdir(UPLOAD_FOLDER) if f.endswith(".pdf")]
|
| 155 |
-
if pdf_files:
|
| 156 |
-
file_paths = [os.path.join(UPLOAD_FOLDER, f) for f in pdf_files]
|
| 157 |
-
debug_results.append(f"✅ فایلهای PDF در مسیر `{UPLOAD_FOLDER}`:")
|
| 158 |
-
|
| 159 |
-
# بررسی تعداد صفحات هر فایل
|
| 160 |
-
for file_path in file_paths:
|
| 161 |
-
try:
|
| 162 |
-
loader = PyPDFLoader(file_path) # استفاده از PyPDFLoader
|
| 163 |
-
documents = loader.load()
|
| 164 |
-
debug_results.append(f" - {os.path.basename(file_path)}: {len(documents)} صفحه")
|
| 165 |
-
except Exception as e:
|
| 166 |
-
debug_results.append(f"❌ خطا در بررسی صفحات {file_path}: {str(e)}")
|
| 167 |
-
else:
|
| 168 |
-
debug_results.append(f"❌ هیچ فایل PDF در مسیر `{UPLOAD_FOLDER}` وجود ندارد.")
|
| 169 |
-
except Exception as e:
|
| 170 |
-
debug_results.append(f"❌ خطا در بررسی پوشه `{UPLOAD_FOLDER}`: {e}")
|
| 171 |
-
|
| 172 |
-
# بررسی وضعیت دیتابیس
|
| 173 |
-
try:
|
| 174 |
-
if os.path.exists(DATABASE_FILE):
|
| 175 |
-
debug_results.append(f"✅ دیتابیس در مسیر `{DATABASE_FILE}` وجود دارد.")
|
| 176 |
-
|
| 177 |
-
# بررسی تعداد اسناد ذخیره شده
|
| 178 |
-
if global_vector_db:
|
| 179 |
-
debug_results.append(f" - تعداد اسناد در دیتابیس: {global_vector_db.index.ntotal}")
|
| 180 |
-
else:
|
| 181 |
-
debug_results.append("❌ دیتابیس در حافظه بارگذاری نشده است")
|
| 182 |
-
else:
|
| 183 |
-
debug_results.append(f"❌ دیتابیس در مسیر `{DATABASE_FILE}` وجود ندارد.")
|
| 184 |
-
except Exception as e:
|
| 185 |
-
debug_results.append(f"❌ خطا در بررسی دیتابیس: {e}")
|
| 186 |
-
|
| 187 |
-
return "\n".join(debug_results)
|
| 188 |
-
|
| 189 |
# رابط کاربری با Gradio
|
| 190 |
with gr.Blocks() as demo:
|
| 191 |
gr.Markdown("# هوش مصنوعی همراه کارشناسان توزیع برق ایران")
|
|
@@ -198,11 +160,7 @@ with gr.Blocks() as demo:
|
|
| 198 |
upload_status = gr.Textbox(label="وضعیت آپلود", interactive=False)
|
| 199 |
upload_btn = gr.Button("ارسال فایل")
|
| 200 |
|
| 201 |
-
debug_btn = gr.Button("🔍 بررسی دباگ موقت")
|
| 202 |
-
debug_output = gr.Textbox(label="نتایج دباگ", lines=10, interactive=False)
|
| 203 |
-
|
| 204 |
-
upload_btn.click(save_uploaded_file, inputs=[file], outputs=[upload_status])
|
| 205 |
submit_btn.click(chat_with_doc, inputs=[query], outputs=[response])
|
| 206 |
-
|
| 207 |
|
| 208 |
demo.launch()
|
|
|
|
| 2 |
import shutil
|
| 3 |
import logging
|
| 4 |
import gradio as gr
|
| 5 |
+
from langchain_community.document_loaders import PyPDFLoader
|
| 6 |
from langchain_community.embeddings import OpenAIEmbeddings
|
| 7 |
from langchain_community.vectorstores import FAISS
|
| 8 |
from langchain_community.chat_models import ChatOpenAI
|
| 9 |
+
from langchain.retrievers import ContextualCompressionRetriever
|
| 10 |
+
from langchain.retrievers.document_compressors import EmbeddingsFilter
|
| 11 |
+
from langchain.prompts import PromptTemplate
|
| 12 |
|
| 13 |
# تنظیمات لاگگیری
|
| 14 |
logging.basicConfig(level=logging.INFO)
|
|
|
|
| 23 |
def load_database():
|
| 24 |
try:
|
| 25 |
if os.path.exists(DATABASE_FILE):
|
| 26 |
+
embeddings = OpenAIEmbeddings(openai_api_key=os.getenv("My_huggingface_key"), model="text-embedding-3-large") # بهبود امبدینگ
|
| 27 |
vector_db = FAISS.load_local(DATABASE_FILE, embeddings)
|
| 28 |
logger.info(f"✅ دیتابیس بارگذاری شد: {DATABASE_FILE}")
|
| 29 |
return vector_db
|
|
|
|
| 51 |
try:
|
| 52 |
logger.info(f"در حال پردازش فایل: {file_path}")
|
| 53 |
if file_path.endswith(".pdf"):
|
|
|
|
| 54 |
loader = PyPDFLoader(file_path)
|
| 55 |
documents = loader.load()
|
| 56 |
texts.extend(documents)
|
|
|
|
| 68 |
logger.error("❌ کلید API مقداردهی نشده است!")
|
| 69 |
raise ValueError("❌ کلید OpenAI API یافت نشد.")
|
| 70 |
|
| 71 |
+
embeddings = OpenAIEmbeddings(openai_api_key=openai_api_key, model="text-embedding-3-large") # بهبود امبدینگ
|
| 72 |
vector_db = FAISS.from_documents(texts, embeddings)
|
| 73 |
logger.info(f"✅ ذخیرهسازی در FAISS با موفقیت انجام شد. تعداد اسناد: {vector_db.index.ntotal}")
|
| 74 |
return vector_db
|
|
|
|
| 76 |
logger.error(f"خطا در ایجاد embeddings یا ذخیرهسازی در FAISS: {e}")
|
| 77 |
return None
|
| 78 |
|
| 79 |
+
# بهبود بازیابی اسناد با Reranking
|
| 80 |
+
def create_retriever(vector_db):
|
| 81 |
+
embeddings = OpenAIEmbeddings(openai_api_key=os.getenv("My_huggingface_key"), model="text-embedding-3-large")
|
| 82 |
+
compressor = EmbeddingsFilter(embeddings=embeddings, similarity_threshold=0.7) # تنظیم آستانه تشابه
|
| 83 |
+
retriever = ContextualCompressionRetriever(base_compressor=compressor, base_retriever=vector_db.as_retriever(search_kwargs={"k": 10}))
|
| 84 |
+
return retriever
|
| 85 |
+
|
| 86 |
# پاسخگویی بر اساس اسناد بارگذاریشده
|
| 87 |
def chat_with_doc(query):
|
| 88 |
try:
|
|
|
|
| 93 |
if not query.strip():
|
| 94 |
return "❌ لطفاً سوال خود را وارد کنید."
|
| 95 |
|
| 96 |
+
# بهبود بازیابی اسناد
|
| 97 |
+
retriever = create_retriever(global_vector_db)
|
| 98 |
docs = retriever.get_relevant_documents(query)
|
| 99 |
|
| 100 |
# لاگگیری برای بررسی اسناد بازیابی شده
|
|
|
|
| 107 |
if not context:
|
| 108 |
return "هیچ اطلاعات مرتبطی یافت نشد."
|
| 109 |
|
| 110 |
+
# بهبود Prompt Engineering
|
| 111 |
+
prompt_template = PromptTemplate(
|
| 112 |
+
input_variables=["query", "context"],
|
| 113 |
+
template="""
|
| 114 |
+
شما یک دستیار هوشمند هستید که به سوالات کاربران پاسخ میدهید.
|
| 115 |
+
سوال: {query}
|
| 116 |
+
اطلاعات مرتبط: {context}
|
| 117 |
+
لطفاً پاسخ دقیق و مختصر ارائه دهید.
|
| 118 |
+
"""
|
| 119 |
+
)
|
| 120 |
+
prompt = prompt_template.format(query=query, context=context)
|
| 121 |
+
|
| 122 |
+
# استفاده از مدل gpt-3.5-turbo به جای gpt-4 (برای افزایش سرعت)
|
| 123 |
llm = ChatOpenAI(model_name="gpt-3.5-turbo", openai_api_key=os.getenv("My_huggingface_key"))
|
|
|
|
|
|
|
|
|
|
| 124 |
response = llm.predict(prompt)
|
| 125 |
|
| 126 |
final_response = f"پاسخ:\n{response}\n\nمنابع:\n"
|
|
|
|
| 148 |
except Exception as e:
|
| 149 |
return f"❌ خطا در ذخیره فایل: {e}"
|
| 150 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 151 |
# رابط کاربری با Gradio
|
| 152 |
with gr.Blocks() as demo:
|
| 153 |
gr.Markdown("# هوش مصنوعی همراه کارشناسان توزیع برق ایران")
|
|
|
|
| 160 |
upload_status = gr.Textbox(label="وضعیت آپلود", interactive=False)
|
| 161 |
upload_btn = gr.Button("ارسال فایل")
|
| 162 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 163 |
submit_btn.click(chat_with_doc, inputs=[query], outputs=[response])
|
| 164 |
+
upload_btn.click(save_uploaded_file, inputs=[file], outputs=[upload_status])
|
| 165 |
|
| 166 |
demo.launch()
|