Reza-galaxy21 commited on
Commit
ea7036f
·
verified ·
1 Parent(s): 7e4bcd8

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +29 -71
app.py CHANGED
@@ -2,10 +2,13 @@ import os
2
  import shutil
3
  import logging
4
  import gradio as gr
5
- from langchain_community.document_loaders import PyPDFLoader # تغییر به PyPDFLoader
6
  from langchain_community.embeddings import OpenAIEmbeddings
7
  from langchain_community.vectorstores import FAISS
8
  from langchain_community.chat_models import ChatOpenAI
 
 
 
9
 
10
  # تنظیمات لاگ‌گیری
11
  logging.basicConfig(level=logging.INFO)
@@ -20,7 +23,7 @@ os.makedirs(UPLOAD_FOLDER, exist_ok=True)
20
  def load_database():
21
  try:
22
  if os.path.exists(DATABASE_FILE):
23
- embeddings = OpenAIEmbeddings(openai_api_key=os.getenv("My_huggingface_key"))
24
  vector_db = FAISS.load_local(DATABASE_FILE, embeddings)
25
  logger.info(f"✅ دیتابیس بارگذاری شد: {DATABASE_FILE}")
26
  return vector_db
@@ -48,7 +51,6 @@ def process_and_store_pdfs(file_paths):
48
  try:
49
  logger.info(f"در حال پردازش فایل: {file_path}")
50
  if file_path.endswith(".pdf"):
51
- # استفاده از PyPDFLoader به جای PDFMinerLoader
52
  loader = PyPDFLoader(file_path)
53
  documents = loader.load()
54
  texts.extend(documents)
@@ -66,7 +68,7 @@ def process_and_store_pdfs(file_paths):
66
  logger.error("❌ کلید API مقداردهی نشده است!")
67
  raise ValueError("❌ کلید OpenAI API یافت نشد.")
68
 
69
- embeddings = OpenAIEmbeddings(openai_api_key=openai_api_key)
70
  vector_db = FAISS.from_documents(texts, embeddings)
71
  logger.info(f"✅ ذخیره‌سازی در FAISS با موفقیت انجام شد. تعداد اسناد: {vector_db.index.ntotal}")
72
  return vector_db
@@ -74,6 +76,13 @@ def process_and_store_pdfs(file_paths):
74
  logger.error(f"خطا در ایجاد embeddings یا ذخیره‌سازی در FAISS: {e}")
75
  return None
76
 
 
 
 
 
 
 
 
77
  # پاسخ‌گویی بر اساس اسناد بارگذاری‌شده
78
  def chat_with_doc(query):
79
  try:
@@ -84,8 +93,8 @@ def chat_with_doc(query):
84
  if not query.strip():
85
  return "❌ لطفاً سوال خود را وارد کنید."
86
 
87
- # بازیابی اسناد مرتبط
88
- retriever = global_vector_db.as_retriever(search_kwargs={"k": 5})
89
  docs = retriever.get_relevant_documents(query)
90
 
91
  # لاگ‌گیری برای بررسی اسناد بازیابی شده
@@ -98,11 +107,20 @@ def chat_with_doc(query):
98
  if not context:
99
  return "هیچ اطلاعات مرتبطی یافت نشد."
100
 
101
- # استفاده از مدل gpt-3.5-turbo به جای gpt-4 (در صورت عدم دسترسی به GPT-4)
 
 
 
 
 
 
 
 
 
 
 
 
102
  llm = ChatOpenAI(model_name="gpt-3.5-turbo", openai_api_key=os.getenv("My_huggingface_key"))
103
-
104
- # ساختار درخواست ساده‌تر
105
- prompt = f"""سوال: {query}\n\nاطلاعات مرتبط:\n{context}\n\nلطفاً به سوال پاسخ دهید:"""
106
  response = llm.predict(prompt)
107
 
108
  final_response = f"پاسخ:\n{response}\n\nمنابع:\n"
@@ -130,62 +148,6 @@ def save_uploaded_file(file):
130
  except Exception as e:
131
  return f"❌ خطا در ذخیره فایل: {e}"
132
 
133
- # دباگ موقت
134
- def debug_temp():
135
- debug_results = []
136
-
137
- # بررسی مقدار کلید API
138
- openai_api_key = os.getenv("My_huggingface_key")
139
- if openai_api_key:
140
- debug_results.append(f"✅ کلید API مقداردهی شده: {openai_api_key[:5]}********")
141
- else:
142
- debug_results.append("❌ کلید API مقداردهی نشده است!")
143
-
144
- # بررسی نسخه langchain_community
145
- try:
146
- import langchain_community
147
- version = langchain_community.__version__
148
- debug_results.append(f"✅ نسخه langchain_community: {version}")
149
- except Exception as e:
150
- debug_results.append(f"❌ خطا در بررسی نسخه langchain_community: {e}")
151
-
152
- # بررسی فایل‌های PDF در مسیر آپلود
153
- try:
154
- pdf_files = [f for f in os.listdir(UPLOAD_FOLDER) if f.endswith(".pdf")]
155
- if pdf_files:
156
- file_paths = [os.path.join(UPLOAD_FOLDER, f) for f in pdf_files]
157
- debug_results.append(f"✅ فایل‌های PDF در مسیر `{UPLOAD_FOLDER}`:")
158
-
159
- # بررسی تعداد صفحات هر فایل
160
- for file_path in file_paths:
161
- try:
162
- loader = PyPDFLoader(file_path) # استفاده از PyPDFLoader
163
- documents = loader.load()
164
- debug_results.append(f" - {os.path.basename(file_path)}: {len(documents)} صفحه")
165
- except Exception as e:
166
- debug_results.append(f"❌ خطا در بررسی صفحات {file_path}: {str(e)}")
167
- else:
168
- debug_results.append(f"❌ هیچ فایل PDF در مسیر `{UPLOAD_FOLDER}` وجود ندارد.")
169
- except Exception as e:
170
- debug_results.append(f"❌ خطا در بررسی پوشه `{UPLOAD_FOLDER}`: {e}")
171
-
172
- # بررسی وضعیت دیتابیس
173
- try:
174
- if os.path.exists(DATABASE_FILE):
175
- debug_results.append(f"✅ دیتابیس در مسیر `{DATABASE_FILE}` وجود دارد.")
176
-
177
- # بررسی تعداد اسناد ذخیره شده
178
- if global_vector_db:
179
- debug_results.append(f" - تعداد اسناد در دیتابیس: {global_vector_db.index.ntotal}")
180
- else:
181
- debug_results.append("❌ دیتابیس در حافظه بارگذاری نشده است")
182
- else:
183
- debug_results.append(f"❌ دیتابیس در مسیر `{DATABASE_FILE}` وجود ندارد.")
184
- except Exception as e:
185
- debug_results.append(f"❌ خطا در بررسی دیتابیس: {e}")
186
-
187
- return "\n".join(debug_results)
188
-
189
  # رابط کاربری با Gradio
190
  with gr.Blocks() as demo:
191
  gr.Markdown("# هوش مصنوعی همراه کارشناسان توزیع برق ایران")
@@ -198,11 +160,7 @@ with gr.Blocks() as demo:
198
  upload_status = gr.Textbox(label="وضعیت آپلود", interactive=False)
199
  upload_btn = gr.Button("ارسال فایل")
200
 
201
- debug_btn = gr.Button("🔍 بررسی دباگ موقت")
202
- debug_output = gr.Textbox(label="نتایج دباگ", lines=10, interactive=False)
203
-
204
- upload_btn.click(save_uploaded_file, inputs=[file], outputs=[upload_status])
205
  submit_btn.click(chat_with_doc, inputs=[query], outputs=[response])
206
- debug_btn.click(debug_temp, outputs=debug_output)
207
 
208
  demo.launch()
 
2
  import shutil
3
  import logging
4
  import gradio as gr
5
+ from langchain_community.document_loaders import PyPDFLoader
6
  from langchain_community.embeddings import OpenAIEmbeddings
7
  from langchain_community.vectorstores import FAISS
8
  from langchain_community.chat_models import ChatOpenAI
9
+ from langchain.retrievers import ContextualCompressionRetriever
10
+ from langchain.retrievers.document_compressors import EmbeddingsFilter
11
+ from langchain.prompts import PromptTemplate
12
 
13
  # تنظیمات لاگ‌گیری
14
  logging.basicConfig(level=logging.INFO)
 
23
  def load_database():
24
  try:
25
  if os.path.exists(DATABASE_FILE):
26
+ embeddings = OpenAIEmbeddings(openai_api_key=os.getenv("My_huggingface_key"), model="text-embedding-3-large") # بهبود امبدینگ
27
  vector_db = FAISS.load_local(DATABASE_FILE, embeddings)
28
  logger.info(f"✅ دیتابیس بارگذاری شد: {DATABASE_FILE}")
29
  return vector_db
 
51
  try:
52
  logger.info(f"در حال پردازش فایل: {file_path}")
53
  if file_path.endswith(".pdf"):
 
54
  loader = PyPDFLoader(file_path)
55
  documents = loader.load()
56
  texts.extend(documents)
 
68
  logger.error("❌ کلید API مقداردهی نشده است!")
69
  raise ValueError("❌ کلید OpenAI API یافت نشد.")
70
 
71
+ embeddings = OpenAIEmbeddings(openai_api_key=openai_api_key, model="text-embedding-3-large") # بهبود امبدینگ
72
  vector_db = FAISS.from_documents(texts, embeddings)
73
  logger.info(f"✅ ذخیره‌سازی در FAISS با موفقیت انجام شد. تعداد اسناد: {vector_db.index.ntotal}")
74
  return vector_db
 
76
  logger.error(f"خطا در ایجاد embeddings یا ذخیره‌سازی در FAISS: {e}")
77
  return None
78
 
79
+ # بهبود بازیابی اسناد با Reranking
80
+ def create_retriever(vector_db):
81
+ embeddings = OpenAIEmbeddings(openai_api_key=os.getenv("My_huggingface_key"), model="text-embedding-3-large")
82
+ compressor = EmbeddingsFilter(embeddings=embeddings, similarity_threshold=0.7) # تنظیم آستانه تشابه
83
+ retriever = ContextualCompressionRetriever(base_compressor=compressor, base_retriever=vector_db.as_retriever(search_kwargs={"k": 10}))
84
+ return retriever
85
+
86
  # پاسخ‌گویی بر اساس اسناد بارگذاری‌شده
87
  def chat_with_doc(query):
88
  try:
 
93
  if not query.strip():
94
  return "❌ لطفاً سوال خود را وارد کنید."
95
 
96
+ # بهبود بازیابی اسناد
97
+ retriever = create_retriever(global_vector_db)
98
  docs = retriever.get_relevant_documents(query)
99
 
100
  # لاگ‌گیری برای بررسی اسناد بازیابی شده
 
107
  if not context:
108
  return "هیچ اطلاعات مرتبطی یافت نشد."
109
 
110
+ # بهبود Prompt Engineering
111
+ prompt_template = PromptTemplate(
112
+ input_variables=["query", "context"],
113
+ template="""
114
+ شما یک دستیار هوشمند هستید که به سوالات کاربران پاسخ می‌دهید.
115
+ سوال: {query}
116
+ اطلاعات مرتبط: {context}
117
+ لطفاً پاسخ دقیق و مختصر ارائه دهید.
118
+ """
119
+ )
120
+ prompt = prompt_template.format(query=query, context=context)
121
+
122
+ # استفاده از مدل gpt-3.5-turbo به جای gpt-4 (برای افزایش سرعت)
123
  llm = ChatOpenAI(model_name="gpt-3.5-turbo", openai_api_key=os.getenv("My_huggingface_key"))
 
 
 
124
  response = llm.predict(prompt)
125
 
126
  final_response = f"پاسخ:\n{response}\n\nمنابع:\n"
 
148
  except Exception as e:
149
  return f"❌ خطا در ذخیره فایل: {e}"
150
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
151
  # رابط کاربری با Gradio
152
  with gr.Blocks() as demo:
153
  gr.Markdown("# هوش مصنوعی همراه کارشناسان توزیع برق ایران")
 
160
  upload_status = gr.Textbox(label="وضعیت آپلود", interactive=False)
161
  upload_btn = gr.Button("ارسال فایل")
162
 
 
 
 
 
163
  submit_btn.click(chat_with_doc, inputs=[query], outputs=[response])
164
+ upload_btn.click(save_uploaded_file, inputs=[file], outputs=[upload_status])
165
 
166
  demo.launch()