Update app.py

app.py

@@ -89,31 +89,47 @@ def create_vector_db(docs):
         logger.error(f"خطا در ایجاد پایگاه داده وکتوری: {str(e)}")
         return None, f"خطا در پردازش وکتوری: {str(e)}"
 
+def translate_to_english(text):
+    try:
+        prompt = f"متن زیر را به انگلیسی ترجمه کنید:\n**متن:**\n{text[:1000]}\n**ترجمه:**"
+        model = genai.GenerativeModel('gemini-pro')
+        response = model.generate_content(prompt)
+        translated_text = response.text.split("**ترجمه:**")[-1].strip()
+        logger.info(f"متن ترجمه‌شده: {translated_text[:50]}...")
+        time.sleep(1)
+        return translated_text
+    except Exception as e:
+        logger.error(f"خطا در ترجمه: {str(e)}")
+        return text  # در صورت خطا، متن اصلی رو برگردون
+
 def check_plagiarism(text):
     try:
-        query = text[:100]
-        # جستجوی گوگل فارسی
-        url_fa = f"https://www.google.com/search?q={query}&hl=fa"
-        response_fa = requests.get(url_fa, headers={"User-Agent": "Mozilla/5.0"})
-        soup_fa = BeautifulSoup(response_fa.text, 'html.parser')
-        results_fa = [h.get_text() for h in soup_fa.find_all('h3')[:5]]
-        logger.info(f"نتایج گوگل فارسی: {results_fa}")
+        # ترجمه به انگلیسی
+        translated_text = translate_to_english(text)
+        query = translated_text[:100]
+        
+        # جستجو در Google Scholar
+        url_scholar = f"https://scholar.google.com/scholar?q={query}"
+        response_scholar = requests.get(url_scholar, headers={"User-Agent": "Mozilla/5.0"})
+        soup_scholar = BeautifulSoup(response_scholar.text, 'html.parser')
+        results_scholar = [h.get_text() for h in soup_scholar.find_all('h3')[:5]]
+        logger.info(f"نتایج Google Scholar: {results_scholar}")
 
-        # جستجو در SID.ir
-        url_sid = f"https://www.sid.ir/Fa/Journal/SearchPaper.aspx?str={query}"
-        response_sid = requests.get(url_sid, headers={"User-Agent": "Mozilla/5.0"})
-        soup_sid = BeautifulSoup(response_sid.text, 'html.parser')
-        results_sid = [item.get_text() for item in soup_sid.select('.title')[:5]]
-        logger.info(f"نتایج SID.ir: {results_sid}")
+        # جستجو در arXiv
+        url_arxiv = f"https://arxiv.org/search/?query={query}&searchtype=all&source=header"
+        response_arxiv = requests.get(url_arxiv, headers={"User-Agent": "Mozilla/5.0"})
+        soup_arxiv = BeautifulSoup(response_arxiv.text, 'html.parser')
+        results_arxiv = [paper.get_text() for paper in soup_arxiv.find_all('p', class_='title')[:5]]
+        logger.info(f"نتایج arXiv: {results_arxiv}")
 
-        all_results = results_fa + results_sid
+        all_results = results_scholar + results_arxiv
         if not all_results:
             return "درصد تشابه: 0.00%\n**متن‌های مشابه:** هیچ نتیجه‌ای یافت نشد."
 
         max_similarity = 0
         matched_texts = []
         for result in all_results:
-            similarity = SequenceMatcher(None, text[:500], result).ratio()
+            similarity = SequenceMatcher(None, translated_text[:500], result).ratio()
             if similarity > max_similarity:
                 max_similarity = similarity
                 matched_texts = [result]
@@ -130,18 +146,19 @@ def check_plagiarism(text):
 
 def suggest_resources(text):
     try:
-        query = " ".join(text.split()[:5])
-        url_sid = f"https://www.sid.ir/Fa/Journal/SearchPaper.aspx?str={query}"
-        response_sid = requests.get(url_sid, headers={"User-Agent": "Mozilla/5.0"})
-        soup_sid = BeautifulSoup(response_sid.text, 'html.parser')
-        papers_sid = [item.get_text().strip() for item in soup_sid.select('.title')[:3]]
+        translated_text = translate_to_english(text)
+        query = " ".join(translated_text.split()[:5])
+        url_scholar = f"https://scholar.google.com/scholar?q={query}"
+        response_scholar = requests.get(url_scholar, headers={"User-Agent": "Mozilla/5.0"})
+        soup_scholar = BeautifulSoup(response_scholar.text, 'html.parser')
+        papers_scholar = [h.get_text().strip() for h in soup_scholar.find_all('h3')[:3]]
         
         url_arxiv = f"https://arxiv.org/search/?query={query}&searchtype=all&source=header"
         response_arxiv = requests.get(url_arxiv, headers={"User-Agent": "Mozilla/5.0"})
         soup_arxiv = BeautifulSoup(response_arxiv.text, 'html.parser')
         papers_arxiv = [paper.get_text().strip() for paper in soup_arxiv.find_all('p', class_='title')[:2]]
         
-        resources = papers_sid + papers_arxiv if papers_sid else papers_arxiv
+        resources = papers_scholar + papers_arxiv if papers_scholar else papers_arxiv
         time.sleep(1)
         return resources if resources else ["منبعی یافت نشد."]
     except Exception as e:
@@ -152,8 +169,9 @@ def evaluate_quality(docs, sections):
     text = " ".join([doc.page_content for doc in docs])
     score = 0
     explanation = []
+    suggestions = []
 
-    # معیار 1: وجود و کیفیت منابع
+    # معیار 1: منابع
     ref_count = len(re.findall(r"\[\d+\]|[A-Za-z]+\s+\d{4}", text))
     if ref_count > 10:
         score += 35
@@ -161,8 +179,10 @@ def evaluate_quality(docs, sections):
     elif ref_count > 0:
         score += 20
         explanation.append("منابع موجود اما محدود (کمتر از 10 ارجاع).")
+        suggestions.append("حداقل 5 منبع معتبر و مرتبط با موضوع اضافه کنید.")
     else:
         explanation.append("منابع کافی یافت نشد.")
+        suggestions.append("بخش منابع را با حداقل 10 ارجاع معتبر تکمیل کنید.")
 
     # معیار 2: انسجام متن
     words = text.split()
@@ -172,13 +192,15 @@ def evaluate_quality(docs, sections):
         explanation.append("انسجام متنی خوب (تمرکز بر موضوع اصلی).")
     else:
         explanation.append("انسجام متنی ضعیف (پراکندگی موضوعی).")
+        suggestions.append(f"کلمات کلیدی مرتبط با موضوع (مثل {word_freq[0][0] if word_freq else 'موضوع'}) را بیشتر به کار ببرید.")
 
-    # معیار 3: استفاده از جداول/شکل‌ها
+    # معیار 3: جداول/شکل‌ها
     if re.search(r"جدول|شکل|Table|Figure", text, re.I):
         score += 20
         explanation.append("استفاده از جداول یا شکل‌ها برای پشتیبانی یافته‌ها.")
     else:
         explanation.append("عدم استفاده از جداول یا شکل‌ها.")
+        suggestions.append("حداقل یک جدول یا شکل برای نمایش داده‌ها اضافه کنید.")
 
     # معیار 4: عمق تحلیل
     analysis_text = " ".join([doc.page_content for doc in sections.get("نتایج", []) + sections.get("بحث", [])])
@@ -187,9 +209,16 @@ def evaluate_quality(docs, sections):
         explanation.append("عمق تحلیل قابل قبول (بخش نتایج/بحث طولانی).")
     else:
         explanation.append("عمق تحلیل محدود (بخش نتایج/بحث کوتاه).")
+        suggestions.append("بخش نتایج و بحث را با جزئیات بیشتر (حداقل 1000 کلمه) گسترش دهید.")
+
+    # اصلاح خودکار ساده: اضافه کردن کلمات کلیدی به متن
+    auto_fix = ""
+    if "انسجام متنی ضعیف" in "; ".join(explanation):
+        keywords = [word[0] for word in word_freq[:3]] if word_freq else ["تحقیق", "نتایج", "روش"]
+        auto_fix = f"\n\n**اصلاح خودکار - کلمات کلیدی پیشنهادی:**\nدر متن از کلمات کلیدی زیر بیشتر استفاده شده است: {', '.join(keywords)}."
 
     score = max(min(score, 100), 10)
-    return score, "; ".join(explanation)
+    return score, "; ".join(explanation), "; ".join(suggestions), auto_fix
 
 llm_gemini = ChatGoogleGenerativeAI(model="gemini-pro", google_api_key=gemini_api_key, convert_system_message_to_human=True, temperature=0.5)
 
@@ -225,7 +254,7 @@ general_qa_prompt = PromptTemplate(
 )
 
 plagiarism_prompt = PromptTemplate(
-    template="""درصد تشابه متن زیر با منابع عمومی و فارسی را گزارش دهید:
+    template="""درصد تشابه متن زیر با منابع انگلیسی را گزارش دهید:
 **متن:**
 {context}
 **نتیجه:** {similarity}""",
@@ -237,8 +266,9 @@ quality_prompt = PromptTemplate(
 **متن:**
 {context}
 **امتیاز:** {score}/100
-**توضیحات:** {explanation}""",
-    input_variables=["context", "score", "explanation"]
+**توضیحات:** {explanation}
+**پیشنهادات بهبود:** {suggestions}""",
+    input_variables=["context", "score", "explanation", "suggestions"]
 )
 
 def create_conversation_chain(vector_store, docs, mode, language, detail_level, section=None):
@@ -301,9 +331,9 @@ def academic_chatbot(pdf_file, mode, query, language, detail_level, section_drop
             result = plagiarism_result
         elif mode == "ارزیابی کیفیت":
             context = " ".join([doc.page_content for doc in docs if section_dropdown == "کل سند" or doc in sections.get(section_dropdown, [])])
-            score, explanation = evaluate_quality(docs, sections)  # پاس دادن sections
+            score, explanation, suggestions, auto_fix = evaluate_quality(docs, sections)
             time.sleep(2)
-            result = chain.invoke({"context": context[:5000], "score": score, "explanation": explanation})["text"]
+            result = chain.invoke({"context": context[:5000], "score": score, "explanation": explanation, "suggestions": suggestions})["text"] + auto_fix
         else:
             result = chain.invoke({"question": query, "chat_history": []})["answer"]