Update app.py

app.py

@@ -14,6 +14,7 @@ import re
 import requests
 from bs4 import BeautifulSoup
 from difflib import SequenceMatcher
+from collections import Counter
 
 # تنظیم لاگ‌گیری
 logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
@@ -36,7 +37,7 @@ def process_single_pdf(pdf_file):
     try:
         pages = loader.load_and_split()
         docs = text_splitter.split_documents(pages)
-        sections = {"مقدمه": [], "روش‌شناسی": [], "نتایج": [], "بحث": []}
+        sections = {"مقدمه": [], "روش‌شناسی": [], "نتایج": [], "بحث": [], "منابع": []}
         for doc in docs:
             text = doc.page_content
             if re.search(r"مقدمه|Introduction", text, re.I):
@@ -47,6 +48,8 @@ def process_single_pdf(pdf_file):
                 sections["نتایج"].append(doc)
             elif re.search(r"بحث|Discussion", text, re.I):
                 sections["بحث"].append(doc)
+            elif re.search(r"منابع|References|Bibliography", text, re.I):
+                sections["منابع"].append(doc)
         logger.info(f"پردازش فایل: {pdf_path} - تعداد تکه‌ها: {len(docs)}")
         return docs, sections
     except Exception as e:
@@ -58,7 +61,7 @@ def upload_and_process_pdf(pdf_files):
         return None, None, None, "لطفاً حداقل یک فایل PDF آپلود کنید."
     logger.info(f"تعداد فایل‌های ورودی: {len(pdf_files)}")
     all_docs = []
-    all_sections = {"مقدمه": [], "روش‌شناسی": [], "نتایج": [], "بحث": []}
+    all_sections = {"مقدمه": [], "روش‌شناسی": [], "نتایج": [], "بحث": [], "منابع": []}
     with concurrent.futures.ThreadPoolExecutor() as executor:
         future_to_file = {executor.submit(process_single_pdf, pdf_file): pdf_file for pdf_file in pdf_files}
         for future in concurrent.futures.as_completed(future_to_file):
@@ -89,53 +92,53 @@ def create_vector_db(docs):
 def check_plagiarism(text):
     try:
         query = text[:100]
-        # جستجوی گوگل (جهانی)
-        url_global = f"https://www.google.com/search?q={query}"
-        response_global = requests.get(url_global, headers={"User-Agent": "Mozilla/5.0"})
-        soup_global = BeautifulSoup(response_global.text, 'html.parser')
-        results_global = [h.get_text() for h in soup_global.find_all('h3')[:3]]
-
-        # جستجوی گوگل با تنظیم فارسی
+        # جستجوی گوگل (فارسی)
         url_fa = f"https://www.google.com/search?q={query}&hl=fa"
         response_fa = requests.get(url_fa, headers={"User-Agent": "Mozilla/5.0"})
         soup_fa = BeautifulSoup(response_fa.text, 'html.parser')
-        results_fa = [h.get_text() for h in soup_fa.find_all('h3')[:3]]
+        results_fa = [h.get_text() for h in soup_fa.find_all('h3')[:5]]
 
         # جستجو در SID.ir
         url_sid = f"https://www.sid.ir/Fa/Journal/SearchPaper.aspx?str={query}"
         response_sid = requests.get(url_sid, headers={"User-Agent": "Mozilla/5.0"})
         soup_sid = BeautifulSoup(response_sid.text, 'html.parser')
-        results_sid = [item.get_text() for item in soup_sid.select('.title')[:3]]  # عناوین مقالات
+        results_sid = [item.get_text() for item in soup_sid.select('.title')[:5]]
 
-        all_results = results_global + results_fa + results_sid
+        # ترکیب نتایج
+        all_results = results_fa + results_sid
         max_similarity = 0
+        matched_texts = []
         for result in all_results:
             similarity = SequenceMatcher(None, text[:500], result).ratio()
-            max_similarity = max(max_similarity, similarity)
+            if similarity > max_similarity:
+                max_similarity = similarity
+                matched_texts = [result]
+            elif similarity == max_similarity:
+                matched_texts.append(result)
         
-        time.sleep(1)  # فاصله بین درخواست‌ها برای جلوگیری از 429
-        return max_similarity * 100
+        time.sleep(1)
+        similarity_percent = max_similarity * 100
+        output = f"درصد تشابه: {similarity_percent:.2f}%\n**متن‌های مشابه:**\n" + "\n".join(matched_texts[:3])
+        return output
     except Exception as e:
         logger.error(f"خطا در چک سرقت ادبی: {str(e)}")
-        return None
+        return f"خطا در بررسی سرقت ادبی: {str(e)}"
 
 def suggest_resources(text):
     try:
         query = " ".join(text.split()[:5])
-        # arXiv
+        url_sid = f"https://www.sid.ir/Fa/Journal/SearchPaper.aspx?str={query}"
+        response_sid = requests.get(url_sid, headers={"User-Agent": "Mozilla/5.0"})
+        soup_sid = BeautifulSoup(response_sid.text, 'html.parser')
+        papers_sid = [item.get_text().strip() for item in soup_sid.select('.title')[:3]]
+        
         url_arxiv = f"https://arxiv.org/search/?query={query}&searchtype=all&source=header"
         response_arxiv = requests.get(url_arxiv, headers={"User-Agent": "Mozilla/5.0"})
         soup_arxiv = BeautifulSoup(response_arxiv.text, 'html.parser')
         papers_arxiv = [paper.get_text().strip() for paper in soup_arxiv.find_all('p', class_='title')[:2]]
-
-        # SID.ir
-        url_sid = f"https://www.sid.ir/Fa/Journal/SearchPaper.aspx?str={query}"
-        response_sid = requests.get(url_sid, headers={"User-Agent": "Mozilla/5.0"})
-        soup_sid = BeautifulSoup(response_sid.text, 'html.parser')
-        papers_sid = [item.get_text().strip() for item in soup_sid.select('.title')[:2]]
-
-        resources = papers_arxiv + papers_sid if papers_sid else papers_arxiv
-        time.sleep(1)  # فاصله برای جلوگیری از 429
+        
+        resources = papers_sid + papers_arxiv if papers_sid else papers_arxiv
+        time.sleep(1)
         return resources if resources else ["منبعی یافت نشد."]
     except Exception as e:
         logger.error(f"خطا در پیشنهاد منابع: {str(e)}")
@@ -144,15 +147,45 @@ def suggest_resources(text):
 def evaluate_quality(docs):
     text = " ".join([doc.page_content for doc in docs])
     score = 0
-    if re.search(r"منابع|References|Bibliography", text, re.I):
-        score += 30
-    if len(text.split()) > 5000:
-        score += 30
+    explanation = []
+
+    # معیار 1: وجود و کیفیت منابع
+    ref_count = len(re.findall(r"\[\d+\]|[A-Za-z]+\s+\d{4}", text))  # ارجاعات مثل [1] یا نام (سال)
+    if ref_count > 10:
+        score += 35
+        explanation.append("منابع کافی و قابل استناد (بیش از 10 ارجاع).")
+    elif ref_count > 0:
+        score += 20
+        explanation.append("منابع موجود اما محدود (کمتر از 10 ارجاع).")
+    else:
+        explanation.append("منابع کافی یافت نشد.")
+
+    # معیار 2: انسجام متن (تکرار کلمات کلیدی)
+    words = text.split()
+    word_freq = Counter(words).most_common(10)
+    if word_freq and word_freq[0][1] > len(words) * 0.02:  # کلمه تکراری بیش از 2%
+        score += 25
+        explanation.append("انسجام متنی خوب (تمرکز بر موضوع اصلی).")
+    else:
+        explanation.append("انسجام متنی ضعیف (پراکندگی موضوعی).")
+
+    # معیار 3: استفاده از جداول/شکل‌ها
     if re.search(r"جدول|شکل|Table|Figure", text, re.I):
         score += 20
-    if re.search(r"نتیجه‌گیری|Conclusion", text, re.I):
+        explanation.append("استفاده از جداول یا شکل‌ها برای پشتیبانی یافته‌ها.")
+    else:
+        explanation.append("عدم استفاده از جداول یا شکل‌ها.")
+
+    # معیار 4: عمق تحلیل (طول بخش نتایج/بحث)
+    analysis_text = " ".join([doc.page_content for doc in docs if doc in sections.get("نتایج", []) + sections.get("بحث", [])])
+    if len(analysis_text.split()) > 1000:
         score += 20
-    return max(min(score, 100), 10)
+        explanation.append("عمق تحلیل قابل قبول (بخش نتایج/بحث طولانی).")
+    else:
+        explanation.append("عمق تحلیل محدود (بخش نتایج/بحث کوتاه).")
+
+    score = max(min(score, 100), 10)
+    return score, "; ".join(explanation)
 
 llm_gemini = ChatGoogleGenerativeAI(model="gemini-pro", google_api_key=gemini_api_key, convert_system_message_to_human=True, temperature=0.5)
 
@@ -169,7 +202,11 @@ academic_analysis_prompt = PromptTemplate(
 )
 
 summary_prompt = PromptTemplate(
-    template="""خلاصه‌ای 200-300 کلمه‌ای از متن زیر به زبان {language} تولید کنید:
+    template="""شما یک متخصص نگارش آکادمیک هستید. یک خلاصه علمی ساختارمند (200-300 کلمه) از متن زیر به زبان {language} تولید کنید که شامل:
+1. هدف تحقیق
+2. روش‌شناسی
+3. یافته‌های اصلی
+4. نتیجه‌گیری
 **متن:**
 {context}
 **خلاصه:**""",
@@ -187,16 +224,16 @@ plagiarism_prompt = PromptTemplate(
     template="""درصد تشابه متن زیر با منابع عمومی و فارسی را گزارش دهید:
 **متن:**
 {context}
-**نتیجه:** {similarity}%""",
+**نتیجه:** {similarity}""",
     input_variables=["context", "similarity"]
 )
 
 quality_prompt = PromptTemplate(
-    template="""کیفیت آکادمیک متن زیر را ارزیابی کنید (0-100):
+    template="""شما یک ارزیاب آکادمیک حرفه‌ای هستید. کیفیت علمی متن زیر را ارزیابی کنید:
 **متن:**
 {context}
 **امتیاز:** {score}/100
-**توضیح:** {explanation}""",
+**توضیحات:** {explanation}""",
     input_variables=["context", "score", "explanation"]
 )
 
@@ -252,17 +289,16 @@ def academic_chatbot(pdf_file, mode, query, language, detail_level, section_drop
     try:
         if mode == "خلاصه خودکار":
             context = " ".join([doc.page_content for doc in docs])
-            time.sleep(2)  # فاصله برای کاهش درخواست‌ها
-            result = chain.invoke({"context": context[:5000]})["text"]  # محدود کردن ورودی
+            time.sleep(2)
+            result = chain.invoke({"context": context[:5000]})["text"]
         elif mode == "چک سرقت ادبی":
             context = " ".join([doc.page_content for doc in docs if section_dropdown == "کل سند" or doc in sections.get(section_dropdown, [])])
-            similarity = check_plagiarism(context)
-            result = f"درصد تشابه: {similarity:.2f}%\nمنابع مرتبط:\n" + "\n".join(suggest_resources(context))
+            plagiarism_result = check_plagiarism(context)
+            result = plagiarism_result
         elif mode == "ارزیابی کیفیت":
             context = " ".join([doc.page_content for doc in docs if section_dropdown == "کل سند" or doc in sections.get(section_dropdown, [])])
-            score = evaluate_quality(docs if section_dropdown == "کل سند" else sections.get(section_dropdown, []))
-            explanation = "امتیاز بر اساس وجود منابع، طول متن، جداول/شکل‌ها و نتیجه‌گیری محاسبه شده است."
-            time.sleep(2)  # فاصله برای کاهش درخواست‌ها
+            score, explanation = evaluate_quality(docs if section_dropdown == "کل سند" else sections.get(section_dropdown, []))
+            time.sleep(2)
             result = chain.invoke({"context": context[:5000], "score": score, "explanation": explanation})["text"]
         else:
             result = chain.invoke({"question": query, "chat_history": []})["answer"]
@@ -290,7 +326,7 @@ with gr.Blocks(title="تحلیلگر حرفه‌ای پایان‌نامه") as
                 value="تحلیل آکادمیک (RAG)"
             )
             query = gr.Textbox(lines=3, placeholder="سوال یا درخواست خود را بنویسید...", label="سوال/درخواست")
-            section = gr.Dropdown(["کل سند", "مقدمه", "روش‌شناسی", "نتایج", "بحث"], label="بخش موردنظر", value="کل سند")
+            section = gr.Dropdown(["کل سند", "مقدمه", "روش‌شناسی", "نتایج", "بحث", "منابع"], label="بخش موردنظر", value="کل سند")
             language = gr.Dropdown(["فارسی", "English"], label="زبان پاسخ", value="فارسی")
             detail = gr.Dropdown(["خلاصه", "جامع"], label="سطح جزئیات", value="جامع")
             submit = gr.Button("ارسال")