Update app.py

app.py

@@ -1,6 +1,4 @@
 import gradio as gr
-import torch
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
 import re
 import warnings
 import io
@@ -9,33 +7,10 @@ from bs4 import BeautifulSoup
 from urllib.parse import urlparse
 warnings.filterwarnings("ignore")
 
-class PersianSummarizer:
+class LightweightPersianSummarizer:
     def __init__(self):
-        # Using mT5 which is more stable and supports Persian well
-        self.model_name = "google/mt5-small"
-        self.tokenizer = None
-        self.model = None
-        self.load_model()
-    
-    def load_model(self):
-        """Load the multilingual T5 model for Persian summarization"""
-        try:
-            print("Loading mT5 model for Persian summarization...")
-            self.tokenizer = AutoTokenizer.from_pretrained(self.model_name)
-            self.model = AutoModelForSeq2SeqLM.from_pretrained(self.model_name)
-            print("mT5 model loaded successfully!")
-        except Exception as e:
-            print(f"Error loading model: {e}")
-            # Fallback to pipeline approach
-            try:
-                from transformers import pipeline
-                self.pipeline = pipeline("summarization", model="facebook/bart-large-cnn")
-                self.model = None
-                print("Fallback pipeline loaded!")
-            except Exception as e2:
-                print(f"All models failed: {e2}")
-                self.model = None
-                self.pipeline = None
+        """Lightweight Persian summarizer using extractive methods"""
+        print("Initializing lightweight Persian summarizer...")
     
     def preprocess_persian_text(self, text):
         """Clean and preprocess Persian text"""
@@ -47,8 +22,76 @@ class PersianSummarizer:
         
         return text
     
+    def score_sentence(self, sentence, position, total_sentences):
+        """Score sentences for importance"""
+        # Position score (earlier sentences are more important)
+        position_score = 1.0 - (position / total_sentences) * 0.3
+        
+        # Length score (moderate length sentences are preferred)
+        length = len(sentence.strip())
+        if length < 20:
+            length_score = 0.1
+        elif length > 200:
+            length_score = 0.7
+        else:
+            length_score = 1.0
+        
+        # Keyword density score (sentences with more Persian content)
+        persian_chars = len(re.findall(r'[\u0600-\u06FF]', sentence))
+        total_chars = len(sentence.replace(' ', ''))
+        persian_ratio = persian_chars / max(total_chars, 1)
+        
+        # Combined score
+        final_score = (position_score * 0.4) + (length_score * 0.3) + (persian_ratio * 0.3)
+        
+        return final_score
+    
+    def extractive_summary(self, text, target_length):
+        """Advanced extractive summarization for Persian text"""
+        # Split into sentences
+        sentences = re.split(r'[.!?؟]', text)
+        sentences = [s.strip() for s in sentences if len(s.strip()) > 15]
+        
+        if len(sentences) <= 2:
+            return text[:target_length] + ("..." if len(text) > target_length else "")
+        
+        # Score all sentences
+        scored_sentences = []
+        for i, sentence in enumerate(sentences):
+            score = self.score_sentence(sentence, i, len(sentences))
+            scored_sentences.append((sentence, score, i))
+        
+        # Sort by score (highest first)
+        scored_sentences.sort(key=lambda x: x[1], reverse=True)
+        
+        # Select sentences up to target length
+        selected_sentences = []
+        current_length = 0
+        
+        for sentence, score, original_index in scored_sentences:
+            sentence_length = len(sentence)
+            if current_length + sentence_length <= target_length:
+                selected_sentences.append((sentence, original_index))
+                current_length += sentence_length
+            elif len(selected_sentences) == 0:  # At least include one sentence
+                # Truncate the sentence if needed
+                truncated = sentence[:target_length-10] + "..."
+                selected_sentences.append((truncated, original_index))
+                break
+        
+        # Sort selected sentences by original order
+        selected_sentences.sort(key=lambda x: x[1])
+        
+        # Join sentences
+        summary = ". ".join([sent[0] for sent in selected_sentences])
+        
+        # Final cleanup
+        summary = re.sub(r'\s+', ' ', summary.strip())
+        
+        return summary
+    
     def summarize_text(self, text, max_length=150, min_length=50):
-        """Summarize Persian text keeping output in Persian"""
+        """Main summarization function"""
         if not text or len(text.strip()) < 50:
             return "❌ متن ورودی کوتاه است. لطفاً متن طولانی‌تری وارد کنید."
         
@@ -60,50 +103,18 @@ class PersianSummarizer:
             if len(clean_text) < 100:
                 return "❌ متن پس از پردازش کوتاه است. متن بلندتری وارد کنید."
             
-            if self.model is None:
-                # Use fallback methods
-                if hasattr(self, 'pipeline') and self.pipeline:
-                    # Try with pipeline but post-process to stay Persian
-                    result = self.pipeline(clean_text, max_length=max_length, min_length=min_length)
-                    return self.ensure_persian_output(result[0]['summary_text'], clean_text)
-                else:
-                    # Pure extractive method
-                    return self.extractive_summary(clean_text, max_length)
-            
-            # Use mT5 with Persian-specific prompting
-            # Add Persian instruction to encourage Persian output
-            persian_prompt = f"خلاصه کنید: {clean_text}"
-            
-            # Tokenize with proper settings
-            inputs = self.tokenizer(
-                persian_prompt, 
-                max_length=512,  # Reduced for stability
-                padding=True, 
-                truncation=True, 
-                return_tensors="pt"
-            )
-            
-            # Generate summary
-            with torch.no_grad():
-                summary_ids = self.model.generate(
-                    inputs["input_ids"],
-                    attention_mask=inputs.get("attention_mask"),
-                    max_length=max_length,
-                    min_length=min_length,
-                    num_beams=2,  # Reduced for speed
-                    length_penalty=1.0,
-                    repetition_penalty=1.1,
-                    early_stopping=True,
-                    do_sample=False
-                )
+            # Use extractive summarization
+            summary = self.extractive_summary(clean_text, max_length)
             
-            # Decode and clean
-            summary = self.tokenizer.decode(summary_ids[0], skip_special_tokens=True)
+            # Ensure minimum length
+            if len(summary) < min_length and len(clean_text) > min_length:
+                # Try with higher target length
+                summary = self.extractive_summary(clean_text, min(max_length + 50, len(clean_text)))
             
-            # Clean up the summary and ensure it's Persian
-            summary = self.clean_persian_summary(summary, clean_text)
+            return summary if summary else "❌ نتوانستم خلاصه مناسبی تولید کنم."
             
-            return summary
+        except Exception as e:
+            return f"❌ خطا در خلاصه‌سازی: {str(e)}"
 
 # File processing functions
 def extract_text_from_file(file_path):
@@ -266,84 +277,10 @@ def process_url_input(url):
         content = persian_summarizer.preprocess_persian_text(content)
         return content, message
     else:
-        return "", message if summary else "❌ نتوانستم خلاصه مناسبی تولید کنم. لطفاً متن دیگری امتحان کنید."
-            
-        except Exception as e:
-            print(f"Error in summarization: {e}")
-            # Always fallback to extractive
-            return self.extractive_summary(clean_text, max_length)
-    
-    def ensure_persian_output(self, text, original_text):
-        """Ensure output stays in Persian"""
-        # If the output seems to be English, use extractive method instead
-        english_ratio = len(re.findall(r'[a-zA-Z]', text)) / max(len(text), 1)
-        if english_ratio > 0.3:  # If more than 30% English characters
-            return self.extractive_summary(original_text, 150)
-        return text
-    
-    def clean_persian_summary(self, summary, original_text):
-        """Clean and ensure Persian summary quality"""
-        # Remove the prompt prefix if it exists
-        summary = re.sub(r'^خلاصه کنید:?\s*', '', summary)
-        
-        # Remove excessive English characters
-        summary = re.sub(r'[a-zA-Z]{3,}', '', summary)
-        
-        # Check if summary is mostly Persian
-        persian_chars = len(re.findall(r'[\u0600-\u06FF]', summary))
-        total_chars = len(re.sub(r'\s', '', summary))
-        
-        if total_chars == 0 or persian_chars / total_chars < 0.5:
-            # If not enough Persian content, use extractive method
-            return self.extractive_summary(original_text, 150)
-        
-        # Clean whitespace
-        summary = re.sub(r'\s+', ' ', summary.strip())
-        
-        return summary
-    
-    def extractive_summary(self, text, max_length):
-        """Simple extractive summarization fallback that keeps Persian"""
-        sentences = re.split(r'[.!?؟]', text)
-        sentences = [s.strip() for s in sentences if len(s.strip()) > 20]
-        
-        if len(sentences) <= 2:
-            return text[:max_length] + ("..." if len(text) > max_length else "")
-        
-        # Score sentences by position and length
-        scored_sentences = []
-        for i, sentence in enumerate(sentences):
-            # Give higher scores to earlier sentences and longer sentences
-            position_score = 1.0 - (i / len(sentences)) * 0.5
-            length_score = min(len(sentence) / 100, 1.0)
-            total_score = position_score + length_score
-            scored_sentences.append((sentence, total_score))
-        
-        # Sort by score and take top sentences
-        scored_sentences.sort(key=lambda x: x[1], reverse=True)
-        
-        # Select sentences until we reach desired length
-        summary_sentences = []
-        current_length = 0
-        
-        for sentence, score in scored_sentences:
-            if current_length + len(sentence) < max_length:
-                summary_sentences.append(sentence)
-                current_length += len(sentence)
-            else:
-                break
-        
-        # Maintain original order
-        original_order = []
-        for sentence in sentences:
-            if sentence in summary_sentences:
-                original_order.append(sentence)
-        
-        summary = ". ".join(original_order)
-        return summary[:max_length] + ("..." if len(summary) > max_length else "")
+        return "", message
 
 # Initialize the summarizer
-persian_summarizer = PersianSummarizer()
+persian_summarizer = LightweightPersianSummarizer()
 
 def summarize_persian_text(text, summary_length):
     """Main function to handle summarization requests"""
@@ -359,21 +296,21 @@ def summarize_persian_text(text, summary_length):
 # Sample Persian texts for demonstration
 sample_texts = {
     "خبر سیاسی": """
-    مجلس شورای اسلامی ایران در جلسه علنی روز گذشته لایحه بودجه سال آینده را بررسی کرد. نمایندگان مجلس در این جلسه به بحث و بررسی جزئیات بودجه پرداختند و پیشنهادات مختلفی برای بهبود آن ارائه دادند. وزیر اقتصاد نیز در این جلسه حضور یافت و به سوالات نمایندگان پاسخ داد. بر اساس این لایحه، بودجه عمومی کشور نسبت به سال جاری افزایش قابل توجهی خواهد داشت. همچنین اعتبارات ویژه‌ای برای توسعه زیرساخت‌های کشور در نظر گرفته شده است.
+    مجلس شورای اسلامی ایران در جلسه علنی روز گذشته لایحه بودجه سال آینده را بررسی کرد. نمایندگان مجلس در این جلسه به بحث و بررسی جزئیات بودجه پرداختند و پیشنهادات مختلفی برای بهبود آن ارائه دادند. وزیر اقتصاد نیز در این جلسه حضور یافت و به سوالات نمایندگان پاسخ داد. بر اساس این لایحه، بودجه عمومی کشور نسبت به سال جاری افزایش قابل توجهی خواهد داشت. همچنین اعتبارات ویژه‌ای برای توسعه زیرساخت‌های کشور در نظر گرفته شده است. نمایندگان بر لزوم شفافیت در هزینه‌کرد بودجه تأکید کردند و خواستار نظارت دقیق‌تر بر اجرای برنامه‌های توسعه‌ای شدند.
     """,
     
     "مقاله علمی": """
-    هوش مصنوعی در دهه‌های اخیر به یکی از مهم‌ترین فناوری‌های نوین تبدیل شده است. این فناوری کاربردهای گسترده‌ای در زمینه‌های مختلف نظیر پزشکی، آموزش، حمل و نقل و صنعت دارد. یادگیری ماشین که بخش مهمی از هوش مصنوعی محسوب می‌شود، امکان تحلیل داده‌های پیچیده و الگویابی را فراهم می‌کند. شبکه‌های عصبی مصنوعی نیز با الهام از مغز انسان طراحی شده‌اند و قابلیت‌های شگفت‌انگیزی در تشخیص الگو و پردازش تصویر دارند. با این حال، چالش‌هایی نظیر اخلاق در هوش مصنوعی و حفظ حریم خصوصی همچنان وجود دارد.
+    هوش مصنوعی در دهه‌های اخیر به یکی از مهم‌ترین فناوری‌های نوین تبدیل شده است. این فناوری کاربردهای گسترده‌ای در زمینه‌های مختلف نظیر پزشکی، آموزش، حمل و نقل و صنعت دارد. یادگیری ماشین که بخش مهمی از هوش مصنوعی محسوب می‌شود، امکان تحلیل داده‌های پیچیده و الگویابی را فراهم می‌کند. شبکه‌های عصبی مصنوعی نیز با الهام از مغز انسان طراحی شده‌اند و قابلیت‌های شگفت‌انگیزی در تشخیص الگو و پردازش تصویر دارند. با این حال، چالش‌هایی نظیر اخلاق در هوش مصنوعی و حفظ حریم خصوصی همچنان وجود دارد. محققان بر لزوم توسعه هوش مصنوعی مسئولانه تأکید می‌کنند تا از مزایای این فناوری استفاده کرده و از مضرات احتمالی آن جلوگیری شود.
     """,
     
     "متن ادبی": """
-    در باغ گل‌های سرخ، پیرمردی با موهای سفید نشسته بود و به آسمان آبی نگاه می‌کرد. نسیم ملایم صبحگاهی برگ‌های درختان را به رقص درآورده بود. صدای آب نهری که از دور می‌آمد، آرامش خاصی به فضا می‌بخشید. پیرمرد در دل خود به یاد روزهای جوانی‌اش بود، زمانی که این باغ را با دستان خود کاشته بود. اکنون پس از سال‌ها، میوه زحماتش را می‌دید. گل‌های رنگارنگ، درختان سایه‌دار و آرامش این مکان، همه نشان از عشق و دلبستگی او به این باغ داشت.
+    در باغ گل‌های سرخ، پیرمردی با موهای سفید نشسته بود و به آسمان آبی نگاه می‌کرد. نسیم ملایم صبحگاهی برگ‌های درختان را به رقص درآورده بود. صدای آب نهری که از دور می‌آمد، آرامش خاصی به فضا می‌بخشید. پیرمرد در دل خود به یاد روزهای جوانی‌اش بود، زمانی که این باغ را با دستان خود کاشته بود. اکنون پس از سال‌ها، میوه زحماتش را می‌دید. گل‌های رنگارنگ، درختان سایه‌دار و آرامش این مکان، همه نشان از عشق و دلبستگی او به این باغ داشت. او لبخندی بر لب داشت، لبخندی که حاکی از رضایت و آرامش درونی بود. این باغ نه تنها مکانی برای استراحت، بلکه خانه‌ای برای خاطرات شیرین او بود.
     """
 }
 
 # Create Gradio interface
 with gr.Blocks(
-    title="خلاصه‌ساز متن فارسی",
+    title="خلاصه‌ساز متن فارسی - نسخه سبک",
     theme=gr.themes.Soft(),
     css="""
     .persian-text {
@@ -392,8 +329,8 @@ with gr.Blocks(
     gr.HTML("""
     <div class="main-header">
         <h1>🤖 خلاصه‌ساز هوشمند متن فارسی</h1>
-        <p><strong>Persian Text Summarization Tool</strong></p>
-        <p>این ابزار با استفاده از هوش مصنوعی، متن‌ها، فایل‌ها و وب‌سایت‌ها را خلاصه می‌کند</p>
+        <p><strong>Persian Text Summarization Tool - Lightweight Version</strong></p>
+        <p>این ابزار با روش استخراجی پیشرفته، متن‌ها، فایل‌ها و وب‌سایت‌ها را خلاصه می‌کند</p>
         <p>📁 فایل‌های TXT, DOCX, PDF | 🌐 وب‌سایت‌ها و مقالات آنلاین</p>
     </div>
     """)
@@ -402,13 +339,14 @@ with gr.Blocks(
         with gr.Column(scale=2):
             gr.Markdown("## 📝 متن ورودی")
             
-            # Model status
-            model_status = gr.HTML(
-                f"""<div style="padding: 10px; background-color: #e8f5e8; border-radius: 5px; margin-bottom: 10px;">
-                <strong>🤖 مدل فعال:</strong> mT5-small (پشتیبانی از فارسی)<br>
-                <strong>📊 وضعیت:</strong> {'آماده برای خلاصه‌سازی فارسی' if persian_summarizer.model else 'حالت استخراجی (fallback)'}
-                </div>"""
-            )
+            # Method info
+            gr.HTML("""
+            <div style="padding: 10px; background-color: #e3f2fd; border-radius: 5px; margin-bottom: 10px;">
+                <strong>⚡ روش:</strong> خلاصه‌سازی استخراجی پیشرفته<br>
+                <strong>✅ مزیت:</strong> سریع، پایدار و کاملاً فارسی<br>
+                <strong>🎯 کیفیت:</strong> بالا برای متن‌های فارسی
+            </div>
+            """)
             
             # File upload section
             with gr.Accordion("📁 آپلود فایل متنی", open=False):
@@ -479,45 +417,30 @@ with gr.Blocks(
         ### نحوه استفاده:
         1. **متن خود را وارد کنید**: متن فارسی خود را در قسمت "متن ورودی" بنویسید یا کپی کنید
         2. **یا فایل آپلود کنید**: فایل متنی (.txt, .docx, .pdf) خود را آپلود کنید
-        3. **یا از وب‌سایت استخراج کنید**: آدرس وب‌سایت مورد نظر را وارد کنید
-        4. **نمونه متن انتخاب کنید**: می‌توانید از نمونه متن‌های آماده استفاده کنید
-        5. **طول خلاصه را تعیین کنید**: کوتاه، متوسط یا بلند
-        6. **دکمه خلاصه‌سازی را بزنید**: منتظر بمانید تا خلاصه تولید شود
-        
-        ### ویژگی‌ها:
-        - ✅ پشتیبانی کامل از زبان فارسی با mT5
-        - ✅ خروجی کاملاً فارسی (بدون ترجمه به انگلیسی)
+        3. **نمونه متن انتخاب کنید**: می‌توانید از نمونه متن‌های آماده استفاده کنید
+        4. **طول خلاصه را تعیین کنید**: کوتاه، متوسط یا بلند
+        5. **دکمه خلاصه‌سازی را بزنید**: منتظر بمانید تا خلاصه تولید شود
+        
+        ### ویژگی‌های نسخه سبک:
+        - ✅ سریع و پایدار (بدون نیاز به مدل‌های سنگین)
+        - ✅ کاملاً فارسی (هیچ ترجمه‌ای انجام نمی‌شود)
         - ✅ آپلود فایل‌های متنی (TXT, DOCX, PDF)
-        - ✅ استخراج محتوا از وب‌سایت‌ها
-        - ✅ سه سطح طول خلاصه
-        - ✅ نمونه متن‌های آماده
-        - ✅ نمایش آمار متن
-        - ✅ رابط کاربری فارسی
-        - ✅ سیستم fallback پیشرفته
-        
-        ### منابع ورودی پشتیبانی شده:
-        - **متن مستقیم**: کپی و پیست متن
-        - **فایل‌ها**: TXT, DOCX, PDF
-        - **وب‌سایت‌ها**: خبرگاری‌ها، وبلاگ‌ها، مقالات آنلاین
-        
-        ### فرمت‌های فایل:
+        - ✅ کیفیت بالا برای متن‌های فارسی
+        - ✅ مناسب برای همه سرورها
+        - ✅ روش استخراجی هوشمند
+        - ✅ امتیازدهی پیشرفته به جملات
+        
+        ### فرمت‌های فایل پشتیبانی شده:
         - **TXT**: فایل‌های متن ساده (UTF-8, CP1256)
         - **DOCX**: اسناد Microsoft Word
         - **PDF**: اسناد PDF (نیاز به PyPDF2)
         
-        ### وب‌سایت‌های پشتیبانی شده:
-        - **خبرگاری‌ها**: BBC Persian, Radio Farda, ایسنا و...
-        - **وبلاگ‌ها**: وردپرس، بلاگر و...
-        - **مقالات**: مجلات آنلاین، سایت‌های آموزشی
-        - **ویکی‌پدیا**: صفحات فارسی و انگلیسی
-        
         ### نکات:
         - متن ورودی باید حداقل 100 کاراکتر باشد
-        - کیفیت خلاصه با متن‌های طولانی‌تر بهتر است
-        - از mT5 برای حفظ زبان فارسی استفاده می‌کند
-        - خلاصه تولیدی همیشه به زبان فارسی است
-        - برای وب‌سایت‌ها، محتوای اصلی مقاله استخراج می‌شود
-        - فایل‌ها و وب‌سایت‌های بزرگ زمان بیشتری نیاز دارند
+        - جملات ابتدایی و میانی متن امتیاز بیشتری دریافت می‌کنند
+        - این نسخه برای استقرار آسان طراحی شده است
+        - هیچ وابستگی پیچیده‌ای ندارد
+        - فایل‌های بزرگ ممکن است زمان بیشتری برای پردازش نیاز داشته باشند
         """)
     
     # Event handlers