Update app.py

app.py

@@ -19,6 +19,21 @@ class UniversalAnonymizer:
             'percent': 0
         }
         self.api_key = os.getenv("OPENAI_API_KEY", "")
+        
+        # لیست عبارات عمومی که نباید ناشناس‌سازی شوند
+        self.common_phrases = [
+            'مجمع عمومی عادی سالیانه',
+            'مجمع عمومی فوق‌العاده',
+            'هیئت مدیره',
+            'سهامداران محترم',
+            'صورت‌های مالی',
+            'شرکت اصلی',
+            'درآمد عملیاتی',
+            'سود عملیاتی',
+            'زیان انباشته',
+            'محصولات گرم',
+            'محصولات سرد',
+        ]
 
     def anonymize_text(self, original_text, lang='fa'):
         """ناشناس‌سازی جامع با تشخیص خودکار الگوها"""
@@ -97,13 +112,22 @@ class UniversalAnonymizer:
         
         # الگوهای جامع مبالغ مالی
         amount_patterns = [
+            # مبالغ با پسوند "ی" - مهم: باید قبل از الگوهای بدون "ی" باشد
+            r'\d+ میلیارد تومانی',
+            r'\d+ میلیون تومانی',
+            r'\d+ هزار تومانی',
+            r'\d+\.?\d* میلیارد تومانی',
+            r'\d+\.?\d* میلیون تومانی',
+            
             # مبالغ با کاما و نقطه
             r'\d+,\d{3},\d{3} میلیون ریال',
             r'\d+\.\d{3}\.\d{3} میلیون ریال',
             r'\d+,\d{3} میلیارد ریال',
             r'\d+\.\d{3} میلیارد ریال',
             
-            # مبالغ با واحد همت
+            # مبالغ با واحد همت - با و بدون اعشار
+            r'\d+ همت',
+            r'\d+\.\d+ همت',
             r'\d+\.?\d* همت',
             r'بیش از \d+\.?\d* همت',
             r'نزدیک به \d+\.?\d* همت',
@@ -215,6 +239,9 @@ class UniversalAnonymizer:
         
         # الگوهای جامع نام‌های اشخاص
         person_patterns = [
+            # نام‌های خاص که در متن ذکر شده
+            r'مهدی اخوان بهابادی',
+            
             # نام‌های کامل با عناوین
             r'دکتر\s+[آ-ی]+\s+[آ-ی]+\s+[آ-ی]+',
             r'مهندس\s+[آ-ی]+\s+[آ-ی]+\s+[آ-ی]+',
@@ -228,12 +255,9 @@ class UniversalAnonymizer:
             r'سیدمحمد\s+[آ-ی]+',
             r'سیدحسن\s+[آ-ی]+',
             
-            # نام و نام خانوادگی ساده
-            r'[آ-ی]{3,}\s+[آ-ی]{3,}(?:\s+[آ-ی]{3,})?',
-            
             # نام‌هایی که با مدیرعامل همراه هستند
-            r'[آ-ی]+\s+[آ-ی]+\s*،?\s*مدیرعامل',
             r'[آ-ی]+\s+[آ-ی]+\s+[آ-ی]+\s*،?\s*مدیرعامل',
+            r'[آ-ی]+\s+[آ-ی]+\s*،?\s*مدیرعامل',
             
             # نام‌هایی که با سمت همراه هستند
             r'[آ-ی]+\s+[آ-ی]+\s*،?\s*رئیس',
@@ -245,6 +269,9 @@ class UniversalAnonymizer:
             r'علیرضا\s+[آ-ی]+',
             r'محمدعلی\s+[آ-ی]+',
             r'حسینعلی\s+[آ-ی]+',
+            
+            # نام و نام خانوادگی ساده - حداقل 3 حرف برای هر کلمه
+            r'[آ-ی]{3,}\s+[آ-ی]{3,}(?:\s+[آ-ی]{3,})?',
         ]
         
         return self._apply_patterns(text, person_patterns, 'person')
@@ -254,6 +281,12 @@ class UniversalAnonymizer:
         
         # الگوهای جامع نام‌های شرکت‌ها
         company_patterns = [
+            # نام‌های خاص که در متن ذکر شده
+            r'شرکت سرمایه گذاری پارسیان',
+            r'شرکت سرمایه‌گذاری پارسیان',
+            r'بانک پارسیان',
+            r'گروه مالی پارسیان',
+            
             # شرکت‌های کامل با پرانتز
             r'شرکت\s+[آ-ی\s]+\([آ-ی\s]+\)',
             r'بانک\s+[آ-ی\s]+\([آ-ی\s]+\)',
@@ -264,6 +297,7 @@ class UniversalAnonymizer:
             r'شرکت\s+[آ-ی\s]{5,}',
             r'شرکت\s+گروه\s+[آ-ی\s]+',
             r'شرکت\s+سرمایه‌گذاری\s+[آ-ی\s]+',
+            r'شرکت\s+سرمایه گذاری\s+[آ-ی\s]+',
             r'شرکت\s+بیمه\s+[آ-ی\s]+',
             r'شرکت\s+پتروشیمی\s+[آ-ی\s]+',
             r'شرکت\s+فولاد\s+[آ-ی\s]+',
@@ -296,7 +330,8 @@ class UniversalAnonymizer:
             
             # نام‌های کوتاه شرکت‌ها (باید در آخر باشند)
             r'همراه\s+اول',
-            r'ایران\s*[-‌]*\s*خودرو',
+            r'ایران‌خودرو',
+            r'ایران خودرو',
             r'فولاد\s+مبارکه',
             
             # مجله‌ها و نشریات
@@ -319,6 +354,10 @@ class UniversalAnonymizer:
             for match in matches:
                 matched_text = match.group(0)
                 
+                # بررسی اینکه آیا عبارت جزو عبارات عمومی است
+                if self._is_common_phrase(matched_text):
+                    continue
+                
                 # اگر قبلاً جایگزین نشده باشد
                 if matched_text not in self.mapping_table and matched_text in text:
                     # بررسی که کلمه کامل باشد (نه بخشی از کلمه بزرگ‌تر)
@@ -331,6 +370,13 @@ class UniversalAnonymizer:
         
         return text
     
+    def _is_common_phrase(self, text):
+        """بررسی اینکه آیا عبارت جزو عبارات عمومی است"""
+        for phrase in self.common_phrases:
+            if phrase.lower() in text.lower():
+                return True
+        return False
+    
     def _is_complete_word(self, text, match):
         """بررسی اینکه آیا کلمه کامل است یا بخشی از کلمه بزرگ‌تر"""
         start, end = match.span()
@@ -532,7 +578,7 @@ def update_interface(language):
     
     return [
         gr.update(value=f"<h1 style='text-align: center; color: #FFD700; font-size: 3.5em; font-weight: bold; text-shadow: 3px 3px 6px rgba(0,0,0,0.5); margin: 20px 0; background: linear-gradient(45deg, #FFD700, #FFA500); -webkit-background-clip: text; -webkit-text-fill-color: transparent; background-clip: text;'>📊 {ui_text['title']}</h1>"),
-        gr.update(value=f"<h2 style='direction: {ui_text['direction']};'>🔍 {ui_text['step1']}</h2>"),
+        gr.update(value=f"<h2 style='direction: {ui_text['direction']};'>📝 {ui_text['step1']}</h2>"),
         gr.update(placeholder=ui_text['input_placeholder'], rtl=not is_english),
         gr.update(value=f"🚀 {ui_text['process_btn']}"),
         gr.update(value=f"🗑️ {ui_text['clear_btn']}"),
@@ -647,7 +693,7 @@ with gr.Blocks(title="📊 Universal Anonymization System", theme=gr.themes.Soft
         
         with gr.Row(elem_classes="workflow rtl") as workflow_row:
             with gr.Column():
-                step1_title = gr.HTML('<h2 style="direction: rtl;">🔍 متن ورودی و تنظیمات</h2>')
+                step1_title = gr.HTML('<h2 style="direction: rtl;">📝 متن ورودی و تنظیمات</h2>')
                 
                 input_text = gr.Textbox(
                     lines=15,
@@ -745,8 +791,11 @@ with gr.Blocks(title="📊 Universal Anonymization System", theme=gr.themes.Soft
     )
 
 if __name__ == "__main__":
-    # تست سیستم با نمونه از داده‌های شما
-    test_text = """مهدی اخوان بهابادی، مدیرعامل همراه اول، در مجمع عمومی عادی سالیانه اعلام کرد درآمد عملیاتی شرکت اصلی با رشد قابل توجه 37 درصدی نسبت به سال 1402، به 70 هزار و 677 میلیارد تومان رسیده است. شرکت گروه توسعه مالی مهر آیندگان (ومهان) در گزارش عملکرد مردادماه 1404 بار دیگر توانست با رشد 14 درصدی سرمایه‌گذاری‌ها جایگاه خود را تثبیت کند."""
+    # تست سیستم با نمونه‌های ذکر شده
+    test_text = """مهدی اخوان بهابادی در مجمع عمومی عادی سالیانه اعلام کرد درآمد عملیاتی شرکت اصلی به 178 میلیارد تومانی رسیده است.
+    در خودروسازان حالا از مرز 305 همت عبور کرده و در سال گذشته سود عملیاتی داشته اما زیان انباشته این شرکت 7.6 همت زیاد شده است.
+    تولید محصولات گرم این شرکت به 1000 هزار تن و محصولات سرد به 1378 هزار تن رسید.
+    شرکت سرمایه گذاری پارسیان سود خوبی را نشان داد. بانک پارسیان و گروه مالی پارسیان هم عملکرد مثبتی داشتند."""
     
     anonymizer_test = UniversalAnonymizer()
     result = anonymizer_test.anonymize_text(test_text)
@@ -756,4 +805,4 @@ if __name__ == "__main__":
     for original, code in anonymizer_test.mapping_table.items():
         print(f"{original} -> {code}")
     
-    app.launch()
+    app.launch()