Update app.py

app.py

@@ -9,7 +9,7 @@ import logging
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-class PreciseAnonymizer:
+class ImprovedAnonymizer:
     def __init__(self):
         self.mapping_table = {}
         self.counters = {
@@ -21,7 +21,7 @@ class PreciseAnonymizer:
         self.api_key = os.getenv("OPENAI_API_KEY", "")
 
     def anonymize_text(self, original_text, lang='fa'):
-        """ناشناس‌سازی دقیق براساس مثال‌های واقعی"""
+        """ناشناس‌سازی بهبود یافته براساس تحلیل مثال‌ها"""
         try:
             if not original_text or not original_text.strip():
                 return "❌ Please enter input text!" if lang == 'en' else "❌ لطفاً متن ورودی را وارد کنید!"
@@ -32,90 +32,103 @@ class PreciseAnonymizer:
             
             anonymized = original_text
             
-            # الگوهای دقیق براساس مثال‌های واقعی
+            # الگوهای بهبود یافته براساس تحلیل مثال‌ها
             patterns = [
-                # شرکت‌ها - الگوهای مشخص
+                # شرکت‌های کامل با مخفف
                 (r'شرکت سرمایه‌گذاری دارویی تأمین \(تیپیکو\)', 'company'),
+                (r'شرکت گروه توسعه مالی مهر آیندگان \(ومهان\)', 'company'),
                 (r'شرکت پتروشیمی بوعلی سینا', 'company'),
                 (r'شرکت پتروشیمی پارس', 'company'),
                 (r'شرکت آسان پادرو', 'company'),
                 (r'شرکت پالایش نفت اصفهان', 'company'),
-                (r'شرکت گروه توسعه مالی مهر آیندگان \(ومهان\)', 'company'),
                 (r'شرکت وانیا نیک تدبیر', 'company'),
+                (r'شرکت فولاد مبارکه اصفهان', 'company'),
+                (r'سرزمین هوشمند پاد \(زیرمجموعه بانک پاسارگاد\)', 'company'),
                 (r'تدوین و همکاران', 'company'),
                 (r'سازمان حسابرسی', 'company'),
-                (r'سرزمین هوشمند پاد \(زیرمجموعه بانک پاسارگاد\)', 'company'),
+                
+                # شرکت‌های ساده
                 (r'ایران خودرو', 'company'),
+                (r'ایران‌خودرو', 'company'),  # با نیم‌فاصله
                 (r'بانک پاسارگاد', 'company'),
                 (r'بانک ملت', 'company'),
                 (r'بانک سرمایه', 'company'),
                 (r'همراه اول', 'company'),
                 (r'گروه همراه اول', 'company'),
                 
-                # نام اشخاص با عناوین
+                # نام‌های مختصر شرکت‌ها
+                (r'بوعلی', 'company'),  # مختصر شرکت پتروشیمی بوعلی سینا
+                (r'شپنا', 'company'),    # مختصر شرکت پالایش نفت اصفهان
+                (r'فولاد مبارکه', 'company'),
+                
+                # نام‌های در علامت نقل قول
+                (r'«پارس»', 'company'),
+                (r'"پارس"', 'company'),
+                
+                # نام اشخاص کامل
                 (r'مهدی اخوان بهابادی، مدیرعامل همراه اول', 'person'),
+                (r'مهدی اخوان بهابادی', 'person'),
                 (r'فرج‌اله قدمی', 'person'),
                 
-                # مبالغ مالی - الگوهای دقیق
-                (r'\d+,\d{3} میلیارد ریال', 'amount'),  # 681,667 میلیارد ریال
-                (r'\d+ هزار و \d+ میلیارد تومان', 'amount'),  # 23 هزار و 296 میلیارد تومان
-                (r'\d+ هزار و \d+ دستگاه', 'amount'),  # 537 هزار و 736 دستگاه
-                (r'بیش از \d+ همت', 'amount'),  # بیش از 37 همت
-                (r'حدود \d+ میلیون تومان', 'amount'),  # حدود 69 میلیون تومان
-                (r'بیش از \d+ همت', 'amount'),  # بیش از 111 همت
-                (r'\d+,\d{3},\d{3} میلیارد ریال', 'amount'),  # 681,667 میلیارد ریال
-                (r'\d+,\d{3} میلیارد ریال', 'amount'),  # 86,278 میلیارد ریال
-                (r'\d+,\d{3} میلیارد ریال', 'amount'),  # 12,140 میلیارد ریال
-                (r'\d+,\d{3} میلیارد ریال', 'amount'),  # 51,670 میلیارد ریال
-                (r'\d+,\d{3} میلیارد ریال', 'amount'),  # 33,000 میلیارد ریال
-                (r'\d+ هزار میلیارد ریالی', 'amount'),  # 155 هزار میلیارد ریالی
-                (r'\d+ میلیارد تومانی', 'amount'),  # 2700 میلیارد تومانی
-                (r'نزدیک به \d+ هزار میلیارد تومان', 'amount'),  # نزدیک به 67 هزار میلیارد تومان
-                (r'بیش از \d+ میلیارد تومان', 'amount'),  # بیش از 6 میلیارد تومان
-                (r'حدود \d+ میلیارد تومان', 'amount'),  # حدود 30 میلیارد تومان
-                (r'حدود \d+ میلیون دلار', 'amount'),  # حدود 100 میلیون دلار
-                (r'\d+ تا \d+\.\d+ میلیون تن', 'amount'),  # 1 تا 1.5 میلیون تن
-                (r'\d+ ریال', 'amount'),  # 936 ریال
-                (r'\d+ ریال', 'amount'),  # 446 ریال
-                (r'\d+ ریال', 'amount'),  # 610 ریال
-                (r'\d+ هزار و \d+ میلیارد تومان', 'amount'),  # 70 هزار و 677 میلیارد تومان
-                (r'\d+ میلیارد تومان', 'amount'),  # 7101 میلیارد تومان
-                (r'\d+ میلیارد تومان', 'amount'),  # 8003 میلیارد تومان
-                (r'\d+ هزار میلیارد تومان', 'amount'),  # 49 هزار میلیارد تومان
-                (r'\d+ میلیارد تومانی', 'amount'),  # 178 میلیارد تومانی
-                (r'\d+\.\d+ میلیون نفر', 'amount'),  # 73.7 میلیون نفر
-                (r'\d+ هزار و \d+ میلیارد تومان', 'amount'),  # 16 هزار و 495 میلیارد تومان
-                (r'\d+ هزار و \d+ میلیارد تومان', 'amount'),  # 31 هزار و 756 میلیارد تومان
+                # مبالغ مالی - الگوهای جامع‌تر
+                
+                # مبالغ با ویرگول
+                (r'\d+,\d{3},\d{3} میلیارد ریال', 'amount'),
+                (r'\d+,\d{3} میلیارد ریال', 'amount'),
                 
-                # درصدها - الگوهای دقیق
-                (r'\d+\.\d+ درصد', 'percent'),  # 4.58 درصد
-                (r'\d+ درصد', 'percent'),  # 75 درصد
-                (r'منفی \d+ درصد', 'percent'),  # منفی 345 درصد
-                (r'\d+ درصد', 'percent'),  # 97 درصد
-                (r'بیش از \d+ درصد', 'percent'),  # بیش از 60 درصد
-                (r'\d+ درصد', 'percent'),  # 37 درصد
-                (r'\d+ درصد', 'percent'),  # 15 درصد
-                (r'\d+ درصد', 'percent'),  # 14 درصد
-                (r'\d+ الی \d+ درصد', 'percent'),  # 50 الی 70 درصد
-                (r'\d+ درصدی', 'percent'),  # 14 درصدی
-                (r'\d+ درصدی', 'percent'),  # 37 درصدی
-                (r'\d+ درصدی', 'percent'),  # 15 درصدی
+                # مبالغ با کلمات توضیحی
+                (r'\d+ هزار و \d+ میلیارد تومان', 'amount'),
+                (r'\d+ هزار و \d+ دستگاه', 'amount'),
+                (r'بیش از \d+ همت', 'amount'),
+                (r'حدود \d+ میلیون تومان', 'amount'),
+                (r'حدود \d+ میلیون دلار', 'amount'),
+                (r'نزدیک به \d+ هزار میلیارد تومان', 'amount'),
+                (r'بیش از \d+ میلیارد تومان', 'amount'),
+                (r'حدود \d+ میلیارد تومان', 'amount'),
+                
+                # مبالغ با واحد همت
+                (r'\d+\.?\d* همت', 'amount'),
+                (r'\d+ همت', 'amount'),
+                
+                # مبالغ ساده
+                (r'\d+ هزار میلیارد ریالی', 'amount'),
+                (r'\d+ میلیارد تومانی', 'amount'),
+                (r'\d+ میلیارد تومان', 'amount'),
+                (r'\d+ میلیون تومان', 'amount'),
+                (r'\d+ میلیارد ریال', 'amount'),
+                (r'\d+ ریال', 'amount'),
+                
+                # بازه‌های مقداری
+                (r'یک تا \d+\.?\d* میلیون تن', 'amount'),
+                (r'\d+ تا \d+\.?\d* میلیون تن', 'amount'),
+                
+                # مبالغ اعشاری
+                (r'\d+\.?\d* میلیون نفر', 'amount'),
+                (r'\d+\.?\d* میلیون دلار', 'amount'),
+                
+                # درصدها - الگوهای جامع‌تر
+                (r'منفی \d+ درصد', 'percent'),
+                (r'\d+\.?\d* درصدی', 'percent'),
+                (r'\d+\.?\d* درصد', 'percent'),
+                (r'\d+ الی \d+ درصد', 'percent'),
+                (r'بیش از \d+ درصد', 'percent'),
+                (r'حدود \d+ درصد', 'percent'),
             ]
             
-            # پردازش الگوها به ترتیب از طولانی‌ترین به کوتاه‌ترین
+            # مرتب‌سازی patterns بر اساس طول (طولانی‌ترین ا��ل)
+            patterns.sort(key=lambda x: len(x[0]), reverse=True)
+            
+            # پردازش الگوها
             for pattern, category in patterns:
                 matches = list(re.finditer(pattern, anonymized, re.IGNORECASE))
                 
-                # مرتب‌سازی matches بر اساس طول (طولانی‌ترین اول)
-                matches.sort(key=lambda x: len(x.group(0)), reverse=True)
-                
                 for match in matches:
                     matched_text = match.group(0)
                     
                     # بررسی که قبلاً جایگزین نشده باشد
                     if matched_text in anonymized and matched_text not in self.mapping_table:
                         self.counters[category] += 1
-                        code = f"{category}-{self.counters[category]}"
+                        code = f"{category}-{self.counters[category]:02d}"
                         self.mapping_table[matched_text] = code
                         anonymized = anonymized.replace(matched_text, code)
                         logger.info(f"Replaced: {matched_text} -> {code}")
@@ -248,7 +261,7 @@ def get_mapping_table(language):
     if not anonymizer.mapping_table:
         return "❌ Mapping table is empty! Please process some text first." if lang == 'en' else "❌ جدول نگاشت خالی است! ابتدا متنی را پردازش کنید."
     
-    result = "📋 **Precise Mapping Table:**\n\n" if lang == 'en' else "📋 **جدول نگاشت دقیق:**\n\n"
+    result = "📋 **Improved Mapping Table:**\n\n" if lang == 'en' else "📋 **جدول نگاشت بهبود یافته:**\n\n"
     
     # گروه‌بندی بر اساس نوع
     categories = {
@@ -281,28 +294,28 @@ def update_ui_text(language):
     """به‌روزرسانی متن‌های رابط کاربری"""
     if language == 'English':
         return {
-            'title': 'Precise Business Data Anonymization System',
+            'title': 'Improved Business Data Anonymization System',
             'step1': 'Input Text & Settings',
             'step2': 'Anonymized Text',
             'step3': 'Raw ChatGPT Response',
             'step4': 'Final Restored Response',
-            'input_placeholder': 'Enter your business text here...\nThe system will precisely detect company names, financial amounts, percentages, and executive names...',
-            'process_btn': 'Process with Precise Detection',
+            'input_placeholder': 'Enter your business text here...\nThe system will detect company names, financial amounts, percentages, and executive names with improved accuracy...',
+            'process_btn': 'Process with Improved Detection',
             'clear_btn': 'Clear All',
-            'mapping_btn': 'Show Precise Mapping Table',
+            'mapping_btn': 'Show Improved Mapping Table',
             'direction': 'ltr'
         }
     else:
         return {
-            'title': 'سیستم ناشناس‌سازی دقیق اطلاعات تجاری',
+            'title': 'سیستم ناشناس‌سازی بهبود یافته اطلاعات تجاری',
             'step1': 'متن ورودی و تنظیمات',
             'step2': 'متن ناشناس‌شده',
             'step3': 'پاسخ خام ChatGPT',
             'step4': 'پاسخ نهایی بازگردانده شده',
-            'input_placeholder': 'متن تجاری خود را اینجا وارد کنید...\nسیستم به طور دقیق نام شرکت‌ها، مبالغ مالی، درصدها و نام مدیران را تشخیص می‌دهد...',
-            'process_btn': 'پردازش با تشخیص دقیق',
+            'input_placeholder': 'متن تجاری خود را اینجا وارد کنید...\nسیستم با دقت بهبود یافته نام شرکت‌ها، مبالغ مالی، درصدها و نام مدیران را تشخیص می‌دهد...',
+            'process_btn': 'پردازش با تشخیص بهبود یافته',
             'clear_btn': 'پاک کردن همه',
-            'mapping_btn': 'نمایش جدول نگاشت دقیق',
+            'mapping_btn': 'نمایش جدول نگاشت بهبود یافته',
             'direction': 'rtl'
         }
 
@@ -332,7 +345,7 @@ def update_interface(language):
     ]
 
 # ایجاد instance
-anonymizer = PreciseAnonymizer()
+anonymizer = ImprovedAnonymizer()
 
 # CSS
 custom_css = """
@@ -415,7 +428,7 @@ h1 {
 """
 
 # رابط کاربری Gradio
-with gr.Blocks(title="📊 Precise Anonymization System", theme=gr.themes.Soft(), css=custom_css) as app:
+with gr.Blocks(title="📊 Improved Anonymization System", theme=gr.themes.Soft(), css=custom_css) as app:
     
     with gr.Row():
         language_selector = gr.Radio(
@@ -426,7 +439,7 @@ with gr.Blocks(title="📊 Precise Anonymization System", theme=gr.themes.Soft()
         )
     
     with gr.Column():
-        title = gr.HTML("<h1 style='text-align: center; color: #FFD700; font-size: 3.5em; font-weight: bold; text-shadow: 3px 3px 6px rgba(0,0,0,0.5); margin: 20px 0; background: linear-gradient(45deg, #FFD700, #FFA500); -webkit-background-clip: text; -webkit-text-fill-color: transparent; background-clip: text;'>📊 سیستم ناشناس‌سازی دقیق اطلاعات تجاری</h1>")
+        title = gr.HTML("<h1 style='text-align: center; color: #FFD700; font-size: 3.5em; font-weight: bold; text-shadow: 3px 3px 6px rgba(0,0,0,0.5); margin: 20px 0; background: linear-gradient(45deg, #FFD700, #FFA500); -webkit-background-clip: text; -webkit-text-fill-color: transparent; background-clip: text;'>📊 سیستم ناشناس‌سازی بهبود یافته اطلاعات تجاری</h1>")
         
         with gr.Row(elem_classes="workflow rtl") as workflow_row:
             with gr.Column():
@@ -434,12 +447,12 @@ with gr.Blocks(title="📊 Precise Anonymization System", theme=gr.themes.Soft()
                 
                 input_text = gr.Textbox(
                     lines=15,
-                    placeholder="متن تجاری خود را اینجا وارد کنید...\nسیستم به طور دقیق نام شرکت‌ها، مبالغ مالی، درصدها و نام مدیران را تشخیص می‌دهد...",
+                    placeholder="متن تجاری خود را اینجا وارد کنید...\nسیستم با دقت بهبود یافته نام شرکت‌ها، مبالغ مالی، درصدها و نام مدیران را تشخیص می‌دهد...",
                     label="",
                     rtl=True
                 )
                 
-                process_btn = gr.Button("🚀 پردازش با تشخیص دقیق", variant="primary")
+                process_btn = gr.Button("🚀 پردازش با تشخیص بهبود یافته", variant="primary")
                 clear_btn = gr.Button("🗑️ پاک کردن همه", variant="stop")
                 
                 status = gr.Textbox(
@@ -485,8 +498,8 @@ with gr.Blocks(title="📊 Precise Anonymization System", theme=gr.themes.Soft()
 
         with gr.Row():
             with gr.Column():
-                mapping_title = gr.HTML('<h2>🗂️ جدول نگاشت دقیق</h2>')
-                mapping_btn = gr.Button("📋 نمایش جدول نگاشت دقیق")
+                mapping_title = gr.HTML('<h2>🗂️ جدول نگاشت بهبود یافته</h2>')
+                mapping_btn = gr.Button("📋 نمایش جدول نگاشت بهبود یافته")
                 
                 mapping_output = gr.Textbox(
                     lines=10,