Update app.py

app.py

@@ -1,7 +1,7 @@
 #!/usr/bin/env python3
 # -*- coding: utf-8 -*-
 """
-سیستم benchmark ناشناس‌سازی - ورژن نهایی با الگوهای فوق‌العاده دقیق
+سیستم benchmark ناشناس‌سازی - ورژن آپدیت شده با الگوهای جامع و دقیق
 """
 
 import pandas as pd
@@ -33,83 +33,142 @@ def convert_to_serializable(obj):
     else:
         return obj
 
-# ===== کلاس پردازش entities با الگوهای فوق‌العاده دقیق =====
-class PreciseEntityExtractor:
+# ===== کلاس پردازش entities با الگوهای آپدیت شده =====
+class UpdatedEntityExtractor:
     def __init__(self):
-        # الگوهای فوق‌العاده دقیق با boundaries مشخص
+        # الگوهای آپدیت شده براساس سیستم ناشناس‌سازی بهبود یافته
         self.patterns = {
-            'COMPANY': [
-                # شرکت + نام مشخص (فقط اسم شرکت، نه جملات)
-                r'شرکت\s+پتروشیمی\s+[\u0600-\u06FF\u0750-\u077F]+(?=\s|$|،|\.)',
-                r'شرکت\s+تولیدی\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+?(?=\s+(?:با|در|که|مربوط|صادر)|$|،|\.)',
-                r'شرکت\s+پردازش\s+[\u0600-\u06FF\u0750-\u077F\s\u200C\-]+?(?=\s+(?:با|در|که|مربوط)|$|،|\.)',
-                r'بانک\s+[\u0600-\u06FF\u0750-\u077F]+(?=\s+(?:با|در|که|مربوط|ارائه|صادر)|$|،|\.)',
-                r'بانک\s+مرکزی\s+جمهوری\s+اسلامی\s+[\u0600-\u06FF\u0750-\u077F]+',
-            ],
-            
-            'LOCATION': [
-                # فقط نام مکان، نه عبارات کامل
-                r'بندر\s+[\u0600-\u06FF\u0750-\u077F]+(?=\s+(?:برگزار|واقع|در)|$|،|\.)',
-                r'شهر\s+[\u0600-\u06FF\u0750-\u077F]+(?=\s+(?:برگزار|واقع|در)|$|،|\.)', 
-                r'استان\s+[\u0600-\u06FF\u0750-\u077F]+(?=\s+(?:برگزار|واقع|در)|$|،|\.)',
-                # نام شهرهای مشخص
-                r'\b(?:تهران|اصفهان|ماهشهر|عسلویه|بندرعباس|اهواز|شیراز|مشهد|تبریز|کرج|قم|رشت|کرمان|یزد|زاهدان|بوشهر|خرمشهر|آبادان|اراک|قزوین|خوزستان)\b',
-                # اسامی کشورها
-                r'جمهوری\s+اسلامی\s+ایران',
-                r'\b(?:ایران|عراق|کویت|عربستان|امارات|قطر|عمان|بحرین|ترکیه)\b',
+            # آدرس‌های کامل - اولویت بالا با پوشش میدان و برج
+            'FULL_ADDRESS': [
+                # الگوی آدرس کامل: شهر + میدان + برج + طبقه + واحد
+                r'(?:تهران|اصفهان|مشهد|شیراز|کرج|اهواز|قم|رشت|کرمان|یزد|بوشهر|ارومیه|همدان|بندر عباس|ساری|اردبیل|خرم‌آباد|ایلام|بیرجند|گرگان|زنجان|سنندج|شهرکرد|سبزوار|قزوین|زاهدان|خوی|مراغه|کاشان|نجف‌آباد|شاهین‌شهر|ملایر|آبادان|دزفول|بابل|آمل|شاهرود|گنبد کاووس|خرمشهر|جهرم|فسا|مرودشت|لار|داراب|فیروزآباد|کازرون|سپیدان|نی‌ریز|استهبان|فارسان|میانه|ورامین|قرچک|ری|پاکدشت|دماوند|فیروزکوه|شهریار|اسلام‌شهر|ملارد|قدس|بهارستان|چهاردانگه)،\s*(?:میدان|خیابان|کوچه|شهرک|بلوار|کوی|محله)\s+[آ-ی‌ّٰ-ٹ\s]+(?:،\s*(?:برج|ساختمان|مجتمع)\s+[آ-ی‌ّٰ-ٹ\s]+)?(?:،\s*(?:طبقه|واحد)\s+[آ-ی‌ّٰ-ٹ\d\s]+)?(?:،\s*واحد\s+[آ-ی‌ّٰ-ٹ\d\s]+)?',
+                
+                # الگوی آدرس کامل: شهر + خیابان + کوچه + پلاک + طبقه
+                r'(?:تهران|اصفهان|مشهد|شیراز|کرج|اهواز|قم|رشت|کرمان|یزد|بوشهر|ارومیه|همدان|بندر عباس|ساری|اردبیل|خرم‌آباد|ایلام|بیرجند|گرگان|زنجان|سنندج|شهرکرد|سبزوار|قزوین|زاهدان|خوی|مراغه|کاشان|نجف‌آباد|شاهین‌شهر|ملایر|آبادان|دزفول|بابل|آمل|شاهرود|گنبد کاووس|خرمشهر|جهرم|فسا|مرودشت|لار|داراب|فیروزآباد|کازرون|سپیدان|نی‌ریز|استهبان|فارسان|میانه|ورامین|قرچک|ری|پاکدشت|دماوند|فیروزکوه|شهریار|اسلام‌شهر|ملارد|قدس|بهارستان|چهاردانگه)،\s*(?:خیابان|کوچه|شهرک|بلوار|میدان|کوی|محله)\s+[آ-ی‌ّٰ-ٹ\s]+(?:،\s*(?:خیابان|کوچه|بلوار|کوی)\s+[آ-ی‌ّٰ-ٹ\s]+)?(?:،\s*پلاک\s+\d+)?(?:،\s*(?:طبقه|واحد)\s+[آ-ی‌ّٰ-ٹ\d\s]+)?',
+                
+                # الگوی آدرس با ش��رک
+                r'(?:تهران|اصفهان|مشهد|شیراز|کرج|اهواز|قم|رشت|کرمان|یزد|بوشهر|ارومیه|همدان|بندر عباس|ساری|اردبیل|خرم‌آباد|ایلام|بیرجند|گرگان|زنجان|سنندج|شهرکرد|سبزوار|قزوین|زاهدان|خوی|مراغه|کاشان|نجف‌آباد|شاهین‌شهر|ملایر|آبادان|دزفول|بابل|آمل|شاهرود|گنبد کاووس|خرمشهر|جهرم|فسا|مرودشت|لار|داراب|فیروزآباد|کازرون|سپیدان|نی‌ریز|استهبان|فارسان|میانه|ورامین|قرچک|ری|پاکدشت|دماوند|فیروزکوه|شهریار|اسلام‌شهر|ملارد|قدس|بهارستان|چهاردانگه)،\s*شهرک\s+[آ-ی‌ّٰ-ٹ\s]+،\s*(?:خیابان|کوچه|بلوار)\s+[آ-ی‌ّٰ-ٹ\s]+(?:،\s*پلاک\s+\d+)?',
+                
+                # الگوی ساده‌تر برای آدرس‌های کوتاه‌تر
+                r'خیابان\s+[آ-ی‌ّٰ-ٹ\s]+،\s*کوچه\s+[آ-ی‌ّٰ-ٹ\s]+،\s*پلاک\s+\d+(?:،\s*(?:طبقه|واحد)\s+[آ-ی‌ّٰ-ٹ\d\s]+)?',
             ],
-            
+
+            # اسامی اشخاص - الگوهای دقیق‌تر شامل خانم
             'PERSON': [
-                # فقط اسم کامل افراد
-                r'آقای\s+[\u0600-\u06FF\u0750-\u077F]+\s+[\u0600-\u06FF\u0750-\u077F]+(?=\s+(?:با|مدیر)|$|،|\.)',
-                r'خانم\s+[\u0600-\u06FF\u0750-\u077F]+\s+[\u0600-\u06FF\u0750-\u077F]+(?=\s+(?:با|همسر)|$|،|\.)',
-                r'مدیرعامل\s+[\u0600-\u06FF\u0750-\u077F]+\s+[\u0600-\u06FF\u0750-\u077F]+',
-                r'مدیر\s+مالی\s+[\u0600-\u06FF\u0750-\u077F]+\s+[\u0600-\u06FF\u0750-\u077F]+',
+                r'آقای\s+[آ-ی‌ّٰ-ٹ]+\s+[آ-ی‌ّٰ-ٹ]+(?=\s+با\s+کد|\s+مدیر|$|،|\.)',
+                r'خانم\s+[آ-ی‌ّٰ-ٹ]+\s+[آ-ی‌ّٰ-ٹ]+(?=\s+با\s+کد|\s+با\s+موبایل|$|،|\.)',
+                r'مهندس\s+[آ-ی‌ّٰ-ٹ]+\s+[آ-ی‌ّٰ-ٹ]+(?=\s+با\s+کد|$|،|\.)',
+                r'دکتر\s+[آ-ی‌ّٰ-ٹ]+\s+[آ-ی‌ّٰ-ٹ]+(?=\s+با\s+کد|$|،|\.)',
+                r'مدیر\s+مالی\s+خانم\s+[آ-ی‌ّٰ-ٹ]+\s+[آ-ی‌ّٰ-ٹ]+',
+                r'مدیرعامل\s+[آ-ی‌ّٰ-ٹ]+\s+[آ-ی‌ّٰ-ٹ]+',
+                r'Mr\.\s+[A-Z][a-z]+\s+[A-Z][a-z]+(?=\s|,|\.|$)',
+                r'Ms\.\s+[A-Z][a-z]+\s+[A-Z][a-z]+(?=\s|,|\.|$)',
+                r'Dr\.\s+[A-Z][a-z]+\s+[A-Z][a-z]+(?=\s|,|\.|$)',
             ],
-            
-            'DATE': [
-                # فقط تاریخ‌های مشخص، نه عبارات طولانی
-                r'[۰-۹\u06F0-\u06F9]{1,2}\s+(?:فروردین|اردیبهشت|خرداد|تیر|مرداد|شهریور|مهر|آبان|آذر|دی|بهمن|اسفند)\s+[۰-۹\u06F0-\u06F9]{4}',
-                r'\d{4}\/\d{1,2}\/\d{1,2}',
-                # حذف الگوی طولانی "سال مالی منتهی به..."
+
+            # کدهای ملی و شناسه‌ها - جداسازی از شماره تلفن
+            'ID_NUMBER': [
+                r'کد\s+ملی\s+\d{10}',
+                r'شناسه\s+ملی\s+\d{11}',  
+                r'(?<!09)(?<!021-)(?<![0-9])\d{10}(?![0-9])',  # کد ملی 10 رقمی مستقل
+                r'(?<!09)(?<!021-)(?<![0-9])\d{11}(?![0-9])',  # شناسه 11 رقمی مستقل
             ],
-            
+
+            # مبالغ مالی - جداسازی از شماره تلفن
+            'AMOUNT': [
+                r'\d{6,}\s*تومان',  # مبالغ 6 رقمی یا بیشتر با کلمه تومان
+                r'مبلغ\s+\d{6,}(?:\s*تومان)?',
+                r'موجودی\s+حساب\s+[^\s]+\s+حدود\s+\d{6,}\s*تومان',
+                r'ارزش\s+روز\s+آن\s+\d{6,}\s*تومان',
+                r'میانگین\s+موجودی\s+حساب\s+وی\s+حدود\s+\d{6,}\s*تومان',
+                r'\d+\s*درصد\s+مبلغ\s+معادل\s+\d{6,}\s*تومان',
+                r'\$\d+(?:,\d{3})*(?:\.\d+)?',
+            ],
+
+            # شماره حساب و کارت بانکی - جداسازی دقیق
+            'ACCOUNT': [
+                r'حساب\s+جاری\s+شماره\s+[\d-]+',
+                r'شماره\s+[\d-]{8,}(?=\s+در|\s+بانک)',  # شماره حساب
+            ],
+
+            'CARD_NUMBER': [
+                r'شماره\s+کارت\s+مربوطه\s+\d{4}-\d{4}-\d{4}-\d{4}',
+                r'\d{4}-\d{4}-\d{4}-\d{4}(?=\s+می‌باشد|\s+نیز)',
+            ],
+
+            # شماره تلفن - فقط شماره، نه کل عبارت
             'PHONE': [
-                # شماره‌های تلفن دقیق
-                r'09\d{9}(?!\d)',  
-                r'021-\d{8}',      
-                r'0\d{2,3}-\d{7,8}', 
+                r'09\d{9}(?=\s+را)',  # فقط شماره موبایل قبل از "را"
+                r'(?<![0-9])09\d{9}(?![0-9])(?!\s+را\s+اعلام)',  # شماره موبایل مستقل
+                r'موبایل\s+09\d{9}',  # با کلمه موبایل
+                r'021-\d{8}',  # تلفن تهران
+                r'0\d{2,3}-?\d{7,8}',  # تلفن‌های شهری
             ],
-            
-            'EMAIL': [
-                r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
+
+            # تاریخ
+            'DATE': [
+                r'\d{4}/\d{1,2}/\d{1,2}',
+                r'[۰-۹]{1,2}\s+(?:فروردین|اردیبهشت|خرداد|تیر|مرداد|شهریور|مهر|آبان|آذر|دی|بهمن|اسفند)\s+[۰-۹]{4}',
             ],
-            
-            'AMOUNT': [
-                # فقط مبالغ خالص
-                r'\d{6,}\s*تومان',  
-                r'\d+\s*درصد',
+
+            # شرکت‌ها - الگوهای گسترده‌تر اصلاح شده
+            'COMPANY': [
+                r'شرکت\s+پردازش\s+داده‌های\s+[آ-ی‌ّٰ-ٹ\s]+',
+                r'شرکت\s+تولیدی\s+[آ-ی‌ّٰ-ٹ\s]+(?=\s|$|،|\.)',
+                r'شرکت\s+[آ-ی‌ّٰ-ٹ\s]+(?=\s|$|،|\.)',
+                r'(?<!همین\s)(?<!این\s)(?<!آن\s)بانک\s+[آ-ی‌ّٰ-ٹ\s]+(?=\s|$|،|\.)',  # بانک فقط اگر قبلش همین/این/آن نباشد
+                r'دفتر\s+حسابداری\s+شرکت',
+                r'[A-Z][a-zA-Z\s]+(?:Inc|Corp|Corporation|Company|Ltd|Limited|LLC)',
             ],
-            
-            'ACCOUNT': [
-                r'\d{3}-\d{3}-\d{3}-\d',  
-                r'\d{4}-\d{4}-\d{4}-\d{4}',  
+
+            # شعب و واحدهای تجاری - دقیق‌تر شده
+            'BRANCH': [
+                r'شعبه\s+[آ-ی‌ّٰ-ٹ\s]+\s+بانک\s+[آ-ی‌ّٰ-ٹ\s]+',
+                r'شعبه\s+مرکزی\s+بانک\s+[آ-ی‌ّٰ-ٹ\s]+',
             ],
-            
-            'ID_NUMBER': [
-                # کدهای ملی و شناسه دقیق
-                r'کد\s+ملی\s+\d{10}',
-                r'شناسه\s+ملی\s+\d{11}',
-                r'(?<!\d)\d{10}(?!\d)',  
-                r'(?<!\d)\d{11}(?!\d)',  
+
+            # مکان‌ها - شهرها (فقط نام شهرها تنها)
+            'LOCATION': [
+                r'\b(?:تهران|اصفهان|مشهد|شیراز|کرج|اهواز|قم|رشت|کرمان|یزد|بوشهر|ارومیه|همدان|بندر عباس|ساری|اردبیل|خرم‌آباد|ایلام|بیرجند|گرگان|زنجان|سنندج|شهرکرد|سبزوار|قزوین|زاهدان|خوی|مراغه|کاشان|نجف‌آباد|شاهین‌شهر|ملایر|آبادان|دزفول|بابل|آمل|شاهرود|گنبد کاووس|خرمشهر|جهرم|فسا|مرودشت|لار|داراب|فیروزآباد|کازرون|سپیدان|نی‌ریز|استهبان|فارسان|میانه|ورامین|قرچک|ری|پاکدشت|دماوند|فیروزکوه|شهریار|اسلام‌شهر|ملارد|قدس|بهارستان|چهاردانگه)\b(?!\s*،)(?!\s+میدان)(?!\s+خیابان)',  # فقط نام شهر تنها
+                r'استان\s+[آ-ی‌ّٰ-ٹ\s]+',
+                r'شهر\s+[آ-ی‌ّٰ-ٹ\s]+',
+            ],
+
+            # شماره فاکتور و اسناد - الگوهای جدید
+            'INVOICE_NUMBER': [
+                r'فاکتور\s+شماره\s+[A-Z]+-\d{4}-\d{4}',
+                r'[A-Z]+-\d{4}-\d{4}(?=\s+را\s+برای)',
+            ],
+
+            # دفاتر اسناد رسمی
+            'DOCUMENT_OFFICE': [
+                r'دفتر\s+اسناد\s+رسمی\s+شماره\s+\d+',
+                r'شماره\s+\d+\s+(?:تهران|اصفهان|مشهد|شیراز|کرج)',
+            ],
+
+            # ایمیل
+            'EMAIL': [
+                r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
             ],
-            
-            'DOCUMENT_NUMBER': [
-                r'فاکتور\s+شماره\s+[A-Z0-9-]+',
-                r'چک\s+شماره\s+\d+',
-                r'گزارش\s+شماره\s+[A-Z0-9-]+',
-            ]
         }
+        
+        # ترتیب اولویت براساس سیستم ناشناس‌سازی
+        self.priority_order = [
+            'FULL_ADDRESS',    # بالاترین اولویت - آدرس کامل قبل از قطعات
+            'INVOICE_NUMBER',  # شماره فاکتور
+            'DOCUMENT_OFFICE', # دفاتر اسناد رسمی
+            'EMAIL',           
+            'CARD_NUMBER',     # کارت بانکی
+            'ACCOUNT',         # حساب بانکی
+            'PHONE',           # شماره تلفن - اولویت بالا
+            'ID_NUMBER',       # کد ملی
+            'AMOUNT',          # مبالغ مالی
+            'BRANCH',          # شعبه
+            'COMPANY',         # شرکت
+            'LOCATION',        # مکان
+            'DATE',            # تاریخ
+            'PERSON',          # نام اشخاص
+        ]
     
     def clean_entity(self, text):
         """تمیز کردن دقیق entity"""
@@ -119,15 +178,43 @@ class PreciseEntityExtractor:
         text = re.sub(r'\s+', ' ', text).strip()
         return text
     
+    def is_generic_word(self, text):
+        """بررسی کلمات عمومی که نباید entity محسوب شوند"""
+        text_clean = text.strip().lower()
+        
+        generic_words = {
+            'همین بانک', 'این بانک', 'آن بانک', 'بانک مذکور',
+            'همین شرکت', 'این شرکت', 'آن شرکت', 'شرکت مذکور',
+            'همین شعبه', 'این شعبه', 'آن شعبه', 'شعبه مذکور',
+            'همین شهر', 'این شهر', 'آن شهر', 
+            'شرکت متقاضی', 'دفتر حسابداری شرکت',
+            'متقاضی', 'ایشان', 'وی', 'مشتری',
+            'بانک', 'شرکت', 'شعبه'  # کلمات تنها
+        }
+        
+        # بررسی exact match
+        if text_clean in generic_words:
+            return True
+            
+        # بررسی کلمات که با همین/این/آن شروع می‌شوند
+        if text_clean.startswith(('همین ', 'این ', 'آن ')):
+            return True
+            
+        return len(text.strip()) < 3
+    
     def is_valid_entity(self, text, category):
         """بررسی دقیق‌تر معتبر بودن entity"""
-        if len(text) < 3 or len(text) > 60:
+        if len(text) < 3 or len(text) > 100:
+            return False
+        
+        # بررسی کلمات عمومی
+        if self.is_generic_word(text):
             return False
         
         # کلمات ممنوع که نباید entity باشند
         forbidden_words = [
             'شد', 'کرد', 'است', 'بود', 'در', 'که', 'با', 'از', 'به', 'را', 'و', 'یا',
-            'شرکت', 'بانک', 'آقای', 'خانم', 'تومان', 'مبلغ', 'برگزار', 'مطرح', 'واقع'
+            'شده', 'نموده', 'صادر', 'ارائه', 'معرفی', 'برگزار', 'مطرح', 'واقع'
         ]
         
         if text.lower().strip() in forbidden_words:
@@ -155,16 +242,27 @@ class PreciseEntityExtractor:
             if 'سال مالی' in text:
                 return False
         
+        elif category == 'PERSON':
+            # نباید فقط عنوان باشد
+            if text.strip() in ['آقای', 'خانم', 'مهندس', 'دکتر']:
+                return False
+        
         return True
     
     def extract_entities(self, text):
-        """استخراج entities با دقت بالا"""
+        """استخراج entities با دقت بالا و اولویت‌بندی"""
         if not text or text.strip() == '':
             return {}
         
         entities = {}
+        processed_positions = set()
         
-        for category, pattern_list in self.patterns.items():
+        # پردازش براساس اولویت
+        for category in self.priority_order:
+            if category not in self.patterns:
+                continue
+                
+            pattern_list = self.patterns[category]
             found_entities = []
             
             for pattern_str in pattern_list:
@@ -173,9 +271,20 @@ class PreciseEntityExtractor:
                     matches = pattern.finditer(text)
                     
                     for match in matches:
-                        entity = self.clean_entity(match.group(0))
-                        if self.is_valid_entity(entity, category):
-                            found_entities.append(entity)
+                        # بررسی تداخل با entities قبلی
+                        match_start, match_end = match.span()
+                        overlaps = False
+                        
+                        for proc_start, proc_end in processed_positions:
+                            if not (match_end <= proc_start or match_start >= proc_end):
+                                overlaps = True
+                                break
+                        
+                        if not overlaps:
+                            entity = self.clean_entity(match.group(0))
+                            if self.is_valid_entity(entity, category):
+                                found_entities.append(entity)
+                                processed_positions.add((match_start, match_end))
                 
                 except re.error as e:
                     logger.error(f"Regex error in pattern {pattern_str}: {e}")
@@ -204,6 +313,7 @@ class PreciseEntityExtractor:
             return {}
         
         codes = {}
+        # الگو براساس سیستم ناشناس‌سازی: category_number
         pattern = r'([a-zA-Z_]+)_(\d{3})'
         
         try:
@@ -225,15 +335,15 @@ class PreciseEntityExtractor:
         
         return codes
 
-# ===== کلاس Benchmark =====
-class PreciseAnonymizationBenchmark:
+# ===== کلاس Benchmark آپدیت شده =====
+class UpdatedAnonymizationBenchmark:
     def __init__(self):
-        self.extractor = PreciseEntityExtractor()
+        self.extractor = UpdatedEntityExtractor()
     
     def analyze_single_row(self, original_text, anonymized_text, row_number):
         """تحلیل دقیق یک ردیف"""
         print(f"\n{'='*80}")
-        print(f"تحلیل دقیق ردیف {row_number}")
+        print(f"تحلیل دقیق ردیف {row_number} (ورژن آپدیت شده)")
         print(f"{'='*80}")
         
         print(f"\n📝 متن اصلی ({len(original_text)} کاراکتر):")
@@ -243,7 +353,7 @@ class PreciseAnonymizationBenchmark:
         print(f"'{anonymized_text[:150]}{'...' if len(anonymized_text) > 150 else ''}'")
         
         # استخراج entities از متن اصلی
-        print(f"\n🔍 Entities دقیق استخراج شده از متن اصلی:")
+        print(f"\n🔍 Entities دقیق استخراج شده از متن اصلی (الگوهای آپدیت شده):")
         original_entities = self.extractor.extract_entities(original_text)
         
         total_original_entities = 0
@@ -259,12 +369,12 @@ class PreciseAnonymizationBenchmark:
             print(f"\n✅ مجموع entities یافت شده: {total_original_entities}")
         
         # استخراج کدهای ناشناس‌سازی
-        print(f"\n🔍 کدهای ناشناس‌سازی:")
+        print(f"\n🔒 کدهای ناشناس‌سازی:")
         anonymized_codes = self.extractor.extract_anonymized_codes(anonymized_text)
         
         total_anonymized_codes = 0
         for category, codes in anonymized_codes.items():
-            print(f"\n  🔒 {category} ({len(codes)} عدد):")
+            print(f"\n  🔑 {category} ({len(codes)} عدد):")
             for i, code in enumerate(codes, 1):
                 print(f"    {i}. '{code}'")
             total_anonymized_codes += len(codes)
@@ -275,7 +385,7 @@ class PreciseAnonymizationBenchmark:
             print(f"\n✅ مجموع کدهای ناشناس‌سازی: {total_anonymized_codes}")
         
         # تطبیق دقیق entities و codes
-        print(f"\n🔄 تطبیق Entities با کدهای ناشناس‌سازی:")
+        print(f"\n📄 تطبیق Entities با کدهای ناشناس‌سازی:")
         all_categories = set(original_entities.keys()) | set(anonymized_codes.keys())
         
         for category in sorted(all_categories):
@@ -290,6 +400,14 @@ class PreciseAnonymizationBenchmark:
                 print(f"    لیست اصلی: {original_entities[category]}")
             if anon_count > 0:
                 print(f"    لیست کدها: {anonymized_codes[category]}")
+            
+            # وضعیت تطبیق
+            if orig_count == anon_count:
+                print(f"    وضعیت: ✅ تطبیق کامل")
+            elif orig_count > anon_count:
+                print(f"    وضعیت: ⚠️ {orig_count - anon_count} entity از دست رفته")
+            else:
+                print(f"    وضعیت: ⚠️ {anon_count - orig_count} کد اضافی")
         
         # محاسبه متریک‌ها
         category_metrics = {}
@@ -323,7 +441,7 @@ class PreciseAnonymizationBenchmark:
         overall_f1 = 2 * (overall_precision * overall_recall) / (overall_precision + overall_recall) if (overall_precision + overall_recall) > 0 else 0
         accuracy = total_tp / total_original_entities if total_original_entities > 0 else 0
         
-        print(f"\n🎯 متریک‌های نهایی ردیف {row_number}:")
+        print(f"\n🎯 متریک‌های نهایی ردیف {row_number} (الگوهای آپدیت شده):")
         print(f"  TP: {total_tp}, FP: {total_fp}, FN: {total_fn}")
         print(f"  Precision: {overall_precision:.4f}")
         print(f"  Recall: {overall_recall:.4f}")
@@ -375,7 +493,7 @@ class PreciseAnonymizationBenchmark:
             all_analysis = []
             
             for index, row in df.iterrows():
-                print(f"\n🔄 پردازش ردیف {index + 1} از {len(df)}")
+                print(f"\n📄 پردازش ردیف {index + 1} از {len(df)}")
                 
                 original_text = str(row['original_text']) if pd.notna(row['original_text']) else ""
                 anonymized_text = str(row['anonymized_text']) if pd.notna(row['anonymized_text']) else ""
@@ -411,15 +529,15 @@ class PreciseAnonymizationBenchmark:
         except Exception as e:
             return f"❌ خطا در پردازش: {str(e)}"
 
-# ===== رابط Gradio =====
+# ===== رابط Gradio آپدیت شده =====
 def process_uploaded_file(file):
     """پردازش فایل آپلود شده"""
     if file is None:
         return "❌ لطفاً ابتدا فایل CSV را آپلود کنید.", None
     
-    print(f"\n🚀 شروع تحلیل دقیق فایل: {file.name}")
+    print(f"\n🚀 شروع تحلیل دقیق فایل (ورژن آپدیت شده): {file.name}")
     
-    benchmark = PreciseAnonymizationBenchmark()
+    benchmark = UpdatedAnonymizationBenchmark()
     result = benchmark.process_csv(file.name)
     
     if isinstance(result, str):
@@ -445,10 +563,10 @@ def process_uploaded_file(file):
     # گزارش نهایی
     report = f"""
 {'='*80}
-🎯 گزارش نهایی Benchmark دقیق فایل شما
+🎯 گزارش نهایی Benchmark آپدیت شده - براساس سیستم ناشناس‌سازی بهبود یافته
 {'='*80}
 
-📈 آمار کلی (با الگوهای دقیق):
+📈 آمار کلی (الگوهای آپدیت شده براساس سیستم جامع):
   • تعداد ردیف‌های پردازش شده: {total_rows}
   • مجموع Entities دقیق در همه ردیف‌ها: {total_original}
   • مجموع کدهای ناشناس‌سازی: {total_anonymized}
@@ -462,19 +580,26 @@ def process_uploaded_file(file):
   • F1-Score: {avg_f1:.4f}
   • Accuracy: {avg_accuracy:.4f}
 
-📊 توضیحات:
-• الگوهای regex دقیق‌تر شده‌اند
-• entities اضافی و غلط حذف شده‌اند
-• فقط entities واقعی و معنادار شناسایی می‌شوند
-• جزئیات کامل در بالا نمایش داده شده
+🆕 بهبودهای آپدیت شده:
+• آدرس کامل شامل میدان، برج، طبقه و واحد
+• نام اشخاص با عنوان خانم و مدیر مالی
+• شرکت‌های پیچیده (پردازش داده‌های ایرانیان)
+• شماره فاکتور و اسناد رسمی
+• تلفن ثابت شهری (021-)
+• فیلتر کلمات عمومی ("همین بانک", "شرکت متقاضی")
+• اولویت‌بندی بهتر پردازش entities
+• جداسازی دقیق کد ملی از شماره تلفن
 
-✅ حالا تعداد entities منطقی‌تر و دقیق‌تر است!
+✅ الگوهای regex دقیق‌تر و جامع‌تر شده‌اند!
+✅ entities اضافی و غلط حذف شده‌اند
+✅ فقط entities واقعی و معنادار شناسایی می‌شوند
+✅ تطبیق بهتر با سیستم ناشناس‌سازی پیشرفته
 """
     
     # ذخیره نتایج
     try:
-        results_df.to_csv("precise_benchmark_results.csv", index=False, encoding='utf-8-sig')
-        print("✅ نتایج دقیق در فایل precise_benchmark_results.csv ذخیره شد")
+        results_df.to_csv("updated_benchmark_results.csv", index=False, encoding='utf-8-sig')
+        print("✅ نتایج آپدیت شده در فایل updated_benchmark_results.csv ذخیره شد")
     except Exception as e:
         print(f"⚠️  خطا در ذخیره فایل: {e}")
     
@@ -488,17 +613,17 @@ def process_uploaded_file(file):
 
 def download_results():
     """دانلود نتایج"""
-    if os.path.exists("precise_benchmark_results.csv"):
-        return "precise_benchmark_results.csv"
+    if os.path.exists("updated_benchmark_results.csv"):
+        return "updated_benchmark_results.csv"
     return None
 
 # ===== رابط اصلی =====
 def main():
-    with gr.Blocks(title="Ultra Precise Benchmark", theme=gr.themes.Soft()) as demo:
+    with gr.Blocks(title="آپدیت شده: Ultra Precise Benchmark", theme=gr.themes.Soft()) as demo:
         
         gr.HTML("""
         <h1 style='text-align: center; color: #2E86AB; margin-bottom: 30px;'>
-        🎯 سیستم Benchmark فوق‌العاده دقیق ناشناس‌سازی
+        🔄 سیستم Benchmark آپدیت شده - براساس الگوهای ناشناس‌سازی پیشرفته
         </h1>
         """)
         
@@ -506,13 +631,17 @@ def main():
             with gr.Column():
                 gr.HTML("""
                 <div style='background: #e8f5e8; padding: 15px; border-radius: 10px; margin-bottom: 15px;'>
-                <h3>🚀 ویژگی‌های ورژن دقیق:</h3>
+                <h3>🆕 ویژگی‌های آپدیت شده:</h3>
                 <ul>
-                <li><b>الگوهای فوق‌العاده دقیق:</b> حذف entities غلط و اضافی</li>
-                <li><b>تمیزکاری پیشرفته:</b> حذف کلمات اضافی مانند "برگزار شد"</li>
-                <li><b>اعتبارسنجی هوشمند:</b> بررسی معناداری هر entity</li>
-                <li><b>حذف تکراری هوشمند:</b> entities که زیرمجموعه دیگران هستند حذف می‌شوند</li>
-                <li><b>نمایش مقایسه‌ای:</b> entities vs کدهای ناشناس‌سازی</li>
+                <li><b>آدرس کامل:</b> تهران، میدان ونک، برج میلاد، طبقه 15، واحد 1503</li>
+                <li><b>اسامی کامل:</b> خانم زهرا احمدی، مدیر مالی خانم احمدی</li>
+                <li><b>شرکت‌های پیچیده:</b> شرکت پردازش داده‌های ایرانیان</li>
+                <li><b>شما��ه فاکتور:</b> INV-2024-0156</li>
+                <li><b>دفاتر اسناد:</b> دفتر اسناد رسمی شماره 1247 تهران</li>
+                <li><b>تلفن ثابت:</b> 021-88776655</li>
+                <li><b>فیلتر هوشمند:</b> حذف "همین بانک"، "شرکت متقاضی"</li>
+                <li><b>اولویت‌بندی:</b> آدرس کامل قبل از قطعات</li>
+                <li><b>جداسازی دقیق:</b> کد ملی از شماره تلفن</li>
                 </ul>
                 </div>
                 """)
@@ -523,14 +652,14 @@ def main():
                     file_count="single"
                 )
                 
-                process_btn = gr.Button("🎯 تحلیل فوق‌العاده دقیق", variant="primary", size="lg")
+                process_btn = gr.Button("🔄 تحلیل با الگوهای آپدیت شده", variant="primary", size="lg")
         
         with gr.Row():
             with gr.Column():
-                gr.HTML("<h3>📊 گزارش دقیق + لیست Entities صحیح</h3>")
+                gr.HTML("<h3>📊 گزارش آپدیت شده + لیست Entities صحیح</h3>")
                 
                 results_output = gr.Textbox(
-                    label="گزارش کامل با entities دقیق",
+                    label="گزارش کامل با entities آپدیت شده",
                     lines=30,
                     max_lines=35,
                     interactive=False
@@ -538,18 +667,18 @@ def main():
         
         with gr.Row():
             with gr.Column():
-                gr.HTML("<h3>📋 جدول نتایج دقیق</h3>")
+                gr.HTML("<h3>📋 جدول نتایج آپدیت شده</h3>")
                 
                 results_table = gr.Dataframe(
-                    label="متریک‌های دقیق هر ردیف",
+                    label="متریک‌های دقیق هر ردیف (ورژن جدید)",
                     interactive=False,
                     wrap=True
                 )
         
         with gr.Row():
             with gr.Column():
-                download_btn = gr.Button("💾 دانلود نتایج دقیق", variant="secondary")
-                download_file = gr.File(label="فایل نتایج دقیق", visible=False)
+                download_btn = gr.Button("💾 دانلود نتایج آپدیت شده", variant="secondary")
+                download_file = gr.File(label="فایل نتایج آپدیت شده", visible=False)
         
         # Event handlers
         process_btn.click(