Update app.py

app.py

@@ -1,7 +1,7 @@
 #!/usr/bin/env python3
 # -*- coding: utf-8 -*-
 """
-سیستم کامل benchmark برای ناشناس‌سازی - همه چیز در یک فایل
+سیستم کامل benchmark برای ناشناس‌سازی - همه چیز در یک فایل - ورژن کاملاً اصلاح شده
 """
 
 import pandas as pd
@@ -18,7 +18,23 @@ import numpy as np
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-# ===== کلاس ناشناس‌ساز (کپی از کد اصلی) =====
+# ===== تابع کمکی برای تبدیل numpy/pandas types =====
+def convert_to_serializable(obj):
+    """تبدیل numpy/pandas types به Python native types برای JSON serialization"""
+    if isinstance(obj, (np.integer, np.int64, np.int32)):
+        return int(obj)
+    elif isinstance(obj, (np.floating, np.float64, np.float32)):
+        return float(obj)
+    elif isinstance(obj, np.ndarray):
+        return obj.tolist()
+    elif isinstance(obj, dict):
+        return {key: convert_to_serializable(value) for key, value in obj.items()}
+    elif isinstance(obj, list):
+        return [convert_to_serializable(item) for item in obj]
+    else:
+        return obj
+
+# ===== کلاس ناشناس‌ساز بهبود یافته =====
 class LightweightDataAnonymizer:
     def __init__(self):
         self.mapping_table = {}
@@ -37,61 +53,56 @@ class LightweightDataAnonymizer:
         self.api_key = os.getenv("OPENAI_API_KEY", "")
 
     def get_improved_patterns(self):
-        """الگوهای کاملاً اصلاح شده - برای benchmark"""
+        """الگوهای کاملاً بهبود یافته و تست شده"""
         return {
             'COMPANY': [
-                r'شرکت\s+پتروشیمی\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s+مربوط|\s+در|\s+که|\s+با|\s+را|\s+به|،|\.|\s+$)',
-                r'شرکت\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]*(?:پتروشیمی|نفت|گاز|صنایع|تولید|بانک)[آ-ی‌یٰ-ٹa-zA-Z\s‌]+(?=\s+مربوط|\s+در|\s+که|\s+با|\s+را|\s+به|،|\.|\s+$)',
-                r'پتروشیمی\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s+مربوط|\s+در|\s+که|\s+با|\s+را|\s+به|،|\.|\s+$)',
-                r'شرکت\s+(?:سبهان|غدیر|شتران|شپنا|پترول|فارس|خارک|پلاسکو|جم|کرمان|مارون|اراک|رازی|شازند|کاوه|بندر|پارس|خوزستان|ماهشهر|عسلویه)(?=\s+مربوط|\s+در|\s+که|\s+با|\s+را|\s+به|،|\.|\s+$)',
-                r'بانک\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s+مربوط|\s+در|\s+که|\s+با|\s+را|\s+به|،|\.|\s+$)',
-                r'[آ-ی‌یٰ-ٹa-zA-Z\s‌]*(?:پتروشیمی|صنایع|تولید|گاز|نفت|بانک)[آ-ی‌یٰ-ٹa-zA-Z\s‌]*\s+شرکت(?=\s|$|،|\.)',
-                r'پتروشیمی\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+\s+شرکت(?=\s|$|،|\.)',
-                r'بانک\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+\s+شرکت(?=\s|$|،|\.)',
+                r'شرکت\s+پتروشیمی\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+?(?=\s|$|،|\.)',
+                r'شرکت\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]*(?:پتروشیمی|نفت|گاز|صنایع|تولید)[\u0600-\u06FF\u0750-\u077F\s\u200C]*',
+                r'بانک\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+',
+                r'شرکت\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+',
+                r'(?:پتروشیمی|بانک)\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+',
                 r'[A-Z][a-zA-Z\s]+(?:Inc|Corp|Corporation|Company|Ltd|Limited|LLC)'
             ],
             
             'LOCATION': [
-                r'بندر\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s+برگزار|\s+واقع|\s+در|،|\.|\s+$)',
-                r'\b(?:تهران|اصفهان|ماهشهر|عسلویه|بندرعباس|اهواز|شیراز|مشهد|تبریز|کرج|قم|رشت|کرمان|یزد|زاهدان|بوشهر|خرمشهر|آبادان|اراک|قزوین)\b(?=\s+برگزار|\s+واقع|\s|$|،|\.)',
-                r'استان\s+[آ-ی‌\s‌]+?(?=\s+واقع|\s+در|،|\.|\s+$)',
-                r'شهر\s+[آ-ی‌\s‌]+?(?=\s+واقع|\s+در|،|\.|\s+$)',
+                r'بندر\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+',
+                r'شهر\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+',
+                r'استان\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+',
+                r'\b(?:تهران|اصفهان|ماهشهر|عسلویه|بندرعباس|اهواز|شیراز|مشهد|تبریز|کرج|قم|رشت|کرمان|یزد|زاهدان|بوشهر|خرمشهر|آبادان|اراک|قزوین)\b',
                 r'\b(?:ایران|عراق|کویت|عربستان|امارات|قطر|عمان|بحرین|ترکیه|پاکستان|افغانستان)\b',
                 r'\b(?:London|Paris|Tokyo|New\s+York|Dubai|Singapore|Hong\s+Kong|Shanghai|Mumbai|Frankfurt|Amsterdam)\b'
             ],
             
             'DATE': [
-                r'سال\s+مالی\s+منتهی\s+به\s+[٠-٩0-9]{1,2}\s+[آ-ی‌]+\s+[٠-٩0-9]{4}',
-                r'[٠-٩0-9]{1,2}\s+(?:فروردین|اردیبهشت|خرداد|تیر|مرداد|شهریور|مهر|آبان|آذر|دی|بهمن|اسفند)\s+[٠-٩0-9]{4}',
-                r'[٠-٩0-9]{1,2}\s+[آ-ی‌]+\s+[٠-٩0-9]{4}',
-                r'[٠-٩0-9]{4}[/-][٠-٩0-9]{1,2}[/-][٠-٩0-9]{1,2}',
-                r'[٠-٩0-9]{1,2}[/-][٠-٩0-9]{1,2}[/-][٠-٩0-9]{4}',
+                r'سال\s+مالی\s+منتهی\s+به\s+[\u06F0-\u06F90-9]{1,2}\s+[\u0600-\u06FF\u0750-\u077F]+\s+[\u06F0-\u06F90-9]{4}',
+                r'[\u06F0-\u06F90-9]{1,2}\s+(?:فروردین|اردیبهشت|خرداد|تیر|مرداد|شهریور|مهر|آبان|آذر|دی|بهمن|اسفند)\s+[\u06F0-\u06F90-9]{4}',
+                r'[\u06F0-\u06F90-9]{1,2}\s+[\u0600-\u06FF\u0750-\u077F]+\s+[\u06F0-\u06F90-9]{4}',
+                r'[\u06F0-\u06F90-9]{4}[/-][\u06F0-\u06F90-9]{1,2}[/-][\u06F0-\u06F90-9]{1,2}',
+                r'[\u06F0-\u06F90-9]{1,2}[/-][\u06F0-\u06F90-9]{1,2}[/-][\u06F0-\u06F90-9]{4}',
                 r'(?:[0-9]{1,2})\s*(?:January|February|March|April|May|June|July|August|September|October|November|December)\s*(?:[0-9]{4})',
                 r'(?:13[0-9]{2}|14[0-9]{2}|20[0-9]{2}|19[0-9]{2})(?=\s|$|،|\.)'
             ],
             
             'PERSON': [
-                r'آقای\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s|،|\.|\s+که|\s+در|$)',
-                r'خانم\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s|،|\.|\s+که|\s+در|$)',
-                r'مهندس\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s|،|\.|\s+که|\s+در|$)',
-                r'دکتر\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s|،|\.|\s+که|\s+در|$)',
-                r'استاد\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s|،|\.|\s+که|\s+در|$)',
+                r'آقای\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+?(?=\s|$|،|\.)',
+                r'خانم\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+?(?=\s|$|،|\.)',
+                r'مهندس\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+?(?=\s|$|،|\.)',
+                r'دکتر\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+?(?=\s|$|،|\.)',
+                r'استاد\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+?(?=\s|$|،|\.)',
+                r'مدیرعامل\s+[\u0600-\u06FF\u0750-\u077F\s\u200C]+?(?=\s|$|،|\.)',
+                r'[\u0600-\u06FF\u0750-\u077F\s\u200C]+\s+مدیرعامل(?=\s|$|،|\.)',
                 r'Mr\.\s+[a-zA-Z\s]+?(?=\s|,|\.|$)',
                 r'Ms\.\s+[a-zA-Z\s]+?(?=\s|,|\.|$)',
-                r'Dr\.\s+[a-zA-Z\s]+?(?=\s|,|\.|$)',
-                r'[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?:\s|،)\s*مدیرعامل(?=\s|$|،|\.)',
-                r'مدیرعامل\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s|$|،|\.)',
-                r'رئیس\s+هیأت‌مدیره\s+[آ-ی‌یٰ-ٹa-zA-Z\s‌]+?(?=\s|$|،|\.)'
+                r'Dr\.\s+[a-zA-Z\s]+?(?=\s|,|\.|$)'
             ],
             
             'PHONE': [
-                r'(?:تلفن[\s:]*)?(?:شماره[\s:]*)?(?:0)?(?:[٠-٩0-9]{2,3}[-\s]?)?[٠-٩0-9]{7,8}',
-                r'(?:تماس[\s:]*)?(?:شماره[\s:]*)?(?:با[\s]*)?(?:0)?(?:[٠-٩0-9]{2,3}[-\s]?)?[٠-٩0-9]{7,8}',
-                r'(?:موبایل[\s:]*)?(?:شماره[\s:]*)?(?:0)?9[٠-٩0-9]{9}',
-                r'[٠-٩0-9]{3,4}[-\s][٠-٩0-9]{7,8}',
-                r'[٠-٩0-9]{11}(?!\d)',
-                r'(?:\+98|0098)?[٠-٩0-9]{10}',
-                r'[٠-٩0-9]{3,4}[-\s]?[٠-٩0-9]{3,4}[-\s]?[٠-٩0-9]{3,4}',
+                r'(?:تلفن[\s:]*)?(?:شماره[\s:]*)?(?:0)?(?:[\u06F0-\u06F90-9]{2,3}[-\s]?)?[\u06F0-\u06F90-9]{7,8}',
+                r'(?:تماس[\s:]*)?(?:شماره[\s:]*)?(?:با[\s]*)?(?:0)?(?:[\u06F0-\u06F90-9]{2,3}[-\s]?)?[\u06F0-\u06F90-9]{7,8}',
+                r'(?:موبایل[\s:]*)?(?:شماره[\s:]*)?(?:0)?9[\u06F0-\u06F90-9]{9}',
+                r'[\u06F0-\u06F90-9]{3,4}[-\s][\u06F0-\u06F90-9]{7,8}',
+                r'[\u06F0-\u06F90-9]{11}(?!\d)',
+                r'09[\u06F0-\u06F90-9]{9}',
                 r'\+[0-9]{1,3}-[0-9]{3}-[0-9]{3}-[0-9]{4}(?:\s+ext\.\s+[0-9]{3,4})?',
                 r'\([0-9]{3}\)\s+[0-9]{3}-[0-9]{4}'
             ],
@@ -101,93 +112,95 @@ class LightweightDataAnonymizer:
                 r'ایمیل[\s:]*[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
                 r'email[\s:]*[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
                 r'نشانی[\s]*الکترونیکی[\s:]*[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
-                r'آدرس[\s]*ایمیل[\s:]*[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
-                r'facility\.manager@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'
+                r'آدرس[\s]*ایمیل[\s:]*[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'
             ],
             
             'AMOUNT': [
                 r'\d+(?:,\d{3})*\s*(?:میلیون|میلیارد|هزار)\s*تومان',
                 r'مبلغ\s+\d+(?:,\d{3})*\s*(?:میلیون|میلیارد|هزار)?\s*تومان',
-                r'\d+\s*تومان(?=\s+به\s+ازای|\s+فروش|،)',
+                r'\d+\s*تومان',
                 r'\$\d+(?:,\d{3})*(?:\.\d+)?\s*(?:million|billion|thousand|M|B|K)?',
                 r'\d+(?:,\d{3})*\s*ریال'
             ],
             
             'ACCOUNT': [
-                r'(?:شماره[\s]*)?(?:حساب[\s]*)?(?:بانکی[\s:]*)?(?:[٠-٩0-9]{1,3}[-\s]?)*[٠-٩0-9]{8,20}',
-                r'حساب[\s]*(?:شماره[\s:]*)?(?:[٠-٩0-9]{1,3}[-\s]?)*[٠-٩0-9]{8,20}',
-                r'شماره[\s]*حساب[\s:]*(?:[٠-٩0-9]{1,3}[-\s]?)*[٠-٩0-9]{8,20}',
+                r'(?:شماره[\s]*)?(?:حساب[\s]*)?(?:بانکی[\s:]*)?(?:[\u06F0-\u06F90-9]{1,3}[-\s]?)*[\u06F0-\u06F90-9]{8,20}',
+                r'حساب[\s]*(?:شماره[\s:]*)?(?:[\u06F0-\u06F90-9]{1,3}[-\s]?)*[\u06F0-\u06F90-9]{8,20}',
+                r'شماره[\s]*حساب[\s:]*(?:[\u06F0-\u06F90-9]{1,3}[-\s]?)*[\u06F0-\u06F90-9]{8,20}',
                 r'Account[\s]*(?:Number[\s:]*)?(?:[0-9]{1,3}[-\s]?)*[0-9]{8,20}',
-                r'[٠-٩0-9]{3}[-\s]?[٠-٩0-9]{3}[-\s]?[٠-٩0-9]{6,12}',
-                r'[٠-٩0-9]{2,4}[-\s]?[٠-٩0-9]{6,12}[-\s]?[٠-٩0-9]{2,4}'
-            ],
-            
-            'MIXED_NAMES': [
-                r'\b[A-Z][a-z]+-[A-Z][a-z]+\b',
-                r"\b[A-Z]'[A-Z][a-z]+\b",
-                r'Dr\.\s+[A-Z][a-zA-Z\s]+?(?=\s|,|\.|$)'
+                r'[\u06F0-\u06F90-9]{3}[-\s]?[\u06F0-\u06F90-9]{3}[-\s]?[\u06F0-\u06F90-9]{6,12}'
             ]
         }
 
-    def is_valid_company_name(self, company_text):
-        """بررسی ساده - فقط کلمات ممنوع"""
-        forbidden_words = ['مطرح', 'شد', 'کرد', 'داد', 'است', 'بود']
+    def is_valid_entity(self, entity_text, category):
+        """بررسی معتبر بودن entity"""
+        # کلمات ممنوع عمومی
+        forbidden_words = ['شد', 'کرد', 'داد', 'است', 'بود', 'در', 'که', 'با', 'از', 'به', 'را', 'و', 'یا']
+        
+        # حذف فاصله‌های اضافی
+        entity_text = re.sub(r'\s+', ' ', entity_text.strip())
+        
+        # بررسی طول کافی
+        if len(entity_text) < 3:
+            return False
+        
+        # بررسی کلمات ممنوع
         for word in forbidden_words:
-            if word in company_text:
+            if entity_text.endswith(' ' + word) or entity_text.startswith(word + ' '):
                 return False
+        
+        # بررسی‌های خاص بر اساس دسته‌بندی
+        if category == 'COMPANY':
+            # شرکت نباید فقط کلمات عمومی باشد
+            if entity_text in ['شرکت', 'بانک', 'پتروشیمی']:
+                return False
+        
         return True
 
-# ===== تابع کمکی برای تبدیل numpy/pandas types =====
-def convert_to_serializable(obj):
-    """تبدیل numpy/pandas types به Python native types برای JSON serialization"""
-    if isinstance(obj, (np.integer, np.int64, np.int32)):
-        return int(obj)
-    elif isinstance(obj, (np.floating, np.float64, np.float32)):
-        return float(obj)
-    elif isinstance(obj, np.ndarray):
-        return obj.tolist()
-    elif isinstance(obj, dict):
-        return {key: convert_to_serializable(value) for key, value in obj.items()}
-    elif isinstance(obj, list):
-        return [convert_to_serializable(item) for item in obj]
-    else:
-        return obj
-
-# ===== کلاس Benchmark =====
+# ===== کلاس Benchmark بهبود یافته =====
 class AnonymizationBenchmark:
     def __init__(self):
         self.anonymizer = LightweightDataAnonymizer()
         self.results = []
         
     def extract_entities_from_text(self, text: str) -> Dict[str, List[str]]:
-        """استخراج تمام entities موجود در متن اصلی"""
+        """استخراج تمام entities موجود در متن اصلی با الگوهای بهبود یافته"""
         entities = defaultdict(list)
         
-        # استفاده از الگوهای سیستم ناشناس‌سازی
+        if not text or text.strip() == '':
+            return dict(entities)
+        
+        # استفاده از الگوهای بهبود یافته
         patterns = self.anonymizer.get_improved_patterns()
         
         for category, pattern_list in patterns.items():
-            for pattern in pattern_list:
+            for pattern_str in pattern_list:
                 try:
-                    matches = re.finditer(pattern, text, re.IGNORECASE | re.MULTILINE)
+                    # تبدیل string به regex object
+                    pattern = re.compile(pattern_str, re.IGNORECASE | re.MULTILINE)
+                    
+                    matches = pattern.finditer(text)
                     for match in matches:
                         # capture کل match
                         full_match = match.group(0).strip()
                         
-                        if len(full_match) >= 3 and not full_match.isspace():
-                            # بررسی خاص ب��ای شرکت‌ها
-                            if category == 'COMPANY':
-                                if self.anonymizer.is_valid_company_name(full_match):
-                                    entities[category].append(full_match)
-                            else:
-                                entities[category].append(full_match)
+                        # تمیز کردن match
+                        full_match = re.sub(r'\s+', ' ', full_match)
+                        full_match = re.sub(r'\s*(در|که|با|به|از|را)\s*$', '', full_match).strip()
+                        
+                        if self.anonymizer.is_valid_entity(full_match, category):
+                            entities[category].append(full_match)
+                            
                 except re.error as e:
-                    logger.error(f"Regex error in pattern {pattern}: {e}")
+                    logger.error(f"Regex error in pattern {pattern_str}: {e}")
+                    continue
+                except Exception as e:
+                    logger.error(f"Unexpected error in pattern {pattern_str}: {e}")
                     continue
         
-        # حذف duplicates
+        # حذف duplicates و مرتب‌سازی
         for category in entities:
-            entities[category] = list(set(entities[category]))
+            entities[category] = sorted(list(set(entities[category])))
         
         return dict(entities)
     
@@ -195,25 +208,39 @@ class AnonymizationBenchmark:
         """استخراج کدهای ناشناس‌سازی شده از متن خروجی"""
         anonymized_entities = defaultdict(list)
         
+        if not anonymized_text or anonymized_text.strip() == '':
+            return dict(anonymized_entities)
+        
         # الگو برای کدهای ناشناس‌سازی: category_number
-        pattern = r'([a-z_]+)_(\d{3})'
+        pattern = r'([a-zA-Z_]+)_(\d{3})'
         
-        matches = re.finditer(pattern, anonymized_text, re.IGNORECASE)
-        for match in matches:
-            category = match.group(1).upper()
-            code = match.group(0)
-            anonymized_entities[category].append(code)
+        try:
+            matches = re.finditer(pattern, anonymized_text, re.IGNORECASE)
+            for match in matches:
+                category = match.group(1).upper()
+                code = match.group(0)
+                anonymized_entities[category].append(code)
+        except Exception as e:
+            logger.error(f"Error extracting anonymized codes: {e}")
+        
+        # حذف duplicates
+        for category in anonymized_entities:
+            anonymized_entities[category] = sorted(list(set(anonymized_entities[category])))
         
         return dict(anonymized_entities)
     
     def calculate_metrics_for_text(self, original_text: str, anonymized_text: str) -> Dict:
         """محاسبه متریک‌های ارزیابی برای یک جفت متن"""
         
+        logger.info(f"Processing texts - Original length: {len(original_text)}, Anonymized length: {len(anonymized_text)}")
+        
         # استخراج entities از متن اصلی
         original_entities = self.extract_entities_from_text(original_text)
+        logger.info(f"Original entities found: {original_entities}")
         
         # استخراج کدهای ناشناس‌سازی شده
         anonymized_codes = self.extract_anonymized_codes(anonymized_text)
+        logger.info(f"Anonymized codes found: {anonymized_codes}")
         
         # محاسبه متریک‌ها برای هر category
         category_metrics = {}
@@ -264,6 +291,8 @@ class AnonymizationBenchmark:
         total_original = sum(len(entities) for entities in original_entities.values())
         accuracy = total_tp / total_original if total_original > 0 else 0
         
+        logger.info(f"Calculated metrics - TP: {total_tp}, FP: {total_fp}, FN: {total_fn}")
+        
         return {
             'original_entities': original_entities,
             'anonymized_codes': anonymized_codes,
@@ -286,15 +315,29 @@ class AnonymizationBenchmark:
         
         # خواندن فایل CSV
         try:
-            df = pd.read_csv(csv_file_path)
-            logger.info(f"Loaded CSV file with {len(df)} rows")
+            # تلاش برای خواندن با encoding مختلف
+            for encoding in ['utf-8', 'utf-8-sig', 'cp1256', 'windows-1256']:
+                try:
+                    df = pd.read_csv(csv_file_path, encoding=encoding)
+                    logger.info(f"Successfully loaded CSV with {encoding} encoding. Shape: {df.shape}")
+                    break
+                except UnicodeDecodeError:
+                    continue
+            else:
+                raise Exception("Could not read CSV file with any encoding")
+                
         except Exception as e:
             logger.error(f"Error loading CSV file: {e}")
             return None
         
         # بررسی وجود ستون‌های مورد نیاز
         if 'original_text' not in df.columns or 'anonymized_text' not in df.columns:
-            logger.error("CSV file must contain 'original_text' and 'anonymized_text' columns")
+            logger.error(f"CSV file must contain 'original_text' and 'anonymized_text' columns. Found columns: {df.columns.tolist()}")
+            return None
+        
+        # بررسی اینکه آیا داده موجود است
+        if len(df) == 0:
+            logger.error("CSV file is empty")
             return None
         
         results = []
@@ -302,37 +345,50 @@ class AnonymizationBenchmark:
         for index, row in df.iterrows():
             logger.info(f"Processing row {index + 1}/{len(df)}")
             
-            original_text = str(row['original_text'])
-            anonymized_text = str(row['anonymized_text'])
-            
-            # محاسبه متریک‌ها
-            metrics = self.calculate_metrics_for_text(original_text, anonymized_text)
-            
-            # ذخیره نتایج
-            result = {
-                'row_id': index,
-                'original_text': original_text,
-                'anonymized_text': anonymized_text,
-                'total_original_entities': metrics['overall_metrics']['total_original_entities'],
-                'total_anonymized_entities': metrics['overall_metrics']['total_anonymized_entities'],
-                'tp': metrics['overall_metrics']['total_tp'],
-                'fp': metrics['overall_metrics']['total_fp'],
-                'fn': metrics['overall_metrics']['total_fn'],
-                'precision': metrics['overall_metrics']['precision'],
-                'recall': metrics['overall_metrics']['recall'],
-                'f1_score': metrics['overall_metrics']['f1_score'],
-                'accuracy': metrics['overall_metrics']['accuracy']
-            }
-            
-            # اضافه کردن متریک‌های category به result
-            for category, cat_metrics in metrics['category_metrics'].items():
-                result[f'{category.lower()}_precision'] = cat_metrics['precision']
-                result[f'{category.lower()}_recall'] = cat_metrics['recall']
-                result[f'{category.lower()}_f1'] = cat_metrics['f1_score']
-                result[f'{category.lower()}_original_count'] = cat_metrics['original_count']
-                result[f'{category.lower()}_anonymized_count'] = cat_metrics['anonymized_count']
-            
-            results.append(result)
+            try:
+                original_text = str(row['original_text']) if pd.notna(row['original_text']) else ""
+                anonymized_text = str(row['anonymized_text']) if pd.notna(row['anonymized_text']) else ""
+                
+                if original_text.strip() == "" and anonymized_text.strip() == "":
+                    logger.warning(f"Row {index} has empty texts, skipping...")
+                    continue
+                
+                # محاسبه متریک‌ها
+                metrics = self.calculate_metrics_for_text(original_text, anonymized_text)
+                
+                # ذخیره نتایج
+                result = {
+                    'row_id': int(index),
+                    'original_text': original_text,
+                    'anonymized_text': anonymized_text,
+                    'total_original_entities': int(metrics['overall_metrics']['total_original_entities']),
+                    'total_anonymized_entities': int(metrics['overall_metrics']['total_anonymized_entities']),
+                    'tp': int(metrics['overall_metrics']['total_tp']),
+                    'fp': int(metrics['overall_metrics']['total_fp']),
+                    'fn': int(metrics['overall_metrics']['total_fn']),
+                    'precision': float(metrics['overall_metrics']['precision']),
+                    'recall': float(metrics['overall_metrics']['recall']),
+                    'f1_score': float(metrics['overall_metrics']['f1_score']),
+                    'accuracy': float(metrics['overall_metrics']['accuracy'])
+                }
+                
+                # اضافه کردن متریک‌های category به result
+                for category, cat_metrics in metrics['category_metrics'].items():
+                    result[f'{category.lower()}_precision'] = float(cat_metrics['precision'])
+                    result[f'{category.lower()}_recall'] = float(cat_metrics['recall'])
+                    result[f'{category.lower()}_f1'] = float(cat_metrics['f1_score'])
+                    result[f'{category.lower()}_original_count'] = int(cat_metrics['original_count'])
+                    result[f'{category.lower()}_anonymized_count'] = int(cat_metrics['anonymized_count'])
+                
+                results.append(result)
+                
+            except Exception as e:
+                logger.error(f"Error processing row {index}: {e}")
+                continue
+        
+        if len(results) == 0:
+            logger.error("No valid results were generated")
+            return None
         
         return pd.DataFrame(results)
     
@@ -342,88 +398,98 @@ class AnonymizationBenchmark:
         if results_df is None or len(results_df) == 0:
             return {}
         
-        summary = {
-            'total_texts_processed': len(results_df),
-            'average_metrics': {
-                'precision': float(results_df['precision'].mean()),
-                'recall': float(results_df['recall'].mean()),
-                'f1_score': float(results_df['f1_score'].mean()),
-                'accuracy': float(results_df['accuracy'].mean())
-            },
-            'total_entities': {
-                'original': int(results_df['total_original_entities'].sum()),
-                'anonymized': int(results_df['total_anonymized_entities'].sum()),
-                'tp': int(results_df['tp'].sum()),
-                'fp': int(results_df['fp'].sum()),
-                'fn': int(results_df['fn'].sum())
+        try:
+            summary = {
+                'total_texts_processed': len(results_df),
+                'average_metrics': {
+                    'precision': float(results_df['precision'].mean()),
+                    'recall': float(results_df['recall'].mean()),
+                    'f1_score': float(results_df['f1_score'].mean()),
+                    'accuracy': float(results_df['accuracy'].mean())
+                },
+                'total_entities': {
+                    'original': int(results_df['total_original_entities'].sum()),
+                    'anonymized': int(results_df['total_anonymized_entities'].sum()),
+                    'tp': int(results_df['tp'].sum()),
+                    'fp': int(results_df['fp'].sum()),
+                    'fn': int(results_df['fn'].sum())
+                }
             }
-        }
-        
-        # محاسبه متریک‌های کلی بر اساس مجموع
-        total_tp = summary['total_entities']['tp']
-        total_fp = summary['total_entities']['fp']
-        total_fn = summary['total_entities']['fn']
-        total_original = summary['total_entities']['original']
-        
-        summary['overall_metrics'] = {
-            'precision': total_tp / (total_tp + total_fp) if (total_tp + total_fp) > 0 else 0,
-            'recall': total_tp / (total_tp + total_fn) if (total_tp + total_fn) > 0 else 0,
-            'accuracy': total_tp / total_original if total_original > 0 else 0
-        }
-        
-        # F1-Score کلی
-        overall_precision = summary['overall_metrics']['precision']
-        overall_recall = summary['overall_metrics']['recall']
-        summary['overall_metrics']['f1_score'] = 2 * (overall_precision * overall_recall) / (overall_precision + overall_recall) if (overall_precision + overall_recall) > 0 else 0
-        
-        # آمار category-wise
-        category_columns = [col for col in results_df.columns if col.endswith('_precision')]
-        categories = [col.replace('_precision', '').upper() for col in category_columns]
-        
-        category_summary = {}
-        for category in categories:
-            cat_lower = category.lower()
-            if f'{cat_lower}_precision' in results_df.columns:
-                # فیلتر کردن ردیف‌هایی که این category دارند
-                mask = results_df[f'{cat_lower}_original_count'] > 0
-                if mask.any():
-                    category_summary[category] = {
-                        'count_texts_with_category': int(mask.sum()),
-                        'average_precision': float(results_df.loc[mask, f'{cat_lower}_precision'].mean()),
-                        'average_recall': float(results_df.loc[mask, f'{cat_lower}_recall'].mean()),
-                        'average_f1': float(results_df.loc[mask, f'{cat_lower}_f1'].mean()),
-                        'total_original': int(results_df[f'{cat_lower}_original_count'].sum()),
-                        'total_anonymized': int(results_df[f'{cat_lower}_anonymized_count'].sum())
-                    }
-        
-        summary['category_summary'] = category_summary
-        
-        # تبدیل همه مقادیر به serializable types
-        summary = convert_to_serializable(summary)
-        
-        return summary
+            
+            # محاسبه متریک‌های کلی بر اساس مجموع
+            total_tp = summary['total_entities']['tp']
+            total_fp = summary['total_entities']['fp']
+            total_fn = summary['total_entities']['fn']
+            total_original = summary['total_entities']['original']
+            
+            summary['overall_metrics'] = {
+                'precision': total_tp / (total_tp + total_fp) if (total_tp + total_fp) > 0 else 0,
+                'recall': total_tp / (total_tp + total_fn) if (total_tp + total_fn) > 0 else 0,
+                'accuracy': total_tp / total_original if total_original > 0 else 0
+            }
+            
+            # F1-Score کلی
+            overall_precision = summary['overall_metrics']['precision']
+            overall_recall = summary['overall_metrics']['recall']
+            summary['overall_metrics']['f1_score'] = 2 * (overall_precision * overall_recall) / (overall_precision + overall_recall) if (overall_precision + overall_recall) > 0 else 0
+            
+            # آمار category-wise
+            category_columns = [col for col in results_df.columns if col.endswith('_precision')]
+            categories = [col.replace('_precision', '').upper() for col in category_columns]
+            
+            category_summary = {}
+            for category in categories:
+                cat_lower = category.lower()
+                if f'{cat_lower}_precision' in results_df.columns:
+                    # فیلتر کردن ردیف‌هایی که این category دارند
+                    mask = results_df[f'{cat_lower}_original_count'] > 0
+                    if mask.any():
+                        category_summary[category] = {
+                            'count_texts_with_category': int(mask.sum()),
+                            'average_precision': float(results_df.loc[mask, f'{cat_lower}_precision'].mean()),
+                            'average_recall': float(results_df.loc[mask, f'{cat_lower}_recall'].mean()),
+                            'average_f1': float(results_df.loc[mask, f'{cat_lower}_f1'].mean()),
+                            'total_original': int(results_df[f'{cat_lower}_original_count'].sum()),
+                            'total_anonymized': int(results_df[f'{cat_lower}_anonymized_count'].sum())
+                        }
+            
+            summary['category_summary'] = category_summary
+            
+            # تبدیل همه مقادیر به serializable types
+            summary = convert_to_serializable(summary)
+            
+            return summary
+            
+        except Exception as e:
+            logger.error(f"Error generating summary report: {e}")
+            return {'error': str(e)}
 
 # ===== رابط گرافیکی =====
 def create_sample_csv():
     """ایجاد فایل نمونه CSV برای تست"""
     sample_data = [
         {
-            'original_text': 'مجمع‌ عمومی عادی سالیانه و مجمع‌عمومی عادی به طور فوق‌العاده شرکت پتروشیمی کارون مربوط به سال مالی منتهی به ۳۰ اسفند ۱۴۰۳ در محل سالن جلسات این شرکت در بندر ماهشهر برگزار شد.',
-            'anonymized_text': 'مجمع‌ عمومی عادی سالیانه و مجمع‌عمومی عادی به طور فوق‌العاده company_001 مربوط به سال مالی منتهی به date_001 در محل سالن جلسات این شرکت در location_001 برگزار شد.'
+            'original_text': 'مجمع عمومی عادی سالیانه شرکت پتروشیمی کارون در بندر ماهشهر برگزار شد.',
+            'anonymized_text': 'مجمع عمومی عادی سالیانه company_001 در location_001 برگزار شد.'
         },
         {
-            'original_text': 'آقای احمد محمدی مدیرعامل شرکت با شماره تماس 09123456789 و ایمیل ahmad@company.com در تاریخ 15 آذر 1403 قرارداد را امضا کرد.',
-            'anonymized_text': 'person_001 مدیرعامل شرکت با شماره تماس phone_001 و ایمیل email_001 در تاریخ date_001 قرارداد را امضا کرد.'
+            'original_text': 'آقای احمد محمدی مدیرعامل شرکت با شماره تماس 09123456789 و ایمیل ahmad@company.com قرارداد امضا کرد.',
+            'anonymized_text': 'person_001 مدیرعامل شرکت با شماره تماس phone_001 و ایمیل email_001 قرارداد امضا کرد.'
         },
         {
-            'original_text': 'بانک ملی ایران با شماره حساب 123-456-789012 مبلغ 500 میلیون تومان را به حساب شرکت واریز کرد.',
-            'anonymized_text': 'company_001 با شماره حساب account_001 مبلغ amount_001 را به حساب شرکت واریز کرد.'
+            'original_text': 'بانک ملی ایران مبلغ 500 میلیون تومان به حساب 123-456-789012 واریز کرد.',
+            'anonymized_text': 'company_001 مبلغ amount_001 به حساب account_001 واریز کرد.'
         }
     ]
     
     df = pd.DataFrame(sample_data)
-    df.to_csv('sample_benchmark_data.csv', index=False, encoding='utf-8')
-    return "فایل نمونه 'sample_benchmark_data.csv' ایجاد شد."
+    sample_file_path = 'sample_benchmark_data.csv'
+    df.to_csv(sample_file_path, index=False, encoding='utf-8-sig')
+    
+    # همچنین یک فایل نمونه با نام فارسی ایجاد کنیم
+    df.to_csv('نمونه_benchmark.csv', index=False, encoding='utf-8-sig')
+    
+    return f"فایل‌های نمونه ایجاد شدند: {sample_file_path} و نمونه_benchmark.csv"
 
 def process_csv_file(file):
     """پردازش فایل CSV آپلود شده"""
@@ -431,76 +497,105 @@ def process_csv_file(file):
         return "لطفاً فایل CSV را آپلود کنید.", None, None
     
     try:
+        logger.info(f"Processing file: {file.name}")
+        
+        # بررسی وجود فایل
+        if not os.path.exists(file.name):
+            return "فایل آپلود شده یافت نشد.", None, None
+        
         # خواندن فایل آپلود شده
-        df = pd.read_csv(file.name, encoding='utf-8')
+        try:
+            df = pd.read_csv(file.name, encoding='utf-8')
+        except UnicodeDecodeError:
+            df = pd.read_csv(file.name, encoding='utf-8-sig')
+        except Exception as e:
+            return f"خطا در خواندن فایل: {str(e)}", None, None
+        
+        logger.info(f"CSV loaded successfully. Shape: {df.shape}, Columns: {df.columns.tolist()}")
         
         # بررسی ستون‌ها
         if 'original_text' not in df.columns or 'anonymized_text' not in df.columns:
-            return "فایل CSV باید شامل ستون‌های 'original_text' و 'anonymized_text' باشد.", None, None
+            return f"فایل CSV باید شامل ستون‌های 'original_text' و 'anonymized_text' باشد. ستون‌های موجود: {df.columns.tolist()}", None, None
         
         # اجرای benchmark
         benchmark = AnonymizationBenchmark()
         results_df = benchmark.benchmark_from_csv(file.name)
         
-        if results_df is None:
-            return "خطا در پردازش فایل CSV!", None, None
+        if results_df is None or len(results_df) == 0:
+            return "خطا در پردازش فایل CSV یا هیچ نتیجه معتبری تولید نشد!", None, None
+        
+        logger.info(f"Benchmark completed. Results shape: {results_df.shape}")
         
         # تولید گزارش خلاصه
         summary = benchmark.generate_summary_report(results_df)
         
+        if 'error' in summary:
+            return f"خطا در تولید گزارش: {summary['error']}", None, None
+        
         # آماده‌سازی نتایج برای نمایش
         metrics_text = f"""
 === نتایج کلی Benchmark ===
 
-تعداد متون پردازش شده: {summary['total_texts_processed']}
+تعداد متون پردازش شده: {summary.get('total_texts_processed', 0)}
 
-=== متریک‌های کلی ===
-• Precision: {summary['overall_metrics']['precision']:.4f}
-• Recall: {summary['overall_metrics']['recall']:.4f}  
-• F1-Score: {summary['overall_metrics']['f1_score']:.4f}
-• Accuracy: {summary['overall_metrics']['accuracy']:.4f}
+=== متریک‌های کلی (بر اساس مجموع) ===
+• Precision: {summary.get('overall_metrics', {}).get('precision', 0):.4f}
+• Recall: {summary.get('overall_metrics', {}).get('recall', 0):.4f}  
+• F1-Score: {summary.get('overall_metrics', {}).get('f1_score', 0):.4f}
+• Accuracy: {summary.get('overall_metrics', {}).get('accuracy', 0):.4f}
 
 === آمار کلی Entities ===
-• تعداد کل Entities اصلی: {summary['total_entities']['original']}
-• تعداد کل Entities ناشناس‌سازی شده: {summary['total_entities']['anonymized']}
-• True Positives: {summary['total_entities']['tp']}
-• False Positives: {summary['total_entities']['fp']}
-• False Negatives: {summary['total_entities']['fn']}
+• تعداد کل Entities اصلی: {summary.get('total_entities', {}).get('original', 0)}
+• تعداد کل Entities ناشناس‌سازی شده: {summary.get('total_entities', {}).get('anonymized', 0)}
+• True Positives: {summary.get('total_entities', {}).get('tp', 0)}
+• False Positives: {summary.get('total_entities', {}).get('fp', 0)}
+• False Negatives: {summary.get('total_entities', {}).get('fn', 0)}
 
 === متریک‌های میانگین ===
-• میانگین Precision: {summary['average_metrics']['precision']:.4f}
-• میانگین Recall: {summary['average_metrics']['recall']:.4f}
-• میانگین F1-Score: {summary['average_metrics']['f1_score']:.4f}
-• میانگین Accuracy: {summary['average_metrics']['accuracy']:.4f}
+• میانگین Precision: {summary.get('average_metrics', {}).get('precision', 0):.4f}
+• میانگین Recall: {summary.get('average_metrics', {}).get('recall', 0):.4f}
+• میانگین F1-Score: {summary.get('average_metrics', {}).get('f1_score', 0):.4f}
+• میانگین Accuracy: {summary.get('average_metrics', {}).get('accuracy', 0):.4f}
 """
 
         # اضافه کردن آمار دسته‌بندی‌ها
-        if 'category_summary' in summary:
+        if 'category_summary' in summary and summary['category_summary']:
             metrics_text += "\n=== آمار دسته‌بندی‌ها ===\n"
             for category, stats in summary['category_summary'].items():
                 metrics_text += f"""
 {category}:
-• تعداد متون دارای این دسته: {stats['count_texts_with_category']}
-• میانگین Precision: {stats['average_precision']:.4f}
-• میانگین Recall: {stats['average_recall']:.4f}
-• میانگین F1-Score: {stats['average_f1']:.4f}
-• کل Entities اصلی: {stats['total_original']}
-• کل Entities ناشناس‌سازی شده: {stats['total_anonymized']}
+• تعداد متون دارای این دسته: {stats.get('count_texts_with_category', 0)}
+• میانگین Precision: {stats.get('average_precision', 0):.4f}
+• میانگین Recall: {stats.get('average_recall', 0):.4f}
+• میانگین F1-Score: {stats.get('average_f1', 0):.4f}
+• کل Entities اصلی: {stats.get('total_original', 0)}
+• کل Entities ناشناس‌سازی شده: {stats.get('total_anonymized', 0)}
 """
+        else:
+            metrics_text += "\n=== آمار دسته‌بندی‌ها ===\nهیچ دسته‌ای یافت نشد.\n"
 
         # ذخیره گزارش‌ها
-        results_df.to_csv("benchmark_results_detailed.csv", index=False, encoding='utf-8')
-        with open("benchmark_results_summary.json", 'w', encoding='utf-8') as f:
-            json.dump(summary, f, ensure_ascii=False, indent=2)
+        try:
+            results_df.to_csv("benchmark_results_detailed.csv", index=False, encoding='utf-8-sig')
+            with open("benchmark_results_summary.json", 'w', encoding='utf-8') as f:
+                json.dump(summary, f, ensure_ascii=False, indent=2)
+            logger.info("Results saved successfully")
+        except Exception as e:
+            logger.error(f"Error saving results: {e}")
+        
+        # انتخاب ستون‌های مهم برای نمایش
+        display_columns = ['row_id', 'precision', 'recall', 'f1_score', 'accuracy', 'total_original_entities', 'total_anonymized_entities']
+        display_df = results_df[display_columns] if all(col in results_df.columns for col in display_columns) else results_df
         
         return (
             metrics_text,
-            results_df[['row_id', 'precision', 'recall', 'f1_score', 'accuracy', 'total_original_entities', 'total_anonymized_entities']],
+            display_df,
             summary
         )
         
     except Exception as e:
-        return f"خطا در پردازش: {str(e)}", None, None
+        logger.error(f"Unexpected error in process_csv_file: {e}")
+        return f"خطای غیرمنتظره در پردازش: {str(e)}", None, None
 
 def download_results():
     """دانلود فایل نتایج"""
@@ -516,7 +611,7 @@ def main():
         
         gr.HTML("""
         <h1 style='text-align: center; color: #2E86AB; margin-bottom: 30px;'>
-        📊 سیستم ارزیابی Benchmark ناشناس‌سازی
+        📊 سیستم ارزیابی Benchmark ناشناس‌سازی - ورژن بهبود یافته
         </h1>
         """)
         
@@ -527,7 +622,8 @@ def main():
                 <div style='background: #f0f8ff; padding: 15px; border-radius: 10px; margin-bottom: 15px;'>
                 <b>فرمت فایل CSV:</b><br>
                 • ستون اول: <code>original_text</code> (متن اصلی)<br>
-                • ستون دوم: <code>anonymized_text</code> (متن ناشناس‌سازی شده)
+                • ستون دوم: <code>anonymized_text</code> (متن ناشناس‌سازی شده)<br>
+                • انکودینگ: UTF-8 (برای متن فارسی)
                 </div>
                 """)
                 
@@ -537,9 +633,9 @@ def main():
                     file_count="single"
                 )
                 
-                benchmark_btn = gr.Button("🚀 شروع Benchmark", variant="primary")
-                
-                sample_btn = gr.Button("📄 ایجاد فایل نمونه", variant="secondary")
+                with gr.Row():
+                    benchmark_btn = gr.Button("🚀 شروع Benchmark", variant="primary")
+                    sample_btn = gr.Button("📄 ایجاد فایل نمونه", variant="secondary")
         
         with gr.Row():
             with gr.Column():
@@ -547,8 +643,8 @@ def main():
                 
                 metrics_output = gr.Textbox(
                     label="متریک‌های کلی",
-                    lines=25,
-                    max_lines=30,
+                    lines=30,
+                    max_lines=35,
                     interactive=False
                 )
         
@@ -558,7 +654,8 @@ def main():
                 
                 results_table = gr.Dataframe(
                     label="نتایج هر متن",
-                    interactive=False
+                    interactive=False,
+                    wrap=True
                 )
         
         with gr.Row():
@@ -566,15 +663,39 @@ def main():
                 download_btn = gr.Button("💾 دانلود نتایج کامل", variant="secondary")
                 download_file = gr.File(label="فایل نتایج", visible=False)
         
+        with gr.Row():
+            with gr.Column():
+                gr.HTML("""
+                <div style='background: #fff8dc; padding: 15px; border-radius: 10px; margin-top: 15px;'>
+                <h4>🔍 راهنمای استفاده:</h4>
+                <ol>
+                <li>ابتدا با دکمه "ایجاد فایل نمونه" یک فایل تست ایجاد کنید</li>
+                <li>فایل CSV خود را آپلود کنید (حتماً شامل ستون‌های original_text و anonymized_text باشد)</li>
+                <li>روی "شروع Benchmark" کلیک کنید</li>
+                <li>نتایج را در بخش‌های بالا مشاهده کنید</li>
+                <li>در صورت نیاز فایل کامل نتایج را دانلود کنید</li>
+                </ol>
+                </div>
+                """)
+        
         # Event handlers
+        def handle_benchmark_click(file):
+            if file is None:
+                return "لطفاً ابتدا فایل CSV را آپلود کنید.", None, gr.update()
+            return process_csv_file(file)
+        
+        def handle_sample_creation():
+            result = create_sample_csv()
+            return gr.update(value=result, visible=True)
+        
         benchmark_btn.click(
-            fn=process_csv_file,
+            fn=handle_benchmark_click,
             inputs=[file_input],
             outputs=[metrics_output, results_table, gr.State()]
         )
         
         sample_btn.click(
-            fn=create_sample_csv,
+            fn=handle_sample_creation,
             outputs=[gr.Textbox(visible=False)]
         )
         
@@ -592,7 +713,7 @@ def main():
 
 demo = main()
 if __name__ == "__main__":
-    port = int(os.getenv("PORT", "7860"))  # Hugging Face پورت را در این متغیر می‌گذارد
+    port = int(os.getenv("PORT", "7860"))
     demo.launch(
         share=False,
         server_name="0.0.0.0",