|
|
|
|
|
|
|
|
|
|
|
import gradio as gr |
|
|
import pandas as pd |
|
|
import re |
|
|
|
|
|
class ImprovedAnonymizationEvaluator: |
|
|
def __init__(self): |
|
|
|
|
|
self.iranian_banks = [ |
|
|
'بانک ملی', 'بانک صادرات', 'بانک پاسارگاد', 'بانک کشاورزی', |
|
|
'بانک ملت', 'بانک تجارت', 'بانک صنعت و معدن', 'بانک رسالت', |
|
|
'بانک دی', 'بانک پارسیان', 'بانک کارآفرین', 'بانک سامان', |
|
|
'بانک اقتصاد نوین', 'بانک مهر اقتصاد', 'بانک آینده' |
|
|
] |
|
|
|
|
|
|
|
|
self.government_orgs = [ |
|
|
'بانک مرکزی جمهوری اسلامی ایران', |
|
|
'دفتر اسناد رسمی', |
|
|
'اداره کل مالیات', |
|
|
'تامین اجتماعی', |
|
|
'وزارت دادگستری' |
|
|
] |
|
|
|
|
|
|
|
|
self.generic_words = { |
|
|
'همین بانک', 'این بانک', 'آن بانک', 'بانک مذکور', |
|
|
'همین شرکت', 'این شرکت', 'آن شرکت', 'شرکت مذکور', |
|
|
'همین شعبه', 'این شعبه', 'آن شعبه', 'شعبه مذکور', |
|
|
'شرکت متقاضی', 'دفتر حسابداری شرکت', |
|
|
'متقاضی', 'ایشان', 'وی', 'مشتری' |
|
|
} |
|
|
|
|
|
|
|
|
self.remove_words = [ |
|
|
'در', 'که', 'با', 'به', 'از', 'را', 'و', 'یا', 'است', 'بوده', |
|
|
'نموده', 'صادر', 'ارائه', 'معرفی', 'برگزار', 'واقع', 'مربوط', |
|
|
'مطرح', 'شد', 'شده' |
|
|
] |
|
|
|
|
|
self.patterns = { |
|
|
'person_names': { |
|
|
'pattern': re.compile(r'(?:آقای|خانم|مهندس|دکتر)\s+[\u0600-\u06FF\s]+?(?=\s+با\s+کد|\s+مدیر|$|،|\.)', re.UNICODE), |
|
|
'replacement': re.compile(r'person_\d+'), |
|
|
'name': 'اسامی اشخاص' |
|
|
}, |
|
|
'national_ids': { |
|
|
'pattern': re.compile(r'(?<!09)(?<!021-)(?<![0-9])\d{10,11}(?![0-9])'), |
|
|
'replacement': re.compile(r'id_number_\d+'), |
|
|
'name': 'کدهای ملی' |
|
|
}, |
|
|
'phone_numbers': { |
|
|
'pattern': re.compile(r'(?:09\d{9}|021-\d{8}|0\d{2,3}-?\d{7,8})'), |
|
|
'replacement': re.compile(r'phone_\d+'), |
|
|
'name': 'شماره تلفنها' |
|
|
}, |
|
|
'account_numbers': { |
|
|
'pattern': re.compile(r'\b\d{3}-\d{3}-\d{3}-\d{1}\b'), |
|
|
'replacement': re.compile(r'account_\d+'), |
|
|
'name': 'شماره حسابها' |
|
|
}, |
|
|
'card_numbers': { |
|
|
'pattern': re.compile(r'\b\d{4}-\d{4}-\d{4}-\d{4}\b'), |
|
|
'replacement': re.compile(r'card_number_\d+'), |
|
|
'name': 'شماره کارتها' |
|
|
}, |
|
|
'amounts': { |
|
|
'pattern': re.compile(r'\d{6,}\s*تومان'), |
|
|
'replacement': re.compile(r'amount_\d+'), |
|
|
'name': 'مبالغ مالی' |
|
|
}, |
|
|
'dates': { |
|
|
'pattern': re.compile(r'(?:\d{4}\/\d{2}\/\d{2}|۳۰\s*اسفند\s*۱۴۰۳|\b\d{4}\b(?=\s*سال))'), |
|
|
'replacement': re.compile(r'date_\d+'), |
|
|
'name': 'تاریخها' |
|
|
}, |
|
|
'full_addresses': { |
|
|
'pattern': re.compile(r'(?:تهران|اصفهان|مشهد|شیراز|کرج|اهواز|قم|رشت|کرمان|یزد|بوشهر|ارومیه|همدان|بندر عباس|ساری|اردبیل|خرمآباد|ایلام|بیرجند|گرگان|زنجان|سنندج|شهرکرد|سبزوار|قزوین|زاهدان|خوی|مراغه|کاشان|نجفآباد|شاهینشهر|ملایر|آبادان|دزفول|بابل|آمل|شاهرود|گنبد کاووس|خرمشهر|جهرم|فسا|مرودشت|لار|داراب|فیروزآباد|کازرون|سپیدان|نیریز|استهبان|فارسان|میانه|ورامین|قرچک|ری|پاکدشت|دماوند|فیروزکوه|شهریار|اسلامشهر|ملارد|قدس|بهارستان|چهاردانگه),\s*(?:میدان|خیابان|کوچه|شهرک|بلوار|کوی|محله)\s+[\u0600-\u06FF\u200C\u0621\u06F0-\u06F9\s]+(?:،\s*(?:برج|ساختمان|مجتمع)\s+[\u0600-\u06FF\u200C\u0621\u06F0-\u06F9\s]+)?(?:،\s*(?:طبقه|واحد)\s+[\u0600-\u06FF\u200C\u0621\u06F0-\u06F9\d\s]+)?', re.UNICODE), |
|
|
'replacement': re.compile(r'(?:full_address_\d+|location_\d+)'), |
|
|
'name': 'آدرسهای کامل' |
|
|
}, |
|
|
'iranian_banks': { |
|
|
'pattern': re.compile(f"({'|'.join(re.escape(bank) for bank in self.iranian_banks)})", re.UNICODE), |
|
|
'replacement': re.compile(r'company_\d+'), |
|
|
'name': 'بانکهای ایران' |
|
|
}, |
|
|
'government_orgs': { |
|
|
'pattern': re.compile(f"({'|'.join(re.escape(org) for org in self.government_orgs)})", re.UNICODE), |
|
|
'replacement': re.compile(r'company_\d+'), |
|
|
'name': 'سازمانهای دولتی' |
|
|
}, |
|
|
'other_companies': { |
|
|
'pattern': re.compile(r'شرکت\s+[\u0600-\u06FF\u200C\u0621\u06F0-\u06F9\s]+?(?=\s|$|،|\.)', re.UNICODE), |
|
|
'replacement': re.compile(r'company_\d+'), |
|
|
'name': 'سایر شرکتها' |
|
|
}, |
|
|
'invoice_numbers': { |
|
|
'pattern': re.compile(r'(?:INV-\d{4}-\d{4}|RPT-\d{4}-\d{4})'), |
|
|
'replacement': re.compile(r'(?:invoice_\d+|report_\d+)'), |
|
|
'name': 'شماره فاکتور و گزارش' |
|
|
}, |
|
|
'document_offices': { |
|
|
'pattern': re.compile(r'دفتر\s+اسناد\s+رسمی\s+شماره\s+\d+'), |
|
|
'replacement': re.compile(r'(?:contract_\d+|office_\d+)'), |
|
|
'name': 'دفاتر اسناد رسمی' |
|
|
}, |
|
|
'cheque_numbers': { |
|
|
'pattern': re.compile(r'چک\s+شماره\s+\d+'), |
|
|
'replacement': re.compile(r'cheque_\d+'), |
|
|
'name': 'شماره چکها' |
|
|
} |
|
|
} |
|
|
|
|
|
def is_generic_word(self, text): |
|
|
"""بررسی کلمات عمومی که نباید entity محسوب شوند""" |
|
|
text_clean = text.strip().lower() |
|
|
|
|
|
if text_clean in self.generic_words: |
|
|
return True |
|
|
|
|
|
if text_clean.startswith(('همین ', 'این ', 'آن ')): |
|
|
return True |
|
|
|
|
|
return len(text.strip()) < 3 |
|
|
|
|
|
def clean_entity(self, text): |
|
|
"""تمیز کردن دقیق entity""" |
|
|
|
|
|
pattern = r'\s*(' + '|'.join(re.escape(word) for word in self.remove_words) + r')\s*$' |
|
|
text = re.sub(pattern, '', text, flags=re.IGNORECASE) |
|
|
text = re.sub(r'\s+', ' ', text).strip() |
|
|
return text |
|
|
|
|
|
def is_valid_entity(self, text, category): |
|
|
"""بررسی دقیقتر معتبر بودن entity""" |
|
|
if len(text) < 3 or len(text) > 100: |
|
|
return False |
|
|
|
|
|
if self.is_generic_word(text): |
|
|
return False |
|
|
|
|
|
forbidden_words = [ |
|
|
'شد', 'کرد', 'است', 'بود', 'در', 'که', 'با', 'از', 'به', 'را', 'و', 'یا', |
|
|
'شده', 'نموده', 'صادر', 'ارائه', 'معرفی', 'برگزار', 'مطرح', 'واقع' |
|
|
] |
|
|
|
|
|
if text.lower().strip() in forbidden_words: |
|
|
return False |
|
|
|
|
|
if category in ['iranian_banks', 'other_companies']: |
|
|
if any(word in text.lower() for word in ['برگزار', 'مطرح', 'شد', 'است', 'نموده']): |
|
|
return False |
|
|
if text.strip() in ['شرکت', 'بانک', 'شرکت در', 'بانک در']: |
|
|
return False |
|
|
|
|
|
elif category == 'person_names': |
|
|
if text.strip() in ['آقای', 'خانم', 'مهندس', 'دکتر']: |
|
|
return False |
|
|
|
|
|
return True |
|
|
|
|
|
def analyze_entities(self, original_text, anonymized_text): |
|
|
"""تحلیل موجودیتهای شناسایی شده و ناشناس شده""" |
|
|
results = {} |
|
|
|
|
|
for entity_type, config in self.patterns.items(): |
|
|
original_matches = config['pattern'].findall(original_text) |
|
|
replacement_matches = config['replacement'].findall(anonymized_text) |
|
|
|
|
|
|
|
|
clean_original = [] |
|
|
for match in original_matches: |
|
|
cleaned = self.clean_entity(match) |
|
|
if self.is_valid_entity(cleaned, entity_type): |
|
|
clean_original.append(cleaned) |
|
|
|
|
|
|
|
|
anonymized_count = 0 |
|
|
for entity in clean_original: |
|
|
if not anonymized_text.count(entity.strip()): |
|
|
anonymized_count += 1 |
|
|
|
|
|
|
|
|
if len(replacement_matches) > anonymized_count: |
|
|
anonymized_count = min(len(replacement_matches), len(clean_original)) |
|
|
|
|
|
percentage = (anonymized_count / len(clean_original) * 100) if clean_original else 0 |
|
|
|
|
|
results[entity_type] = { |
|
|
'name': config['name'], |
|
|
'total': len(clean_original), |
|
|
'anonymized': anonymized_count, |
|
|
'percentage': round(percentage, 1), |
|
|
'samples': clean_original[:3] if clean_original else [] |
|
|
} |
|
|
|
|
|
return results |
|
|
|
|
|
def evaluate_csv(self, csv_file): |
|
|
"""ارزیابی فایل CSV و تولید گزارش""" |
|
|
try: |
|
|
if csv_file is None: |
|
|
return "لطفاً یک فایل CSV آپلود کنید." |
|
|
|
|
|
try: |
|
|
df = pd.read_csv(csv_file.name, encoding='utf-8') |
|
|
except: |
|
|
try: |
|
|
df = pd.read_csv(csv_file.name, encoding='utf-8', sep='\t') |
|
|
except: |
|
|
df = pd.read_csv(csv_file.name, encoding='utf-8-sig') |
|
|
|
|
|
if 'original_text' not in df.columns or 'anonymized_text' not in df.columns: |
|
|
return "فایل CSV باید شامل ستونهای 'original_text' و 'anonymized_text' باشد." |
|
|
|
|
|
overall_stats = {} |
|
|
total_entities = 0 |
|
|
total_anonymized = 0 |
|
|
|
|
|
for _, row in df.iterrows(): |
|
|
if pd.isna(row['original_text']) or pd.isna(row['anonymized_text']): |
|
|
continue |
|
|
|
|
|
row_analysis = self.analyze_entities(str(row['original_text']), str(row['anonymized_text'])) |
|
|
|
|
|
for entity_type, data in row_analysis.items(): |
|
|
if entity_type not in overall_stats: |
|
|
overall_stats[entity_type] = { |
|
|
'name': data['name'], |
|
|
'total': 0, |
|
|
'anonymized': 0, |
|
|
'samples': [] |
|
|
} |
|
|
|
|
|
overall_stats[entity_type]['total'] += data['total'] |
|
|
overall_stats[entity_type]['anonymized'] += data['anonymized'] |
|
|
overall_stats[entity_type]['samples'].extend(data['samples']) |
|
|
|
|
|
total_entities += data['total'] |
|
|
total_anonymized += data['anonymized'] |
|
|
|
|
|
for entity_type in overall_stats: |
|
|
stats = overall_stats[entity_type] |
|
|
stats['percentage'] = round((stats['anonymized'] / stats['total'] * 100) if stats['total'] > 0 else 0, 1) |
|
|
stats['samples'] = list(set(stats['samples']))[:3] |
|
|
|
|
|
return self.generate_report(overall_stats, total_entities, total_anonymized, len(df)) |
|
|
|
|
|
except Exception as e: |
|
|
return f"خطا در پردازش فایل: {str(e)}" |
|
|
|
|
|
def generate_report(self, stats, total_entities, total_anonymized, total_rows): |
|
|
"""تولید گزارش کامل متریکها""" |
|
|
|
|
|
report = f"""# گزارش ارزیابی ناشناسسازی متن (نسخه بهبود یافته) |
|
|
|
|
|
## خلاصه کلی |
|
|
- **تعداد ردیفهای پردازش شده**: {total_rows:,} ردیف |
|
|
- **تعداد موجودیتهای حساس شناسایی شده**: {total_entities:,} مورد |
|
|
- **تعداد موجودیتهای ناشناس شده**: {total_anonymized:,} مورد |
|
|
- **درصد پوشش کلی**: {(total_anonymized/total_entities*100) if total_entities > 0 else 0:.1f}% |
|
|
|
|
|
## بهبودهای اعمال شده |
|
|
✅ **آدرسهای کامل**: شناسایی دقیق آدرسها شامل میدان، برج، طبقه و واحد |
|
|
✅ **اسامی کامل**: پشتیبانی از خانم، مهندس، دکتر |
|
|
✅ **شرکتهای پیچیده**: شناسایی "شرکت پردازش دادههای ایرانیان" |
|
|
✅ **جداسازی دقیق**: کد ملی از شماره تلفن جدا شده |
|
|
✅ **فیلتر هوشمند**: حذف "همین بانک"، "شرکت متقاضی" |
|
|
✅ **بانکهای ایران**: فهرست کامل 15 بانک اصلی |
|
|
✅ **سازمانهای دولتی**: شناسایی نهادهای رسمی |
|
|
✅ **اسناد و فاکتورها**: شماره فاکتور، چک، دفتر اسناد |
|
|
|
|
|
## تحلیل تفصیلی دستهبندی موجودیتها |
|
|
|
|
|
""" |
|
|
|
|
|
excellent = [] |
|
|
good = [] |
|
|
poor = [] |
|
|
not_found = [] |
|
|
|
|
|
for entity_type, data in stats.items(): |
|
|
if data['total'] == 0: |
|
|
not_found.append((entity_type, data)) |
|
|
elif data['percentage'] == 100: |
|
|
excellent.append((entity_type, data)) |
|
|
elif data['percentage'] >= 80: |
|
|
good.append((entity_type, data)) |
|
|
else: |
|
|
poor.append((entity_type, data)) |
|
|
|
|
|
if excellent: |
|
|
report += "### ✅ عملکرد عالی (100% موفقیت)\n" |
|
|
for entity_type, data in excellent: |
|
|
report += f"- **{data['name']}**: {data['anonymized']}/{data['total']} (100%)\n" |
|
|
report += "\n" |
|
|
|
|
|
if good: |
|
|
report += "### 🟡 عملکرد خوب (80-99% موفقیت)\n" |
|
|
for entity_type, data in good: |
|
|
report += f"- **{data['name']}**: {data['anonymized']}/{data['total']} ({data['percentage']}%)\n" |
|
|
report += "\n" |
|
|
|
|
|
if poor: |
|
|
report += "### 🔴 عملکرد ضعیف (<80% موفقیت)\n" |
|
|
for entity_type, data in poor: |
|
|
missed = data['total'] - data['anonymized'] |
|
|
report += f"- **{data['name']}**: {data['anonymized']}/{data['total']} ({data['percentage']}%) - {missed} مورد جا مانده\n" |
|
|
if data['samples']: |
|
|
report += f" نمونههای شناسایی شده: {', '.join(data['samples'][:2])}\n" |
|
|
report += "\n" |
|
|
|
|
|
if not_found: |
|
|
report += "### ⚪ موجودیتهای یافت نشده\n" |
|
|
for entity_type, data in not_found: |
|
|
report += f"- **{data['name']}**: هیچ موجودیتی یافت نشد\n" |
|
|
report += "\n" |
|
|
|
|
|
report += "## جدول خلاصه متریکها\n\n" |
|
|
report += "| دسته موجودیت | یافته شده | ناشناس شده | درصد موفقیت | موارد جا مانده |\n" |
|
|
report += "|---------------|-----------|-------------|-------------|----------------|\n" |
|
|
|
|
|
for entity_type, data in stats.items(): |
|
|
if data['total'] > 0: |
|
|
missed = data['total'] - data['anonymized'] |
|
|
report += f"| {data['name']} | {data['total']} | {data['anonymized']} | {data['percentage']}% | {missed} |\n" |
|
|
|
|
|
major_issues = [(k, v) for k, v in stats.items() if v['total'] > 0 and v['percentage'] < 80] |
|
|
major_issues.sort(key=lambda x: x[1]['total'] - x[1]['anonymized'], reverse=True) |
|
|
|
|
|
if major_issues: |
|
|
report += "\n## 🚨 مشکلات اصلی شناسایی شده\n\n" |
|
|
for i, (entity_type, data) in enumerate(major_issues, 1): |
|
|
missed = data['total'] - data['anonymized'] |
|
|
impact = round(missed / total_entities * 100, 1) if total_entities > 0 else 0 |
|
|
report += f"### {i}. {data['name']}\n" |
|
|
report += f"- **وضعیت**: {data['percentage']}% موفقیت\n" |
|
|
report += f"- **موارد جا مانده**: {missed} مورد از {data['total']} مورد\n" |
|
|
report += f"- **تاثیر بر کل**: {impact}% از کل موجودیتها\n" |
|
|
if data['samples']: |
|
|
report += f"- **نمونهها**: {', '.join(data['samples'][:3])}\n" |
|
|
report += "\n" |
|
|
|
|
|
precision = round((total_anonymized / total_entities * 100) if total_entities > 0 else 0, 1) |
|
|
|
|
|
report += f"""## 📊 آمار نهایی |
|
|
|
|
|
- **کل موجودیتهای شناسایی شده**: {total_entities:,} |
|
|
- **کل موجودیتهای ناشناس شده**: {total_anonymized:,} |
|
|
- **موجودیتهای جا مانده**: {total_entities - total_anonymized:,} |
|
|
- **دقت (Precision)**: {precision}% |
|
|
- **پوشش (Recall)**: {precision}% |
|
|
- **امتیاز F1**: {precision}% |
|
|
|
|
|
## 🆕 ویژگیهای جدید اعمال شده |
|
|
- الگوهای regex بهبود یافته و دقیقتر |
|
|
- فیلتر کلمات عمومی و غیرمعنادار |
|
|
- شناسایی آدرسهای کامل با جزئیات |
|
|
- تشخیص اسامی با عناوین مختلف |
|
|
- جداسازی دقیق انواع موجودیتها |
|
|
- پشتیبانی از شرکتهای پیچیده |
|
|
- شناسایی اسناد و فاکتورها |
|
|
""" |
|
|
|
|
|
return report |
|
|
|
|
|
def create_interface(): |
|
|
evaluator = ImprovedAnonymizationEvaluator() |
|
|
|
|
|
def process_file(csv_file): |
|
|
if csv_file is None: |
|
|
return "لطفاً یک فایل CSV آپلود کنید." |
|
|
return evaluator.evaluate_csv(csv_file) |
|
|
|
|
|
with gr.Blocks(title="ارزیاب ناشناسسازی بهبود یافته") as demo: |
|
|
gr.Markdown(""" |
|
|
# 📊 ارزیاب ناشناسسازی متن فارسی (نسخه بهبود یافته) |
|
|
|
|
|
## 🆕 ویژگیهای جدید: |
|
|
- **آدرسهای کامل**: تهران، میدان ونک، برج میلاد، طبقه 15، واحد 1503 |
|
|
- **اسامی کامل**: خانم زهرا احمدی، مدیر مالی خانم احمدی |
|
|
- **شرکتهای پیچیده**: شرکت پردازش دادههای ایرانیان |
|
|
- **فیلتر هوشمند**: حذف "همین بانک"، "شرکت متقاضی" |
|
|
- **جداسازی دقیق**: کد ملی از شماره تلفن |
|
|
- **بانکهای ایران**: 15 بانک اصلی شناسایی میشود |
|
|
- **سازمانهای دولتی**: بانک مرکزی، دفتر اسناد رسمی |
|
|
- **اسناد**: شماره فاکتور، چک، دفتر اسناد |
|
|
""") |
|
|
|
|
|
file_input = gr.File(label="آپلود فایل CSV", file_types=[".csv"]) |
|
|
analyze_btn = gr.Button("محاسبه متریکها (نسخه بهبود یافته)", variant="primary") |
|
|
output = gr.Markdown(value="فایل CSV خود را آپلود کنید.") |
|
|
|
|
|
analyze_btn.click(fn=process_file, inputs=[file_input], outputs=[output]) |
|
|
|
|
|
return demo |
|
|
|
|
|
if __name__ == "__main__": |
|
|
app = create_interface() |
|
|
app.launch() |
