Update app.py

app.py

@@ -39,55 +39,41 @@ class AdvancedGroqAnonymizer:
 * درصدها (٪) و بازه‌های درصد → `percent-XX` (مثال بازه: `percent-05–percent-07`)
 * شاخص‌ها/علائم مالی (EPS, P/E, ARPU, NPL و…) باقی بمانند؛ فقط مقدارشان ناشناس شود (`EPS amount-01 ریال`, `P/E amount-02`)
 
-## قواعد اندیس‌گذاری
-* برای هر نوع برچسب، از `-01` شروع و افزایشی تخصیص دهید (شمارنده‌های هر نوع از هم مستقل‌اند).
-* پایداری «درون همان قطعه»: یک موجودیت در یک قطعه همیشه همان شناسه را نگه دارد.
-* عدم نیاز به پایداری بین قطعات/پاراگراف‌های مستقل.
+## قواعد اندیس‌گذاری **CRITICAL**
+* **MUST START FROM 01**: هر نوع برچسب از -01 شروع شود: company-01, person-01, amount-01, percent-01
+* **MUST BE SEQUENTIAL**: اندیس‌ها باید پیوسته باشند: company-01, company-02, company-03 (نه company-01, company-13)
+* **SEPARATE COUNTERS**: شمارنده‌های هر نوع از هم مستقل‌اند
+* **CONSISTENCY**: یک موجودیت در متن همیشه همان شناسه را داشته باشد
+* **NO GAPS**: هیچ خلاء در شماره‌گذاری نباشد
 
 ## چه چیزهایی حفظ می‌شود؟
-* تاریخ‌ها/ساعت‌ها (مثل 1404/04/29، 31 اردیبهشت 1404) دست‌نخورده.
-* عناوین شغلی/نقش‌ها (مدیرعامل، بازرس قانونی، …).
-* واحدها و اصطلاحات فنی (همت، میلیارد ریال، تُن، TEU، EPS، P/E، ARPU، NPL، …).
-* نام مکان‌ها/آدرس‌ها/محل برگزاری رویدادها اصولاً حفظ می‌شوند (مگر صریحاً سیاست دیگری داده شود).
-* ساختار جمله، روابط علّی/مقایسه‌ای، نتیجه‌گیری‌ها و لحن.
+* تاریخ‌ها/ساعت‌ها (مثل 1404/04/29، 30 آذر 1403) دست‌نخورده
+* عناوین شغلی/نقش‌ها (مدیرعامل، بازرس قانونی)
+* واحدها و اصطلاحات فنی (میلیارد تومان، درصد، زیان، درآمد، حمل، پردازش)
+* شاخص‌های مالی (EPS, P/E) - فقط مقدار ناشناس شود
+* کلمات عمومی فارسی و ساختار جمله
+* نام مکان‌ها (در صورت عدم حساسیت)
 
-## قواعد جایگزینی
-1. هر اسم خاص سازمانی/برندی/رسانه‌ای → `company-XX` (بانک مرکزی، سامانه کدال، بیمه مرکزی، … نیز سازمان‌اند.)
-2. هر نام شخص → `person-XX` (عنوان شغلی حفظ شود).
-3. هر عدد مستقل یا همراه واحد → `amount-XX` + واحد.
-4. هر درصد → `percent-XX`؛ در بازه‌ها با خط تیره بدون فاصله.
-5. اعداد چسبیده به واژه («5هزار») → بخش عددی ناشناس شود: `amount-01 هزار`.
-6. مدل/سری محصول (مثل G10) معمولاً حفظ می‌شود؛ اگر سیاست پوشش کامل ارقام سری لازم بود: «Gamount-XX».
-7. اگر درباره‌ی نوع برچسب مردد بودید، اولویت با `company-XX` (برای موجودیت‌های حقوقی) است.
+## قواعد جایگزینی **STRICT**
+1. شرکت آسان پادرو → company-01
+2. سرزمین هوشمند پاد → company-02  
+3. بانک پاسارگاد → company-03
+4. هر عدد (6، 30، 97، 60) → amount-01, amount-02, amount-03, amount-04 (به ترتیب ظهور)
+5. هر درصد (97 درصد، 60 درصد) → percent-01, percent-02
+6. کلمات انگلیسی اضافی یا غیرضروری نباید اضافه شود
+7. کلمات فارسی مانند "مقایسه" نباید به "comparison" تبدیل شود
 
-## کنترل کیفیت (برای هر قطعه)
-* هر موجودیت در همان قطعه شناسه ثابت دارد.
-* نوع برچسب با ماهیت موجودیت سازگار است (شخص≠شرکت).
-* همه‌ی اعداد و درصدها پوشانده و واحدها حفظ شده‌اند.
-* تاریخ/ساعت حفظ شده است.
-* اندیس‌ها از 01 شروع و پیوسته‌اند (به‌تفکیک نوع).
-* هیچ توضیح یا کروشه اضافه به متن ناشناس‌شده افزوده نشده است.
+## مثال دقیق برای متن نمونه:
+ورودی: «شرکت آسان پادرو منتهی به 30 آذر 1403 نشان می‌دهد این شرکت سال مالی جاری بیش از 6 میلیارد تومان زیان... سرزمین هوشمند پاد (زیرمجموعه بانک پاسارگاد)»
 
-## قالب خروجی
-برای هر ورودی، **صرفاً متن ناشناس‌شده** را برگردان. هیچ توضیح، سربرگ، یا نشانه‌گذاری اضافه ننوی��. زبان و علائم نگارشی اصلی را حفظ کن.
+خروجی صحیح: «company-01 منتهی به 30 آذر 1403 نشان می‌دهد این شرکت سال مالی جاری بیش از amount-01 میلیارد تومان زیان... company-02 (زیرمجموعه company-03)»
 
-## مثال‌های کوتاه
-**مثال 1:**
-ورودی: «بانک پاسارگاد با شناسایی سود خالص 155 هزار میلیارد ریالی…»
-خروجی: «company-01 با شناسایی سود خالص amount-01 هزار میلیارد ریالی…»
-
-**مثال 2:**
-ورودی: «مهدی اخوان بهابادی، مدیرعامل همراه اول، گفت سود خالص 7101 میلیارد تومان شد و EPS به 936 ریال رسید.»
-خروجی: «person-01، مدیرعامل company-01، گفت سود خالص amount-01 میلیارد تومان شد و EPS به amount-02 ریال رسید.»
-
-**مثال 3:**
-ورودی: «هزینه لجستیکی بوعلی حدود 100 میلیون دلار بود؛ 40٪ خوراک از خط لوله و 60٪ معادل 1 تا 1.5 میلیون تن.»
-خروجی: «هزینه لجستیکی company-01 حدود amount-01 میلیون دلار بود؛ percent-01 خوراک از خط لوله و percent-02 معادل amount-02 تا amount-03 میلیون تن.»
-
-## نکات لبه‌ای
-* بازه‌های عددی/درصدی: `amount-01–amount-02` / `percent-01–percent-02`.
-* اعداد سریالی سند/ثبت/شماره ملی/شماره ثبت: عدد → `amount-XX`، عنوان/واژه‌ها حفظ.
-* اگر یک نام هم‌زمان برند محصول و شرکت است، در متن مالی/حاکمیتی آن را شرکت فرض کنید (`company-XX`).
+## کنترل کیفیت نهایی
+- company-01, company-02, company-03 (پیوسته و بدون گپ)
+- amount-01, amount-02, amount-03, amount-04 (پیوسته و بدون گپ) 
+- percent-01, percent-02 (پیوسته و بدون گپ)
+- هیچ کلمه انگلیسی اضافی نباشد
+- ساختار و معنای فارسی حفظ شود
 
 فقط متن ناشناس‌شده را برگردان، بدون هیچ توضیح اضافی."""
 
@@ -162,7 +148,7 @@ class AdvancedGroqAnonymizer:
                 "statistics": analysis["statistics"],
                 "detailed_analysis": analysis["detailed_analysis"],
                 "usage": response.get("usage", {}),
-                "quality_check": self._quality_check(content)
+                "quality_check": self._validate_anonymized_text(content)
             }
                 
         except Exception as e:
@@ -230,46 +216,54 @@ class AdvancedGroqAnonymizer:
             "detailed_analysis": detailed_analysis
         }
     
-    def _quality_check(self, text: str) -> Dict[str, Any]:
-        """بررسی کیفیت ناشناس‌سازی"""
+    def _validate_anonymized_text(self, text: str) -> Dict[str, Any]:
+        """اعتبارسنجی پیشرفته متن ناشناس‌شده"""
         import re
         
-        # بررسی شروع اندیس‌ها از 01
-        company_indices = [int(x) for x in re.findall(r'company-(\d+)', text)]
-        person_indices = [int(x) for x in re.findall(r'person-(\d+)', text)]
-        amount_indices = [int(x) for x in re.findall(r'amount-(\d+)', text)]
-        percent_indices = [int(x) for x in re.findall(r'percent-(\d+)', text)]
-        
-        issues = []
+        # استخراج همه موجودیت‌ها
+        companies = re.findall(r'company-(\d+)', text)
+        persons = re.findall(r'person-(\d+)', text)
+        amounts = re.findall(r'amount-(\d+)', text)
+        percents = re.findall(r'percent-(\d+)', text)
+        groups = re.findall(r'group-(\d+)', text)
         
-        # بررسی شروع از 01
-        for entity_type, indices in [
-            ("company", company_indices),
-            ("person", person_indices), 
-            ("amount", amount_indices),
-            ("percent", percent_indices)
-        ]:
-            if indices and min(indices) != 1:
-                issues.append(f"اندیس {entity_type} از 01 شروع نشده")
+        validation_issues = []
         
-        # بررسی پیوستگی اندیس‌ها
+        # بررسی هر نوع موجودیت
         for entity_type, indices in [
-            ("company", company_indices),
-            ("person", person_indices),
-            ("amount", amount_indices), 
-            ("percent", percent_indices)
+            ("company", companies),
+            ("person", persons),
+            ("amount", amounts),
+            ("percent", percents),
+            ("group", groups)
         ]:
             if indices:
-                unique_indices = sorted(list(set(indices)))
+                unique_indices = sorted(list(set([int(x) for x in indices])))
+                # بررسی شروع از 1
+                if unique_indices[0] != 1:
+                    validation_issues.append(f"اندیس {entity_type} از 01 شروع نشده (شروع: {unique_indices[0]:02d})")
+                
+                # بررسی پیوستگی
                 expected = list(range(1, len(unique_indices) + 1))
                 if unique_indices != expected:
-                    issues.append(f"اندیس‌های {entity_type} پیوسته نیستند")
+                    validation_issues.append(f"اندیس‌های {entity_type} پیوسته نیستند: {[f'{x:02d}' for x in unique_indices]}")
+        
+        # بررسی کلمات انگلیسی غیرضروری
+        english_words = re.findall(r'\b[a-zA-Z]+\b', text)
+        unwanted_english = [word for word in english_words if word.lower() not in ['eps', 'p/e', 'arpu', 'npl', 'roe', 'roa']]
+        if unwanted_english:
+            validation_issues.append(f"کلمات انگلیسی غیرضروری: {unwanted_english}")
         
         return {
-            "passed": len(issues) == 0,
-            "issues": issues,
-            "total_checks": 8,
-            "passed_checks": 8 - len(issues)
+            "is_valid": len(validation_issues) == 0,
+            "issues": validation_issues,
+            "entity_counts": {
+                "company": len(set(companies)),
+                "person": len(set(persons)),
+                "amount": len(set(amounts)),
+                "percent": len(set(percents)),
+                "group": len(set(groups))
+            }
         }
 
 def create_advanced_interface():
@@ -513,7 +507,7 @@ def create_advanced_interface():
                 quality = result.get("quality_check", {})
                 quality_md = "✅ **کنترل کیفیت:**\n\n"
                 
-                if quality.get("passed", False):
+                if quality.get("is_valid", False):
                     quality_md += '<span class="quality-badge quality-pass">✅ تمام بررسی‌ها موفق</span>\n\n'
                 else:
                     quality_md += '<span class="quality-badge quality-fail">❌ مشکلاتی یافت شد</span>\n\n'
@@ -523,7 +517,12 @@ def create_advanced_interface():
                         for issue in issues:
                             quality_md += f"• {issue}\n"
                 
-                quality_md += f"\n**نتیجه:** {quality.get('passed_checks', 0)}/{quality.get('total_checks', 0)} بررسی موفق"
+                entity_counts = quality.get("entity_counts", {})
+                if entity_counts:
+                    quality_md += f"\n**تعداد موجودیت‌های منحصربه‌فرد:**\n"
+                    for entity_type, count in entity_counts.items():
+                        if count > 0:
+                            quality_md += f"• {entity_type}: {count}\n"
                 
                 # موجودیت‌های شناسایی شده
                 entities = result.get("entities", {})
@@ -587,7 +586,7 @@ def create_advanced_interface():
         
         def clear_all():
             """پاک کردن تمام فیلدها"""
-            return "", "", "", "", "", "", gr.Textbox(visible=False)
+            return "", "", "", "", "", "", "", gr.Textbox(visible=False)
         
         # اتصال رویدادها
         anonymize_btn.click(
@@ -610,17 +609,17 @@ def create_advanced_interface():
         # مثال‌های پیشرفته
         gr.Examples(
             examples=[
+                ["صورت‌های مالی حسابرسی شده شرکت آسان پادرو منتهی به 30 آذر 1403 نشان می‌دهد این شرکت سال مالی جاری بیش از 6 میلیارد تومان زیان خالص شناسایی کرده است. پادرو سال مالی 1403 حدود 30 میلیارد تومان درآمد عملیاتی کسب کرد که این رقم در مقایسه با سال 1402 رشد تقریباً دوبرابری دارد. 97 درصد درآمد پادرو از «پردازش حمل» است که مربوط به مشتریان متقاضی خدمات پستی بوده و بیش از 60 درصد درآمد آن از سرزمین هوشمند پاد (زیرمجموعه بانک پاسارگاد) و بابت حمل مرسوله کارت‌های بانکی است."],
                 ["بانک پاسارگاد با شناسایی سود خالص 155 هزار میلیارد ریالی در ردۀ دوم سودآورترین بانک‌های کشور قرار گرفت."],
                 ["مهدی اخوان بهابادی، مدیرعامل همراه اول، اعلام کرد درآمد عملیاتی شرکت با رشد 37 درصدی به 70 هزار و 677 میلیارد تومان رسیده است."],
                 ["هزینه لجستیکی بوعلی حدود 100 میلیون دلار بود؛ 40٪ خوراک از خط لوله و 60٪ معادل 1 تا 1.5 میلیون تن در سال."],
-                ["مجمع عمومی در تاریخ 1404/04/29 ساعت 10:00 در هتل بزرگ نخل کنگان برگزار شد و علی محمدی، رئیس هیئت مدیره، گزارش عملکرد ار��ئه داد."],
                 ["گروه دتا با سود خالص 45.3 میلیارد تومان و EPS برابر 2850 ریال، رشد 15.7 درصدی نسبت به مدت مشابه سال قبل داشته است."]
             ],
             inputs=input_text,
             label="📚 مثال‌های پیشرفته آزمایشی"
         )
         
-        # راهنمای کامل
+                        # راهنمای کامل
         with gr.Accordion("📖 راهنمای کامل استفاده", open=False):
             gr.Markdown("""
             ## 🎯 ویژگی‌های سیستم پیشرفته:
@@ -645,15 +644,21 @@ def create_advanced_interface():
             - بررسی پیوستگی اندیس‌ها
             - تضمین ثبات شناسه‌ها در یک متن
             - حفظ واحدها و شاخص‌های مالی
+            - شناسایی کلمات انگلیسی غیرضروری
             
             ### 💡 نکات مهم:
             - هر نوع موجودیت شماره‌گذاری مستقل دارد
             - در بازه‌های عددی: amount-01–amount-02
             - برای درصدها: percent-01–percent-02
             - اعداد چسبیده: "5هزار" → "amount-01 هزار"
+            
+            ### 🔧 مثال صحیح برای متن شما:
+            **ورودی:** صورت‌های مالی حسابرسی شده شرکت آسان پادرو منتهی به 30 آذر 1403 نشان می‌دهد این شرکت سال مالی جاری بیش از 6 میلیارد تومان زیان خالص شناسایی کرده است...
+            
+            **خروجی مطلوب:** صورت‌های مالی حسابرسی شده company-01 منتهی به 30 آذر 1403 نشان می‌دهد این شرکت سال مالی جاری بیش از amount-01 میلیارد تومان زیان خالص شناسایی کرده است...
             """)
-    
-    return interface
+        
+        return interface
 
 # اجرای برنامه
 if __name__ == "__main__":