Upload persian_anonymizer_fixed.py

persian_anonymizer_fixed.py

@@ -0,0 +1,354 @@
+"""
+ناشناس‌ساز پیشرفته متون مالی/خبری فارسی
+قدرت‌گرفته از OpenRouter AI - Qwen3-14B
+نسخه: 1.0.1 (Fixed)
+"""
+
+import requests
+import json
+import gradio as gr
+from typing import Dict, Any
+import os
+from dataclasses import dataclass
+import re
+
+@dataclass
+class OpenRouterConfig:
+    """تنظیمات OpenRouter API برای Qwen3-14B"""
+    api_key: str
+    base_url: str = "https://openrouter.ai/api/v1"
+    # ✅ نام مدل صحیح - بدون :free
+    model: str = "qwen/qwen-2.5-14b-instruct"
+    max_tokens: int = 16384
+    temperature: float = 0.6
+    top_p: float = 0.85
+
+class AdvancedOpenRouterAnonymizer:
+    """سیستم پیشرفته ناشناس‌سازی با OpenRouter"""
+    
+    def __init__(self, api_key: str = None):
+        if api_key is None:
+            api_key = os.getenv("OPENROUTER_API_KEY")
+            if not api_key:
+                raise ValueError("کلید API یافت نشد - لطفاً در Settings تنظیم کنید")
+        
+        self.config = OpenRouterConfig(api_key=api_key)
+        self.system_prompt = self._create_advanced_system_prompt()
+    
+    def _create_advanced_system_prompt(self) -> str:
+        """ایجاد دستورالعمل سیستمی پیشرفته"""
+        return """شما یک «ناشناس‌ساز متون مالی/خبری فارسی» هستید.
+
+## قوانین اندیس‌گذاری:
+1. **ترتیب پیوسته**: company-01, company-02, ... | person-01, person-02, ... | amount-01, amount-02, ... | percent-01, percent-02, ...
+2. **ثبات**: اگر "همراه اول" → company-01 شد، در تمام متن همان باشد
+3. **نام مستعار**: "فاما" = "فولاد مبارکه" → هر دو company-01
+4. **اشاره ضمنی**: "این شرکت" اگر به company-01 اشاره دارد → company-01
+
+## انواع موجودیت:
+- **company-XX**: شرکت‌ها، بانک‌ها، سازمان‌ها، گروه‌ها
+- **person-XX**: نام و نام خانوادگی اشخاص  
+- **amount-XX**: مبالغ (واحد را حفظ کن)
+- **percent-XX**: درصدها
+
+## قوانین کلیدی:
+1. بازرس = شرکت است → company-XX
+2. واحدها: "amount-01 میلیارد تومان" ✅
+3. کلمات عمومی حفظ: "سه شرکت" → حفظ
+4. تمام اعداد را شناسایی کن
+5. درصدها را شناسایی کن
+
+## مثال:
+ورودی: ایران خودرو در اسفند 1402 حدود 23 هزار و 296 میلیارد درآمد کسب کرد که 4.58 درصد افزایش داشت.
+خروجی: company-01 در اسفند 1402 حدود amount-01 درآمد کسب کرد که percent-01 افزایش داشت.
+
+⚠️ فقط متن ناشناس‌شده، بدون توضیح اضافی."""
+
+    def _make_api_request(self, text: str) -> Dict[str, Any]:
+        """ارسال درخواست به OpenRouter API"""
+        
+        print(f"🔍 Debug: Using model = {self.config.model}")
+        
+        # ✅ Headers ساده‌شده
+        headers = {
+            "Authorization": f"Bearer {self.config.api_key}",
+            "Content-Type": "application/json",
+        }
+        
+        # ✅ Payload ساده‌شده
+        payload = {
+            "model": self.config.model,
+            "messages": [
+                {"role": "system", "content": self.system_prompt},
+                {"role": "user", "content": text}
+            ],
+            "temperature": self.config.temperature,
+            "top_p": self.config.top_p,
+            "max_tokens": self.config.max_tokens
+        }
+        
+        full_url = f"{self.config.base_url}/chat/completions"
+        
+        try:
+            response = requests.post(
+                full_url,
+                headers=headers,
+                json=payload,
+                timeout=90
+            )
+            
+            print(f"📡 Response Status: {response.status_code}")
+            
+            # ✅ نمایش پاسخ کامل در صورت خطا
+            if response.status_code != 200:
+                print(f"❌ Error Response: {response.text}")
+            
+            response.raise_for_status()
+            return response.json()
+            
+        except requests.exceptions.HTTPError as e:
+            error_detail = response.text if response else 'No response'
+            print(f"❌ HTTP Error Details: {error_detail}")
+            
+            # پیام خطای بهتر
+            try:
+                error_json = json.loads(error_detail)
+                error_msg = error_json.get('error', {}).get('message', str(e))
+            except:
+                error_msg = str(e)
+            
+            raise Exception(f"خطا در OpenRouter: {error_msg}")
+        
+        except requests.exceptions.RequestException as e:
+            raise Exception(f"خطای شبکه: {str(e)}")
+    
+    def anonymize_text(self, text: str) -> Dict[str, Any]:
+        """ناشناس‌سازی متن"""
+        if not text.strip():
+            return {
+                "success": False,
+                "error": "متن ورودی خالی است"
+            }
+        
+        try:
+            response = self._make_api_request(text)
+            
+            if "choices" not in response or not response["choices"]:
+                return {
+                    "success": False,
+                    "error": "پاسخ نامعتبر از API"
+                }
+            
+            content = response["choices"][0]["message"]["content"]
+            content = self._clean_markdown(content)
+            content = content.strip()
+            
+            analysis = self._analyze_anonymized_text(content)
+            
+            return {
+                "success": True,
+                "anonymized_text": content,
+                "entities": analysis["entities"],
+                "statistics": analysis["statistics"],
+                "detailed_analysis": analysis["detailed_analysis"],
+                "usage": response.get("usage", {}),
+                "quality_check": self._validate_anonymized_text(content)
+            }
+                
+        except Exception as e:
+            return {
+                "success": False,
+                "error": f"خطا در پردازش: {str(e)}"
+            }
+    
+    def _clean_markdown(self, content: str) -> str:
+        """پاک کردن markdown از پاسخ"""
+        if "```" in content:
+            lines = content.split('\n')
+            clean_lines = []
+            skip = False
+            for line in lines:
+                if line.strip().startswith('```'):
+                    skip = not skip
+                    continue
+                if not skip:
+                    clean_lines.append(line)
+            content = '\n'.join(clean_lines)
+        return content
+    
+    def _analyze_anonymized_text(self, text: str) -> Dict[str, Any]:
+        """تحلیل متن ناشناس‌سازی شده"""
+        companies = re.findall(r'company-(\d+)', text)
+        persons = re.findall(r'person-(\d+)', text)
+        amounts = re.findall(r'amount-(\d+)', text)
+        percents = re.findall(r'percent-(\d+)', text)
+        
+        statistics = {
+            "company": len(set(companies)),
+            "person": len(set(persons)),
+            "amount": len(set(amounts)),
+            "percent": len(set(percents)),
+            "total_replacements": len(companies) + len(persons) + len(amounts) + len(percents)
+        }
+        
+        entities = {
+            "companies": sorted(list(set(companies)), key=lambda x: int(x)),
+            "persons": sorted(list(set(persons)), key=lambda x: int(x)),
+            "amounts": sorted(list(set(amounts)), key=lambda x: int(x)),
+            "percents": sorted(list(set(percents)), key=lambda x: int(x))
+        }
+        
+        detailed_analysis = {
+            "preserved_dates": len(re.findall(r'\d{4}/\d{1,2}/\d{1,2}|\d{1,2}\s+\w+\s+\d{4}', text)),
+            "preserved_times": len(re.findall(r'\d{1,2}:\d{2}', text)),
+            "financial_indicators": len(re.findall(r'\b(EPS|P/E|ARPU|NPL|ROE|ROA)\b', text)),
+            "units_preserved": len(re.findall(r'(میلیارد|میلیون|هزار|تومان|ریال|درهم|دلار|یورو|تن|کیلوگرم)', text))
+        }
+        
+        return {
+            "statistics": statistics,
+            "entities": entities,
+            "detailed_analysis": detailed_analysis
+        }
+    
+    def _validate_anonymized_text(self, text: str) -> Dict[str, Any]:
+        """اعتبارسنجی"""
+        companies = re.findall(r'company-(\d+)', text)
+        persons = re.findall(r'person-(\d+)', text)
+        amounts = re.findall(r'amount-(\d+)', text)
+        percents = re.findall(r'percent-(\d+)', text)
+        
+        validation_issues = []
+        
+        for entity_type, indices in [
+            ("company", companies),
+            ("person", persons),
+            ("amount", amounts),
+            ("percent", percents)
+        ]:
+            if indices:
+                unique_indices = sorted(list(set([int(x) for x in indices])))
+                if unique_indices[0] != 1:
+                    validation_issues.append(f"اندیس {entity_type} از 01 شروع نشده")
+                
+                expected = list(range(1, len(unique_indices) + 1))
+                if unique_indices != expected:
+                    validation_issues.append(f"اندیس‌های {entity_type} پیوسته نیستند")
+        
+        return {
+            "is_valid": len(validation_issues) == 0,
+            "issues": validation_issues,
+            "entity_counts": {
+                "company": len(set(companies)),
+                "person": len(set(persons)),
+                "amount": len(set(amounts)),
+                "percent": len(set(percents))
+            }
+        }
+
+def create_advanced_interface():
+    """ایجاد رابط کاربری"""
+    
+    api_key_available = bool(os.getenv("OPENROUTER_API_KEY"))
+    
+    with gr.Blocks(title="ناشناس‌ساز با Qwen3-14B", theme=gr.themes.Soft()) as interface:
+        
+        gr.Markdown("""
+        # 🔒 ناشناس‌ساز پیشرفته متون فارسی
+        ### 🚀 مدل: Qwen 2.5 14B Instruct (OpenRouter)
+        """)
+        
+        if api_key_available:
+            gr.Markdown("✅ **سیستم آماده است**")
+        else:
+            gr.Markdown("""
+            ⚠️ **کلید API تنظیم نشده**
+            
+            لطفاً در Settings یک Secret با نام `OPENROUTER_API_KEY` اضافه کنید.
+            
+            دریافت کلید رایگان: https://openrouter.ai/keys
+            """)
+        
+        with gr.Row():
+            with gr.Column():
+                input_text = gr.Textbox(
+                    label="📝 متن ورودی",
+                    placeholder="متن خود را وارد کنید...",
+                    lines=10,
+                    rtl=True
+                )
+                anonymize_btn = gr.Button("🔒 ناشناس‌سازی", variant="primary")
+            
+            with gr.Column():
+                output_text = gr.Textbox(
+                    label="🎯 متن ناشناس‌سازی شده",
+                    lines=10,
+                    rtl=True
+                )
+        
+        statistics_output = gr.Markdown(label="📊 آمار")
+        usage_output = gr.Markdown(label="⚡ اطلاعات پردازش")
+        
+        def process_text(text: str):
+            """پردازش متن"""
+            if not text or not text.strip():
+                return "", "❌ متن ورودی خالی است", ""
+            
+            try:
+                anonymizer = AdvancedOpenRouterAnonymizer()
+                result = anonymizer.anonymize_text(text)
+                
+                if not result["success"]:
+                    return "", f"❌ خطا: {result['error']}", ""
+                
+                # آمار
+                stats = result.get("statistics", {})
+                stats_md = f"""
+## 📊 آمار کلی:
+- 🏢 شرکت‌ها: {stats.get('company', 0)}
+- 👤 اشخاص: {stats.get('person', 0)}
+- 💰 مبالغ: {stats.get('amount', 0)}
+- 📊 درصدها: {stats.get('percent', 0)}
+- 🔢 کل جایگزینی‌ها: {stats.get('total_replacements', 0)}
+                """
+                
+                # اطلاعات پردازش
+                usage = result.get("usage", {})
+                usage_md = f"""
+## ⚡ اطلاعات پردازش:
+- 🤖 مدل: Qwen 2.5 14B Instruct
+- 📥 ورودی: {usage.get('prompt_tokens', 0)} tokens
+- 📤 خروجی: {usage.get('completion_tokens', 0)} tokens
+- 📊 کل: {usage.get('total_tokens', 0)} tokens
+                """
+                
+                return (
+                    result["anonymized_text"],
+                    stats_md,
+                    usage_md
+                )
+                
+            except Exception as e:
+                return "", f"❌ خطا: {str(e)}", ""
+        
+        anonymize_btn.click(
+            fn=process_text,
+            inputs=[input_text],
+            outputs=[output_text, statistics_output, usage_output]
+        )
+        
+        # مثال‌ها
+        gr.Examples(
+            examples=[
+                ["همراه اول با سهمی ۵۳ درصدی بیشترین نقش را دارد."],
+                ["ایران خودرو حدود 23 هزار میلیارد درآمد کسب کرد."],
+                ["علی محمدی مدیرعامل بانک ملت گفت که سود 15 درصدی داشته‌اند."]
+            ],
+            inputs=input_text
+        )
+    
+    return interface
+
+if __name__ == "__main__":
+    interface = create_advanced_interface()
+    interface.launch()