Update app.py

app.py

@@ -1,136 +1,388 @@
 """
-OpenRouter API Debug & Test Script
-این اسکریپت مشکلات احتمالی را تشخیص می‌دهد
+ناشناس‌ساز پیشرفته متون مالی/خبری فارسی
+نسخه: 1.2.0 - با مدل تست شده Llama 3.2
 """
 
 import requests
 import json
+import gradio as gr
+from typing import Dict, Any, Optional
 import os
+from dataclasses import dataclass
+import re
 
-def test_openrouter_connection():
-    """تست اتصال به OpenRouter"""
-    
-    api_key = os.getenv("OPENROUTER_API_KEY")
-    
-    if not api_key:
-        print("❌ کلید API یافت نشد!")
-        print("لطفاً OPENROUTER_API_KEY را در Settings تنظیم کنید")
-        return
-    
-    print(f"✅ API Key موجود است (طول: {len(api_key)})")
-    print(f"🔑 شروع کلید: {api_key[:10]}...")
+@dataclass
+class OpenRouterConfig:
+    """تنظیمات OpenRouter API"""
+    api_key: str
+    base_url: str = "https://openrouter.ai/api/v1"
+    # ✅ مدل تست شده و کاری
+    model: str = "meta-llama/llama-3.2-3b-instruct:free"
+    max_tokens: int = 8192
+    temperature: float = 0.6
+    top_p: float = 0.85
+
+class AdvancedOpenRouterAnonymizer:
+    """سیستم پیشرفته ناشناس‌سازی"""
     
-    # لیست مدل‌های رایگان مختلف برای تست
-    models_to_test = [
-        "qwen/qwen-2.5-7b-instruct:free",
-        "meta-llama/llama-3.2-3b-instruct:free",
+    # لیست مدل‌های رایگان با اولویت (از نتیجه تست)
+    AVAILABLE_MODELS = [
+        "meta-llama/llama-3.2-3b-instruct:free",  # ✅ تست شده
         "microsoft/phi-3-mini-128k-instruct:free",
         "google/gemini-2.0-flash-exp:free",
-        "qwen/qwen-2.5-14b-instruct:free"
     ]
     
-    url = "https://openrouter.ai/api/v1/chat/completions"
-    
-    test_message = "سلام"
-    
-    for model in models_to_test:
-        print(f"\n{'='*60}")
-        print(f"🧪 تست مدل: {model}")
-        print(f"{'='*60}")
+    def __init__(self, api_key: str = None):
+        if api_key is None:
+            api_key = os.getenv("OPENROUTER_API_KEY")
+            if not api_key:
+                raise ValueError("کلید API یافت نشد")
         
+        self.config = OpenRouterConfig(api_key=api_key)
+        self.working_model = None
+        self.system_prompt = self._create_system_prompt()
+    
+    def _create_system_prompt(self) -> str:
+        """دستورالعمل سیستمی"""
+        return """You are a Persian financial/news text anonymizer. Replace entities with indexed placeholders.
+
+## Rules:
+1. **Sequential indexing**: company-01, company-02... | person-01, person-02... | amount-01, amount-02... | percent-01, percent-02...
+2. **Consistency**: Same entity = same index throughout text
+3. **Preserve**: dates, times, units (میلیارد، میلیون، تومان، درصد)
+4. **Keep generic words**: "سه شرکت" stays as is (don't replace numbers in generic phrases)
+
+## Entity types:
+- **company-XX**: شرکت‌ها، بانک‌ها، سازمان‌ها
+- **person-XX**: نام و نام خانوادگی
+- **amount-XX**: مبالغ مالی (with units)
+- **percent-XX**: درصدها (with %)
+
+## Examples:
+
+Input: همراه اول با سهمی ۵۳ درصدی بیشترین نقش را دارد.
+Output: company-01 با سهمی percent-01 بیشترین نقش را دارد.
+
+Input: ایران خودرو حدود 23 هزار میلیارد درآمد کسب کرد.
+Output: company-01 حدود amount-01 درآمد کسب کرد.
+
+Input: علی محمدی مدیرعامل بانک ملت گفت سود 15 درصدی داشتند.
+Output: person-01 مدیرعامل company-01 گفت سود percent-01 داشتند.
+
+⚠️ Return ONLY the anonymized Persian text, no explanations."""
+
+    def _try_model(self, model: str, text: str) -> Optional[Dict[str, Any]]:
+        """تست یک مدل"""
         headers = {
-            "Authorization": f"Bearer {api_key}",
+            "Authorization": f"Bearer {self.config.api_key}",
             "Content-Type": "application/json"
         }
         
         payload = {
             "model": model,
             "messages": [
-                {"role": "user", "content": test_message}
+                {"role": "system", "content": self.system_prompt},
+                {"role": "user", "content": f"Anonymize this Persian text:\n\n{text}"}
             ],
-            "max_tokens": 100
+            "temperature": self.config.temperature,
+            "top_p": self.config.top_p,
+            "max_tokens": self.config.max_tokens
         }
         
         try:
-            print("📡 در حال ارسال درخواست...")
-            response = requests.post(url, headers=headers, json=payload, timeout=30)
-            
-            print(f"📊 Status Code: {response.status_code}")
+            response = requests.post(
+                f"{self.config.base_url}/chat/completions",
+                headers=headers,
+                json=payload,
+                timeout=60
+            )
             
             if response.status_code == 200:
-                print("✅ موفق!")
-                result = response.json()
-                content = result['choices'][0]['message']['content']
-                print(f"📝 پاسخ: {content[:100]}...")
-                print(f"💰 Usage: {result.get('usage', {})}")
-                print(f"\n🎉 این مدل کار می‌کند: {model}")
-                return model
+                return response.json()
             else:
-                print(f"❌ خطا!")
-                print(f"📄 پاسخ سرور:")
-                try:
-                    error_data = response.json()
-                    print(json.dumps(error_data, indent=2, ensure_ascii=False))
-                except:
-                    print(response.text)
-        
+                print(f"⚠️ {model}: status {response.status_code}")
+                return None
+                
         except Exception as e:
-            print(f"❌ Exception: {str(e)}")
+            print(f"⚠️ {model}: {str(e)}")
+            return None
     
-    print("\n" + "="*60)
-    print("❌ هیچ مدلی کار نکرد!")
-    print("\n💡 راهنمایی:")
-    print("1. بررسی کنید کلید API معتبر است")
-    print("2. به https://openrouter.ai/keys بروید و کلید جدید بگیرید")
-    print("3. مطمئن شوید کردیت کافی دارید")
-    print("4. لیست مدل‌های موجود: https://openrouter.ai/docs/models")
-
-def get_available_models():
-    """لیست مدل‌های موجود"""
-    api_key = os.getenv("OPENROUTER_API_KEY")
+    def _make_api_request(self, text: str) -> Dict[str, Any]:
+        """ارسال درخواست با fallback"""
+        
+        # ابتدا مدل پیش‌فرض را امتحان کن
+        if self.working_model:
+            result = self._try_model(self.working_model, text)
+            if result:
+                return result
+        
+        # امتحان مدل پیش‌فرض
+        print(f"🔄 Using: {self.config.model}")
+        result = self._try_model(self.config.model, text)
+        if result:
+            self.working_model = self.config.model
+            return result
+        
+        # fallback به مدل‌های دیگر
+        print("🔍 Trying alternatives...")
+        for model in self.AVAILABLE_MODELS:
+            if model != self.config.model:
+                print(f"⏳ Trying {model}...")
+                result = self._try_model(model, text)
+                if result:
+                    print(f"✅ Success with {model}")
+                    self.working_model = model
+                    return result
+        
+        raise Exception(
+            "هیچ مدلی کار نکرد. لطفاً بررسی کنید:\n"
+            "1. کلید API معتبر است\n"
+            "2. اتصال اینترنت فعال است\n"
+            "3. OpenRouter سرویس‌دهی می‌کند"
+        )
     
-    if not api_key:
-        print("❌ کلید API یافت نشد!")
-        return
+    def anonymize_text(self, text: str) -> Dict[str, Any]:
+        """ناشناس‌سازی متن"""
+        if not text.strip():
+            return {"success": False, "error": "متن ورودی خالی است"}
+        
+        try:
+            response = self._make_api_request(text)
+            
+            if "choices" not in response or not response["choices"]:
+                return {"success": False, "error": "پاسخ نامعتبر"}
+            
+            content = response["choices"][0]["message"]["content"]
+            
+            # پاک‌سازی
+            content = self._clean_output(content)
+            
+            # تحلیل
+            analysis = self._analyze_anonymized_text(content)
+            
+            return {
+                "success": True,
+                "anonymized_text": content,
+                "entities": analysis["entities"],
+                "statistics": analysis["statistics"],
+                "usage": response.get("usage", {}),
+                "model_used": self.working_model or self.config.model
+            }
+                
+        except Exception as e:
+            return {"success": False, "error": str(e)}
     
-    print("\n📋 در حال دریافت لیست مدل‌ها...")
+    def _clean_output(self, content: str) -> str:
+        """پاک‌سازی خروجی"""
+        # حذف markdown
+        if "```" in content:
+            lines = content.split('\n')
+            clean_lines = []
+            skip = False
+            for line in lines:
+                if line.strip().startswith('```'):
+                    skip = not skip
+                    continue
+                if not skip:
+                    clean_lines.append(line)
+            content = '\n'.join(clean_lines)
+        
+        # حذف توضیحات اضافی
+        lines = content.split('\n')
+        persian_lines = []
+        for line in lines:
+            # فقط خطوطی که فارسی یا entity-XX دارند
+            if any(c in 'ابپتثجچحخدذرزژسشصضطظعغفقکگلمنوهی' for c in line) or \
+               re.search(r'(company|person|amount|percent)-\d+', line):
+                persian_lines.append(line)
+        
+        return '\n'.join(persian_lines).strip()
     
-    try:
-        headers = {
-            "Authorization": f"Bearer {api_key}"
+    def _analyze_anonymized_text(self, text: str) -> Dict[str, Any]:
+        """تحلیل متن"""
+        companies = re.findall(r'company-(\d+)', text)
+        persons = re.findall(r'person-(\d+)', text)
+        amounts = re.findall(r'amount-(\d+)', text)
+        percents = re.findall(r'percent-(\d+)', text)
+        
+        return {
+            "statistics": {
+                "company": len(set(companies)),
+                "person": len(set(persons)),
+                "amount": len(set(amounts)),
+                "percent": len(set(percents)),
+                "total": len(companies) + len(persons) + len(amounts) + len(percents)
+            },
+            "entities": {
+                "companies": sorted(list(set(companies)), key=lambda x: int(x)) if companies else [],
+                "persons": sorted(list(set(persons)), key=lambda x: int(x)) if persons else [],
+                "amounts": sorted(list(set(amounts)), key=lambda x: int(x)) if amounts else [],
+                "percents": sorted(list(set(percents)), key=lambda x: int(x)) if percents else []
+            }
         }
+
+def create_interface():
+    """رابط کاربری Gradio"""
+    
+    api_key_available = bool(os.getenv("OPENROUTER_API_KEY"))
+    
+    with gr.Blocks(
+        title="ناشناس‌ساز فارسی", 
+        theme=gr.themes.Soft(),
+        css=".rtl { direction: rtl; text-align: right; }"
+    ) as interface:
         
-        response = requests.get(
-            "https://openrouter.ai/api/v1/models",
-            headers=headers,
-            timeout=30
-        )
+        gr.Markdown("""
+        # 🔒 ناشناس‌ساز متون مالی/خبری فارسی
+        ### 🚀 Powered by Llama 3.2 (OpenRouter Free)
+        """)
         
-        if response.status_code == 200:
-            models = response.json()
-            free_models = [m for m in models.get('data', []) if ':free' in m.get('id', '')]
+        if not api_key_available:
+            gr.Markdown("""
+            ## ⚠️ نیاز به تنظیمات
             
-            print(f"\n✅ تعداد مدل‌های رایگان: {len(free_models)}")
-            print("\n🆓 مدل‌های رایگان موجود:")
-            for model in free_models[:20]:
-                print(f"  - {model['id']}")
+            1. به https://openrouter.ai/keys بروید
+            2. یک کلید API رایگان بگیرید
+            3. در Hugging Face:
+               - Settings → Secrets
+               - New Secret
+               - Name: `OPENROUTER_API_KEY`
+               - Value: کلید شما
+            4. Space را Restart کنید
+            """)
         else:
-            print(f"❌ خطا: {response.status_code}")
-            print(response.text)
+            gr.Markdown("✅ **سیستم آماده به کار است!**")
+        
+        with gr.Row():
+            with gr.Column():
+                input_text = gr.Textbox(
+                    label="📝 متن ورودی",
+                    placeholder="متن خبری یا مالی خود را اینجا بنویسید...",
+                    lines=12,
+                    elem_classes="rtl"
+                )
+                
+                with gr.Row():
+                    clear_btn = gr.Button("🗑️ پاک کردن", size="sm")
+                    anonymize_btn = gr.Button("🔒 ناشناس‌سازی", variant="primary", size="lg")
+            
+            with gr.Column():
+                output_text = gr.Textbox(
+                    label="🎯 متن ناشناس‌سازی شده",
+                    lines=12,
+                    elem_classes="rtl"
+                )
+                
+                copy_btn = gr.Button("📋 کپی خروجی", size="sm")
+        
+        info_output = gr.Markdown(label="📊 اطلاعات")
+        
+        def process_text(text: str):
+            """پردازش متن"""
+            if not text or not text.strip():
+                return "", "❌ لطفاً متنی وارد کنید"
+            
+            try:
+                anonymizer = AdvancedOpenRouterAnonymizer()
+                result = anonymizer.anonymize_text(text)
+                
+                if not result["success"]:
+                    return "", f"❌ **خطا:**\n\n{result['error']}"
+                
+                stats = result.get("statistics", {})
+                usage = result.get("usage", {})
+                model = result.get("model_used", "unknown")
+                entities = result.get("entities", {})
+                
+                # آمار جزئی
+                entities_detail = []
+                if entities.get("companies"):
+                    entities_detail.append(f"🏢 شرکت‌ها: {', '.join([f'company-{i}' for i in entities['companies']])}")
+                if entities.get("persons"):
+                    entities_detail.append(f"👤 اشخاص: {', '.join([f'person-{i}' for i in entities['persons']])}")
+                if entities.get("amounts"):
+                    entities_detail.append(f"💰 مبالغ: {', '.join([f'amount-{i}' for i in entities['amounts']])}")
+                if entities.get("percents"):
+                    entities_detail.append(f"📊 درصدها: {', '.join([f'percent-{i}' for i in entities['percents']])}")
+                
+                entities_text = "\n- ".join(entities_detail) if entities_detail else "هیچ موجودیتی یافت نشد"
+                
+                info_md = f"""
+## ✅ ناشناس‌سازی موفق!
+
+### 📊 خلاصه آمار:
+- **🏢 شرکت‌ها:** {stats.get('company', 0)}
+- **👤 اشخاص:** {stats.get('person', 0)}
+- **💰 مبالغ:** {stats.get('amount', 0)}
+- **📊 درصدها:** {stats.get('percent', 0)}
+- **🔢 کل جایگزینی‌ها:** {stats.get('total', 0)}
+
+### 🔍 موجودیت‌های شناسایی شده:
+- {entities_text}
+
+### ⚙️ تنظیمات فنی:
+- 🤖 **مدل:** `{model}`
+- 📊 **Tokens:** {usage.get('total_tokens', 0)} (ورودی: {usage.get('prompt_tokens', 0)}, خروجی: {usage.get('completion_tokens', 0)})
+- 🆓 **هزینه:** رایگان
+                """
+                
+                return result["anonymized_text"], info_md
+                
+            except Exception as e:
+                return "", f"❌ **خطای غیرمنتظره:**\n\n```\n{str(e)}\n```"
+        
+        def clear_all():
+            return "", "", ""
+        
+        # Event handlers
+        anonymize_btn.click(
+            fn=process_text,
+            inputs=[input_text],
+            outputs=[output_text, info_output]
+        )
+        
+        clear_btn.click(
+            fn=clear_all,
+            outputs=[input_text, output_text, info_output]
+        )
+        
+        # مثال‌ها
+        with gr.Accordion("📚 مثال‌های آماده", open=False):
+            gr.Examples(
+                examples=[
+                    ["همراه اول با سهمی ۵۳ درصدی بیشترین نقش را در بازار دارد."],
+                    ["ایران خودرو در اسفند 1402 حدود 23 هزار و 296 میلیارد تومان درآمد کسب کرد که 4.58 درصد افزایش نسبت به سال قبل داشت."],
+                    ["علی محمدی مدیرعامل بانک ملت اعلام کرد که این بانک سود 15 درصدی داشته و 500 میلیون تومان سرمایه‌گذاری جدید انجام داده است."],
+                    ["فولاد مبارکه اصفهان با نماد فاما در بورس، رشد 8.5 درصدی قیمت سهام را تجربه کرد و به ارزش 12 هزار میلیارد تومان رسید."]
+                ],
+                inputs=input_text,
+                label="مثال‌ها - روی هر کدام کلیک کنید"
+            )
+        
+        # راهنما
+        with gr.Accordion("📖 راهنمای استفاده", open=False):
+            gr.Markdown("""
+            ## چگونه استفاده کنیم؟
+            
+            1. **متن ورودی را وارد کنید**: متن خبری یا مالی فارسی
+            2. **کلیک روی ناشناس‌سازی**: سیستم خودکار موجودیت‌ها را شناسایی می‌کند
+            3. **مشاهده نتیجه**: متن ناشناس‌سازی شده + آمار کامل
+            
+            ## انواع موجودیت‌ها:
+            - **company-XX**: نام شرکت‌ها، بانک‌ها، سازمان‌ها
+            - **person-XX**: نام و نام خانوادگی افراد
+            - **amount-XX**: مبالغ مالی (با حفظ واحد)
+            - **percent-XX**: اعداد درصد (با حفظ علامت %)
+            
+            ## نکات مهم:
+            - ✅ تاریخ‌ها و زمان‌ها حفظ می‌شوند
+            - ✅ واحدهای پولی (تومان، میلیارد، ...) حفظ می‌شوند
+            - ✅ اعداد عمومی (مثل "سه شرکت") تغییر نمی‌کنند
+            - ✅ اندیس‌گذاری از 01 شروع می‌شود و پیوسته است
+            """)
     
-    except Exception as e:
-        print(f"❌ خطا: {str(e)}")
+    return interface
 
 if __name__ == "__main__":
-    print("🔍 OpenRouter Connection Debugger")
-    print("="*60)
-    
-    # تست اتصال
-    working_model = test_openrouter_connection()
-    
-    # دریافت لیست مدل‌ها
-    # get_available_models()
-    
-    if working_model:
-        print(f"\n\n✅ مدل کاری: {working_model}")
-        print("این را در کد اصلی استفاده کنید!")
+    interface = create_interface()
+    interface.launch()