Update app.py

app.py

@@ -1,354 +1,136 @@
 """
-ناشناس‌ساز پیشرفته متون مالی/خبری فارسی
-قدرت‌گرفته از OpenRouter AI - Qwen3-14B
-نسخه: 1.0.1 (Fixed)
+OpenRouter API Debug & Test Script
+این اسکریپت مشکلات احتمالی را تشخیص می‌دهد
 """
 
 import requests
 import json
-import gradio as gr
-from typing import Dict, Any
 import os
-from dataclasses import dataclass
-import re
 
-@dataclass
-class OpenRouterConfig:
-    """تنظیمات OpenRouter API برای Qwen3-14B"""
-    api_key: str
-    base_url: str = "https://openrouter.ai/api/v1"
-    # ✅ نام مدل صحیح - بدون :free
-    model: str = "qwen/qwen-2.5-14b-instruct"
-    max_tokens: int = 16384
-    temperature: float = 0.6
-    top_p: float = 0.85
-
-class AdvancedOpenRouterAnonymizer:
-    """سیستم پیشرفته ناشناس‌سازی با OpenRouter"""
+def test_openrouter_connection():
+    """تست اتصال به OpenRouter"""
     
-    def __init__(self, api_key: str = None):
-        if api_key is None:
-            api_key = os.getenv("OPENROUTER_API_KEY")
-            if not api_key:
-                raise ValueError("کلید API یافت نشد - لطفاً در Settings تنظیم کنید")
-        
-        self.config = OpenRouterConfig(api_key=api_key)
-        self.system_prompt = self._create_advanced_system_prompt()
+    api_key = os.getenv("OPENROUTER_API_KEY")
     
-    def _create_advanced_system_prompt(self) -> str:
-        """ایجاد دستورالعمل سیستمی پیشرفته"""
-        return """شما یک «ناشناس‌ساز متون مالی/خبری فارسی» هستید.
-
-## قوانین اندیس‌گذاری:
-1. **ترتیب پیوسته**: company-01, company-02, ... | person-01, person-02, ... | amount-01, amount-02, ... | percent-01, percent-02, ...
-2. **ثبات**: اگر "همراه اول" → company-01 شد، در تمام متن همان باشد
-3. **نام مستعار**: "فاما" = "فولاد مبارکه" → هر دو company-01
-4. **اشاره ضمنی**: "این شرکت" اگر به company-01 اشاره دارد → company-01
-
-## انواع موجودیت:
-- **company-XX**: شرکت‌ها، بانک‌ها، سازمان‌ها، گروه‌ها
-- **person-XX**: نام و نام خانوادگی اشخاص  
-- **amount-XX**: مبالغ (واحد را حفظ کن)
-- **percent-XX**: درصدها
-
-## قوانین کلیدی:
-1. بازرس = شرکت است → company-XX
-2. واحدها: "amount-01 میلیارد تومان" ✅
-3. کلمات عمومی حفظ: "سه شرکت" → حفظ
-4. تمام اعداد را شناسایی کن
-5. درصدها را شناسایی کن
-
-## مثال:
-ورودی: ایران خودرو در اسفند 1402 حدود 23 هزار و 296 میلیارد درآمد کسب کرد که 4.58 درصد افزایش داشت.
-خروجی: company-01 در اسفند 1402 حدود amount-01 درآمد کسب کرد که percent-01 افزایش داشت.
-
-⚠️ فقط متن ناشناس‌شده، بدون توضیح اضافی."""
-
-    def _make_api_request(self, text: str) -> Dict[str, Any]:
-        """ارسال درخواست به OpenRouter API"""
-        
-        print(f"🔍 Debug: Using model = {self.config.model}")
+    if not api_key:
+        print("❌ کلید API یافت نشد!")
+        print("لطفاً OPENROUTER_API_KEY را در Settings تنظیم کنید")
+        return
+    
+    print(f"✅ API Key موجود است (طول: {len(api_key)})")
+    print(f"🔑 شروع کلید: {api_key[:10]}...")
+    
+    # لیست مدل‌های رایگان مختلف برای تست
+    models_to_test = [
+        "qwen/qwen-2.5-7b-instruct:free",
+        "meta-llama/llama-3.2-3b-instruct:free",
+        "microsoft/phi-3-mini-128k-instruct:free",
+        "google/gemini-2.0-flash-exp:free",
+        "qwen/qwen-2.5-14b-instruct:free"
+    ]
+    
+    url = "https://openrouter.ai/api/v1/chat/completions"
+    
+    test_message = "سلام"
+    
+    for model in models_to_test:
+        print(f"\n{'='*60}")
+        print(f"🧪 تست مدل: {model}")
+        print(f"{'='*60}")
         
-        # ✅ Headers ساده‌شده
         headers = {
-            "Authorization": f"Bearer {self.config.api_key}",
-            "Content-Type": "application/json",
+            "Authorization": f"Bearer {api_key}",
+            "Content-Type": "application/json"
         }
         
-        # ✅ Payload ساده‌شده
         payload = {
-            "model": self.config.model,
+            "model": model,
             "messages": [
-                {"role": "system", "content": self.system_prompt},
-                {"role": "user", "content": text}
+                {"role": "user", "content": test_message}
             ],
-            "temperature": self.config.temperature,
-            "top_p": self.config.top_p,
-            "max_tokens": self.config.max_tokens
+            "max_tokens": 100
         }
         
-        full_url = f"{self.config.base_url}/chat/completions"
-        
         try:
-            response = requests.post(
-                full_url,
-                headers=headers,
-                json=payload,
-                timeout=90
-            )
+            print("📡 در حال ارسال درخواست...")
+            response = requests.post(url, headers=headers, json=payload, timeout=30)
             
-            print(f"📡 Response Status: {response.status_code}")
+            print(f"📊 Status Code: {response.status_code}")
             
-            # ✅ نمایش پاسخ کامل در صورت خطا
-            if response.status_code != 200:
-                print(f"❌ Error Response: {response.text}")
-            
-            response.raise_for_status()
-            return response.json()
-            
-        except requests.exceptions.HTTPError as e:
-            error_detail = response.text if response else 'No response'
-            print(f"❌ HTTP Error Details: {error_detail}")
-            
-            # پیام خطای بهتر
-            try:
-                error_json = json.loads(error_detail)
-                error_msg = error_json.get('error', {}).get('message', str(e))
-            except:
-                error_msg = str(e)
-            
-            raise Exception(f"خطا در OpenRouter: {error_msg}")
+            if response.status_code == 200:
+                print("✅ موفق!")
+                result = response.json()
+                content = result['choices'][0]['message']['content']
+                print(f"📝 پاسخ: {content[:100]}...")
+                print(f"💰 Usage: {result.get('usage', {})}")
+                print(f"\n🎉 این مدل کار می‌کند: {model}")
+                return model
+            else:
+                print(f"❌ خطا!")
+                print(f"📄 پاسخ سرور:")
+                try:
+                    error_data = response.json()
+                    print(json.dumps(error_data, indent=2, ensure_ascii=False))
+                except:
+                    print(response.text)
         
-        except requests.exceptions.RequestException as e:
-            raise Exception(f"خطای شبکه: {str(e)}")
-    
-    def anonymize_text(self, text: str) -> Dict[str, Any]:
-        """ناشناس‌سازی متن"""
-        if not text.strip():
-            return {
-                "success": False,
-                "error": "متن ورودی خالی است"
-            }
-        
-        try:
-            response = self._make_api_request(text)
-            
-            if "choices" not in response or not response["choices"]:
-                return {
-                    "success": False,
-                    "error": "پاسخ نامعتبر از API"
-                }
-            
-            content = response["choices"][0]["message"]["content"]
-            content = self._clean_markdown(content)
-            content = content.strip()
-            
-            analysis = self._analyze_anonymized_text(content)
-            
-            return {
-                "success": True,
-                "anonymized_text": content,
-                "entities": analysis["entities"],
-                "statistics": analysis["statistics"],
-                "detailed_analysis": analysis["detailed_analysis"],
-                "usage": response.get("usage", {}),
-                "quality_check": self._validate_anonymized_text(content)
-            }
-                
         except Exception as e:
-            return {
-                "success": False,
-                "error": f"خطا در پردازش: {str(e)}"
-            }
-    
-    def _clean_markdown(self, content: str) -> str:
-        """پاک کردن markdown از پاسخ"""
-        if "```" in content:
-            lines = content.split('\n')
-            clean_lines = []
-            skip = False
-            for line in lines:
-                if line.strip().startswith('```'):
-                    skip = not skip
-                    continue
-                if not skip:
-                    clean_lines.append(line)
-            content = '\n'.join(clean_lines)
-        return content
-    
-    def _analyze_anonymized_text(self, text: str) -> Dict[str, Any]:
-        """تحلیل متن ناشناس‌سازی شده"""
-        companies = re.findall(r'company-(\d+)', text)
-        persons = re.findall(r'person-(\d+)', text)
-        amounts = re.findall(r'amount-(\d+)', text)
-        percents = re.findall(r'percent-(\d+)', text)
-        
-        statistics = {
-            "company": len(set(companies)),
-            "person": len(set(persons)),
-            "amount": len(set(amounts)),
-            "percent": len(set(percents)),
-            "total_replacements": len(companies) + len(persons) + len(amounts) + len(percents)
-        }
-        
-        entities = {
-            "companies": sorted(list(set(companies)), key=lambda x: int(x)),
-            "persons": sorted(list(set(persons)), key=lambda x: int(x)),
-            "amounts": sorted(list(set(amounts)), key=lambda x: int(x)),
-            "percents": sorted(list(set(percents)), key=lambda x: int(x))
-        }
-        
-        detailed_analysis = {
-            "preserved_dates": len(re.findall(r'\d{4}/\d{1,2}/\d{1,2}|\d{1,2}\s+\w+\s+\d{4}', text)),
-            "preserved_times": len(re.findall(r'\d{1,2}:\d{2}', text)),
-            "financial_indicators": len(re.findall(r'\b(EPS|P/E|ARPU|NPL|ROE|ROA)\b', text)),
-            "units_preserved": len(re.findall(r'(میلیارد|میلیون|هزار|تومان|ریال|درهم|دلار|یورو|تن|کیلوگرم)', text))
-        }
-        
-        return {
-            "statistics": statistics,
-            "entities": entities,
-            "detailed_analysis": detailed_analysis
-        }
+            print(f"❌ Exception: {str(e)}")
     
-    def _validate_anonymized_text(self, text: str) -> Dict[str, Any]:
-        """اعتبارسنجی"""
-        companies = re.findall(r'company-(\d+)', text)
-        persons = re.findall(r'person-(\d+)', text)
-        amounts = re.findall(r'amount-(\d+)', text)
-        percents = re.findall(r'percent-(\d+)', text)
-        
-        validation_issues = []
-        
-        for entity_type, indices in [
-            ("company", companies),
-            ("person", persons),
-            ("amount", amounts),
-            ("percent", percents)
-        ]:
-            if indices:
-                unique_indices = sorted(list(set([int(x) for x in indices])))
-                if unique_indices[0] != 1:
-                    validation_issues.append(f"اندیس {entity_type} از 01 شروع نشده")
-                
-                expected = list(range(1, len(unique_indices) + 1))
-                if unique_indices != expected:
-                    validation_issues.append(f"اندیس‌های {entity_type} پیوسته نیستند")
-        
-        return {
-            "is_valid": len(validation_issues) == 0,
-            "issues": validation_issues,
-            "entity_counts": {
-                "company": len(set(companies)),
-                "person": len(set(persons)),
-                "amount": len(set(amounts)),
-                "percent": len(set(percents))
-            }
-        }
+    print("\n" + "="*60)
+    print("❌ هیچ مدلی کار نکرد!")
+    print("\n💡 راهنمایی:")
+    print("1. بررسی کنید کلید API معتبر است")
+    print("2. به https://openrouter.ai/keys بروید و کلید جدید بگیرید")
+    print("3. مطمئن شوید کردیت کافی دارید")
+    print("4. لیست مدل‌های موجود: https://openrouter.ai/docs/models")
 
-def create_advanced_interface():
-    """ایجاد رابط کاربری"""
+def get_available_models():
+    """لیست مدل‌های موجود"""
+    api_key = os.getenv("OPENROUTER_API_KEY")
     
-    api_key_available = bool(os.getenv("OPENROUTER_API_KEY"))
+    if not api_key:
+        print("❌ کلید API یافت نشد!")
+        return
     
-    with gr.Blocks(title="ناشناس‌ساز با Qwen3-14B", theme=gr.themes.Soft()) as interface:
-        
-        gr.Markdown("""
-        # 🔒 ناشناس‌ساز پیشرفته متون فارسی
-        ### 🚀 مدل: Qwen 2.5 14B Instruct (OpenRouter)
-        """)
-        
-        if api_key_available:
-            gr.Markdown("✅ **سیستم آماده است**")
-        else:
-            gr.Markdown("""
-            ⚠️ **کلید API تنظیم نشده**
-            
-            لطفاً در Settings یک Secret با نام `OPENROUTER_API_KEY` اضافه کنید.
-            
-            دریافت کلید رایگان: https://openrouter.ai/keys
-            """)
-        
-        with gr.Row():
-            with gr.Column():
-                input_text = gr.Textbox(
-                    label="📝 متن ورودی",
-                    placeholder="متن خود را وارد کنید...",
-                    lines=10,
-                    rtl=True
-                )
-                anonymize_btn = gr.Button("🔒 ناشناس‌سازی", variant="primary")
-            
-            with gr.Column():
-                output_text = gr.Textbox(
-                    label="🎯 متن ناشناس‌سازی شده",
-                    lines=10,
-                    rtl=True
-                )
-        
-        statistics_output = gr.Markdown(label="📊 آمار")
-        usage_output = gr.Markdown(label="⚡ اطلاعات پردازش")
-        
-        def process_text(text: str):
-            """پردازش متن"""
-            if not text or not text.strip():
-                return "", "❌ متن ورودی خالی است", ""
-            
-            try:
-                anonymizer = AdvancedOpenRouterAnonymizer()
-                result = anonymizer.anonymize_text(text)
-                
-                if not result["success"]:
-                    return "", f"❌ خطا: {result['error']}", ""
-                
-                # آمار
-                stats = result.get("statistics", {})
-                stats_md = f"""
-## 📊 آمار کلی:
-- 🏢 شرکت‌ها: {stats.get('company', 0)}
-- 👤 اشخاص: {stats.get('person', 0)}
-- 💰 مبالغ: {stats.get('amount', 0)}
-- 📊 درصدها: {stats.get('percent', 0)}
-- 🔢 کل جایگزینی‌ها: {stats.get('total_replacements', 0)}
-                """
-                
-                # اطلاعات پردازش
-                usage = result.get("usage", {})
-                usage_md = f"""
-## ⚡ اطلاعات پردازش:
-- 🤖 مدل: Qwen 2.5 14B Instruct
-- 📥 ورودی: {usage.get('prompt_tokens', 0)} tokens
-- 📤 خروجی: {usage.get('completion_tokens', 0)} tokens
-- 📊 کل: {usage.get('total_tokens', 0)} tokens
-                """
-                
-                return (
-                    result["anonymized_text"],
-                    stats_md,
-                    usage_md
-                )
-                
-            except Exception as e:
-                return "", f"❌ خطا: {str(e)}", ""
+    print("\n📋 در حال دریافت لیست مدل‌ها...")
+    
+    try:
+        headers = {
+            "Authorization": f"Bearer {api_key}"
+        }
         
-        anonymize_btn.click(
-            fn=process_text,
-            inputs=[input_text],
-            outputs=[output_text, statistics_output, usage_output]
+        response = requests.get(
+            "https://openrouter.ai/api/v1/models",
+            headers=headers,
+            timeout=30
         )
         
-        # مثال‌ها
-        gr.Examples(
-            examples=[
-                ["همراه اول با سهمی ۵۳ درصدی بیشترین نقش را دارد."],
-                ["ایران خودرو حدود 23 هزار میلیارد درآمد کسب کرد."],
-                ["علی محمدی مدیرعامل بانک ملت گفت که سود 15 درصدی داشته‌اند."]
-            ],
-            inputs=input_text
-        )
+        if response.status_code == 200:
+            models = response.json()
+            free_models = [m for m in models.get('data', []) if ':free' in m.get('id', '')]
+            
+            print(f"\n✅ تعداد مدل‌های رایگان: {len(free_models)}")
+            print("\n🆓 مدل‌های رایگان موجود:")
+            for model in free_models[:20]:
+                print(f"  - {model['id']}")
+        else:
+            print(f"❌ خطا: {response.status_code}")
+            print(response.text)
     
-    return interface
+    except Exception as e:
+        print(f"❌ خطا: {str(e)}")
 
 if __name__ == "__main__":
-    interface = create_advanced_interface()
-    interface.launch()
+    print("🔍 OpenRouter Connection Debugger")
+    print("="*60)
+    
+    # تست اتصال
+    working_model = test_openrouter_connection()
+    
+    # دریافت لیست مدل‌ها
+    # get_available_models()
+    
+    if working_model:
+        print(f"\n\n✅ مدل کاری: {working_model}")
+        print("این را در کد اصلی استفاده کنید!")