ui-enhancement

app1.py

@@ -0,0 +1,534 @@
+import gradio as gr
+import re
+import os
+import requests
+import json
+import logging
+from typing import Dict, List, Tuple
+from llm_sender_unified import create_llm_sender, AVAILABLE_MODELS  # ✅ import ماژول جدید
+
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+class AnonymizerAdvanced:
+    """ناشناس‌ساز پیشرفته با روش‌های متعدد"""
+    
+    def __init__(self, cerebras_key: str = None, llm_provider: str = "chatgpt", llm_model: str = None):
+        self.cerebras_key = cerebras_key or os.getenv("CEREBRAS_API_KEY")
+        self.llm_provider = llm_provider
+        self.llm_model = llm_model
+        self.mapping_table = {}  # {placeholder: original_text}
+        self.reverse_mapping = {}  # {original_text: placeholder}
+        
+        # ✅ ایجاد LLM sender بر اساس provider انتخابی
+        self._create_llm_sender()
+        
+        logger.info(f"✅ Anonymizer Advanced مقداردهی شد با {llm_provider}")
+    
+    def _create_llm_sender(self):
+        """ایجاد LLM sender مناسب"""
+        try:
+            # گرفتن API key مناسب
+            if self.llm_provider == "chatgpt":
+                api_key = os.getenv("OPENAI_API_KEY")
+            elif self.llm_provider == "grok":
+                api_key = os.getenv("XAI_API_KEY")
+            else:
+                api_key = None
+            
+            # ایجاد sender
+            self.llm_sender = create_llm_sender(
+                provider=self.llm_provider,
+                api_key=api_key,
+                model=self.llm_model
+            )
+            
+            logger.info(f"✅ LLM Sender ایجاد شد: {self.llm_provider} - {self.llm_sender.model}")
+            
+        except Exception as e:
+            logger.error(f"❌ خطا در ایجاد LLM Sender: {e}")
+            # fallback to ChatGPT
+            self.llm_sender = create_llm_sender("chatgpt")
+
+    def set_llm_provider(self, provider: str, model: str = None):
+        """تغییر provider و مدل LLM"""
+        self.llm_provider = provider
+        self.llm_model = model
+        self._create_llm_sender()
+        logger.info(f"✅ LLM تغییر یافت به: {provider} - {model}")
+
+    def anonymize_with_cerebras(self, text: str) -> Tuple[str, Dict]:
+        """ناشناس‌سازی با Cerebras - دریافت mapping از مدل"""
+        logger.info("🧠 روش Cerebras...")
+        
+        if not self.cerebras_key:
+            logger.error("❌ Cerebras API Key موجود نیست")
+            raise ValueError("Cerebras API Key مورد نیاز است")
+        
+        try:
+            # مرحله 1: ناشناس‌سازی متن
+            prompt1 = f"""متن زیر را ناشناس کنید. قوانین:
+1. اسامی اشخاص → person-01, person-02, ...
+2. نام شرکت‌ها/سازمان‌ها → company-01, company-02, ...
+3. مقادیر پولی → amount-01, amount-02, ...
+4. درصدها → percent-01, percent-02, ...
+5. فقط این توکن‌ها استفاده کنید
+6. شماره‌های نسخه را درست حفظ کنید
+7. اگر موجودیت تکرار شود از شماره قدیمی استفاده کنید
+
+متن:
+{text}
+
+خروجی: فقط متن ناشناس شده"""
+            
+            response1 = requests.post(
+                "https://api.cerebras.ai/v1/chat/completions",
+                headers={
+                    "Authorization": f"Bearer {self.cerebras_key}",
+                    "Content-Type": "application/json"
+                },
+                json={
+                    "model": "llama-3.3-70b",
+                    "messages": [{"role": "user", "content": prompt1}],
+                    "max_tokens": 4096,
+                    "temperature": 0.1
+                },
+                timeout=60
+            )
+            
+            if response1.status_code != 200:
+                logger.error(f"❌ Cerebras Error: {response1.status_code}")
+                raise Exception(f"Cerebras API Error: {response1.status_code}")
+            
+            anonymized_text = response1.json()['choices'][0]['message']['content'].strip()
+            logger.info("✅ Cerebras: ناشناس‌سازی موفق")
+            
+            # مرحله 2: استخراج mapping از مدل
+            prompt2 = f"""متن اصلی:
+{text}
+
+متن ناشناس شده:
+{anonymized_text}
+
+لطفاً یک جدول mapping برای همه توکن‌های ناشناس ایجاد کن.
+برای هر توکن، متن اصلی کامل آن را مشخص کن.
+
+**مهم:** 
+- برای person-XX: نام کامل شخص (مثلاً "علی احمدی")
+- برای company-XX: نام کامل شرکت/سازمان (مثلاً "شرکت پتروشیمی")
+- برای amount-XX: عدد + واحد (مثلاً "80 هزار تومان" یا "50 میلیارد ریال")
+- برای percent-XX: عدد + کلمه "درصد" (مثلاً "40 درصد" نه فقط "40")
+
+خروجی را به این فرمت JSON بده (فقط JSON، بدون توضیح اضافی):
+{{
+  "person-01": "متن اصلی کامل",
+  "company-01": "متن اصلی کامل",
+  "amount-01": "متن اصلی کامل با واحد",
+  "percent-01": "عدد + درصد",
+  ...
+}}"""
+            
+            response2 = requests.post(
+                "https://api.cerebras.ai/v1/chat/completions",
+                headers={
+                    "Authorization": f"Bearer {self.cerebras_key}",
+                    "Content-Type": "application/json"
+                },
+                json={
+                    "model": "llama-3.3-70b",
+                    "messages": [{"role": "user", "content": prompt2}],
+                    "max_tokens": 2048,
+                    "temperature": 0.1
+                },
+                timeout=60
+            )
+            
+            if response2.status_code == 200:
+                mapping_text = response2.json()['choices'][0]['message']['content'].strip()
+                
+                # پاک‌سازی و parse کردن JSON
+                # حذف markdown code blocks اگر وجود داشته باشه
+                mapping_text = mapping_text.replace('```json', '').replace('```', '').strip()
+                
+                try:
+                    self.mapping_table = json.loads(mapping_text)
+                    
+                    # پست-پروسسینگ: اصلاح mapping برای percent ها
+                    self._fix_percent_mapping()
+                    
+                    # ساخت reverse mapping
+                    self.reverse_mapping = {v: k for k, v in self.mapping_table.items()}
+                    logger.info(f"✅ Mapping استخراج شد: {len(self.mapping_table)} موجودیت")
+                except json.JSONDecodeError:
+                    logger.warning("⚠️ خطا در parse کردن JSON mapping - استفاده از روش fallback")
+                    self._extract_mapping_from_text(text, anonymized_text)
+            else:
+                logger.warning("⚠️ خطا در دریافت mapping - استفاده از روش fallback")
+                self._extract_mapping_from_text(text, anonymized_text)
+            
+            return anonymized_text, self.mapping_table
+                
+        except Exception as e:
+            logger.error(f"❌ Cerebras Exception: {e}")
+            raise
+    
+    def _fix_percent_mapping(self):
+        """اصلاح mapping برای درصدها و مقادیر - اضافه کردن واحدها اگر فقط عدد باشد"""
+        for token, value in self.mapping_table.items():
+            value_str = str(value).strip()
+            
+            if token.startswith('percent-'):
+                # چک کنیم آیا کلمه "درصد" یا "%" در value هست
+                if not re.search(r'(درصد|%|درصدی)', value_str):
+                    # فقط عدد هست، کلمه "درصد" رو اضافه کن
+                    self.mapping_table[token] = f"{value_str} درصد"
+                    logger.info(f"✅ اصلاح {token}: '{value_str}' → '{value_str} درصد'")
+            
+            elif token.startswith('amount-'):
+                # چک کنیم آیا واحد پولی در value هست
+                if not re.search(r'(میلیارد|میلیون|هزار|تومان|ریال|دلار|یورو|تن)', value_str):
+                    # فقط عدد هست، احتمالاً باید واحد اضافه بشه
+                    # اما نمی‌دونیم چه واحدی، پس warning بده
+                    logger.warning(f"⚠️ {token}: فقط عدد '{value_str}' - واحد مشخص نیست")
+
+    def _extract_mapping_from_text(self, original: str, anonymized: str):
+        """استخراج mapping از متن‌های اصلی و ناشناس شده - نسخه بهبود یافته"""
+        
+        # استخراج همه توکن‌های ناشناس از متن ناشناس‌سازی شده
+        all_tokens = []
+        for entity_type in ['person', 'company', 'amount', 'percent']:
+            tokens = re.findall(f'{entity_type}-\\d+', anonymized)
+            all_tokens.extend([(t, entity_type) for t in tokens])
+        
+        # حذف تکراری‌ها و مرتب‌سازی
+        all_tokens = sorted(set(all_tokens), key=lambda x: (x[1], int(x[0].split('-')[1])))
+        
+        # الگوهای موجودیت در متن اصلی
+        patterns = {
+            'person': r'\b[ء-ي]+\s+[ء-ي]+(?:\s+[ء-ي]+)*\b',
+            'company': r'(?:شرکت|بانک|سازمان|گروه|هلدینگ)\s+[ء-ي]+(?:\s+[ء-ي]+)*',
+            'amount': r'\d+(?:\.\d+)?\s*(?:میلیارد|میلیون|هزار|تومان|ریال|دلار|یورو|تن)',
+            'percent': r'\d+(?:\.\d+)?\s*(?:درصد|%|درصدی)',
+        }
+        
+        # استخراج موجودیت‌های اصلی
+        original_entities = {}
+        for entity_type, pattern in patterns.items():
+            matches = list(re.finditer(pattern, original))
+            original_entities[entity_type] = [m.group().strip() for m in matches]
+        
+        # نگاشت توکن‌ها به موجودیت‌های اصلی
+        for token, entity_type in all_tokens:
+            if entity_type in original_entities and original_entities[entity_type]:
+                # گرفتن شماره توکن (مثلاً از person-01 عدد 1 رو میگیریم)
+                token_num = int(token.split('-')[1]) - 1
+                
+                if token_num < len(original_entities[entity_type]):
+                    original_text = original_entities[entity_type][token_num]
+                    self.mapping_table[token] = original_text
+                    self.reverse_mapping[original_text] = token
+                else:
+                    # اگر شماره توکن بیشتر از تعداد موجودیت‌ها بود
+                    # از آخرین موجودیت استفاده کن
+                    original_text = original_entities[entity_type][-1]
+                    if token not in self.mapping_table:
+                        self.mapping_table[token] = original_text
+                        self.reverse_mapping[original_text] = token
+    
+    def analyze_with_llm(self, anonymized_text: str, analysis_prompt: str = None) -> str:
+        """
+        ✅ استفاده از LLM یکپارچه (ChatGPT یا Grok)
+        اجرای پرامپت‌های درون متن ناشناس‌سازی شده
+        """
+        logger.info(f"🤖 {self.llm_provider.upper()} اجرای پرامپت...")
+        
+        # اگر پرامپتی نیست، فقط متن ناشناس‌سازی شده برگردان
+        if not analysis_prompt or not analysis_prompt.strip():
+            logger.info("⚠️  پرامپت خالی - بدون تحلیل")
+            return "⚠️ هیچ دستور تحلیل داده نشده است"
+        
+        # ترکیب متن ناشناس‌سازی شده + پرامپت کاربر
+        combined_text = f"""متن ناشناس‌سازی شده:
+{anonymized_text}
+
+دستورات:
+{analysis_prompt}
+
+توجه: در پاسخ از همان کدهای ناشناس (person-XX, company-XX, amount-XX, percent-XX) استفاده کن."""
+        
+        try:
+            # ✅ ارسال به LLM انتخابی
+            response = self.llm_sender.send_simple(combined_text, lang='fa')
+            
+            logger.info(f"✅ {self.llm_provider.upper()}: {len(response)} کاراکتر")
+            return response
+            
+        except Exception as e:
+            logger.error(f"❌ {self.llm_provider.upper()} Exception: {e}")
+            return f"❌ خطا در ارتباط با {self.llm_provider.upper()}: {str(e)}"
+    
+    def restore_text(self, anonymized_text: str) -> str:
+        """بازگردانی متن ناشناس‌سازی شده به اصلی"""
+        logger.info("🔄 بازگردانی متن...")
+        
+        if not self.mapping_table:
+            logger.warning("⚠️ جدول نگاشت خالی است")
+            return anonymized_text
+        
+        restored = anonymized_text
+        
+        # جایگزینی placeholder ها با متن اصلی
+        for placeholder, original in sorted(self.mapping_table.items()):
+            restored = restored.replace(placeholder, original)
+        
+        logger.info("✅ بازگردانی کامل")
+        return restored
+    
+    def get_mapping_table_md(self) -> str:
+        """تبدیل جدول نگاشت به Markdown"""
+        if not self.mapping_table:
+            return "### 📋 جدول نگاشت\n\nهیچ موجودیتی شناسایی نشد"
+        
+        table = "### 📋 جدول نگاشت\n\n"
+        table += "| شناسه | متن اصلی |\n"
+        table += "|-------|----------|\n"
+        
+        for token, original in sorted(self.mapping_table.items()):
+            table += f"| **{token}** | {original} |\n"
+        
+        return table
+
+# متغیر سراسری
+anonymizer = None
+
+def process(
+    input_text: str, 
+    analysis_prompt: str, 
+    llm_provider: str, 
+    llm_model: str
+):
+    """پردازش متن - 4 مرحله"""
+    global anonymizer
+    
+    if not input_text.strip():
+        return "", "", "", ""
+    
+    cerebras_key = os.getenv("CEREBRAS_API_KEY")
+    
+    # ✅ ایجاد یا آپدیت anonymizer با provider و model جدید
+    if not anonymizer:
+        anonymizer = AnonymizerAdvanced(
+            cerebras_key, 
+            llm_provider=llm_provider,
+            llm_model=llm_model
+        )
+    else:
+        # آپدیت provider و model
+        anonymizer.set_llm_provider(llm_provider, llm_model)
+        anonymizer.mapping_table = {}
+        anonymizer.reverse_mapping = {}
+    
+    try:
+        logger.info("=" * 70)
+        logger.info(f"🚀 ��روع پردازش - LLM: {llm_provider} ({llm_model})")
+        logger.info("=" * 70)
+        
+        # مرحله 1: ناشناس‌سازی
+        logger.info("📝 مرحله 1: ناشناس‌سازی...")
+        anonymized_text, _ = anonymizer.anonymize_with_cerebras(input_text)
+        logger.info(f"✅ ناشناس‌سازی: {len(anonymized_text)} کاراکتر")
+        
+        # مرحله 2: LLM با متن ناشناس‌سازی شده + دستورات
+        logger.info(f"🤖 مرحله 2: {llm_provider.upper()}...")
+        llm_response = anonymizer.analyze_with_llm(anonymized_text, analysis_prompt)
+        logger.info(f"✅ {llm_provider.upper()}: {len(llm_response)} کاراکتر")
+        
+        # مرحله 3: بازگردانی پاسخ LLM
+        logger.info("🔄 مرحله 3: بازگردانی...")
+        restored_text = anonymizer.restore_text(llm_response)
+        logger.info("✅ بازگردانی کامل")
+        
+        # مرحله 4: جدول نگاشت
+        logger.info("📋 مرحله 4: جدول نگاشت...")
+        mapping_str = anonymizer.get_mapping_table_md()
+        logger.info(f"✅ {len(anonymizer.mapping_table)} موجودیت")
+        
+        logger.info("=" * 70)
+        logger.info("✅ تمام مراحل کامل!")
+        logger.info("=" * 70)
+        
+        return restored_text, llm_response, anonymized_text, mapping_str
+        
+    except Exception as e:
+        logger.error(f"❌ خطا: {str(e)}", exc_info=True)
+        return "", f"❌ خطا: {str(e)}", "", ""
+
+def clear_all():
+    """پاک کردن همه"""
+    return "", "", "", "", "", ""
+
+def update_model_choices(provider: str):
+    """آپدیت لیست مدل‌ها بر اساس provider انتخابی"""
+    models = AVAILABLE_MODELS.get(provider, [])
+    return gr.Dropdown(choices=models, value=models[0] if models else None)
+
+# Gradio Interface
+css_rtl = """
+.input-box { direction: rtl; text-align: right; }
+.textbox textarea { direction: rtl; text-align: right; font-family: 'Tahoma', serif; }
+"""
+
+with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.themes.Soft(), css=css_rtl) as app:
+    
+    gr.Markdown("# 🔐 سیستم ناشناس‌سازی متون مالی فارسی", elem_classes="input-box")
+    
+    # ============================================
+    # صفحه اول: دکمه‌ها (راست) + ورودی (چپ)
+    # ============================================
+    with gr.Row():
+        # سمت راست: دکمه‌ها و دستورات
+        with gr.Column(scale=1):
+            # ✅ انتخاب LLM Provider
+            with gr.Group():
+                gr.Markdown("### ⚙️ تنظیمات مدل", elem_classes="input-box")
+                
+                llm_provider = gr.Dropdown(
+                    choices=["chatgpt", "grok"],
+                    value="chatgpt",
+                    label="🤖 انتخاب LLM",
+                    interactive=True
+                )
+                
+                llm_model = gr.Dropdown(
+                    choices=AVAILABLE_MODELS["chatgpt"],
+                    value="gpt-4o-mini",
+                    label="📦 انتخاب مدل",
+                    interactive=True
+                )
+            
+            gr.Markdown("---")
+            
+            analysis_prompt = gr.Textbox(
+                lines=6,
+                placeholder="مثال: این متن را خلاصه کن\nیا: نکات کلیدی را استخراج کن",
+                label="📋 دستورات LLM (اختیاری)",
+                elem_classes="textbox"
+            )
+            
+            gr.Markdown("---")
+            
+            with gr.Column():
+                process_btn = gr.Button(
+                    "▶️ پردازش",
+                    variant="primary",
+                    size="lg"
+                )
+                
+                clear_btn = gr.Button(
+                    "🗑️ پاک کردن",
+                    variant="stop",
+                    size="lg"
+                )
+        
+        # سمت چپ: متن ورودی (بزرگ‌تر)
+        with gr.Column(scale=3):
+            input_text = gr.Textbox(
+                lines=18,
+                placeholder="متن مالی/خبری را وارد کنید...",
+                label="📝 متن ورودی",
+                elem_classes="textbox"
+            )
+    
+    # ============================================
+    # صفحه دوم: 3 باکس نتایج (وسط)
+    # ============================================
+    gr.Markdown("---")
+    gr.Markdown("## 📊 نتایج پردازش", elem_classes="input-box")
+    
+    with gr.Row():
+        # باکس 1: متن بازگردانی شده (راست)
+        with gr.Column(scale=1):
+            restored_text = gr.Textbox(
+                lines=12,
+                label="✅ متن بازگردانی شده",
+                interactive=False,
+                elem_classes="textbox"
+            )
+        
+        # باکس 2: تحلیل LLM (وسط)
+        with gr.Column(scale=1):
+            llm_analysis = gr.Textbox(
+                lines=12,
+                label="🤖 تحلیل LLM",
+                interactive=False,
+                elem_classes="textbox"
+            )
+        
+        # باکس 3: متن ناشناس‌شده (چپ)
+        with gr.Column(scale=1):
+            anonymized_text = gr.Textbox(
+                lines=12,
+                label="🔒 متن ناشناس‌شده",
+                interactive=False,
+                elem_classes="textbox"
+            )
+    
+    # ============================================
+    # پایین: جدول نگاشت (Markdown)
+    # ============================================
+    gr.Markdown("---")
+    
+    mapping_table = gr.Markdown(
+        value="### 📋 جدول نگاشت\n\nهنوز پردازشی انجام نشده",
+        label="📋 جدول نگاشت",
+        elem_classes="input-box"
+    )
+    
+    # ============================================
+    # Event Handlers
+    # ============================================
+    
+    # ✅ آپدیت مدل‌ها هنگام تغییر provider
+    llm_provider.change(
+        fn=update_model_choices,
+        inputs=[llm_provider],
+        outputs=[llm_model]
+    )
+    
+    # پردازش
+    process_btn.click(
+        fn=process,
+        inputs=[input_text, analysis_prompt, llm_provider, llm_model],
+        outputs=[restored_text, llm_analysis, anonymized_text, mapping_table]
+    )
+    
+    # پاک کردن
+    clear_btn.click(
+        fn=clear_all,
+        outputs=[input_text, analysis_prompt, restored_text, llm_analysis, anonymized_text, mapping_table]
+    )
+
+if __name__ == "__main__":
+    print("=" * 70)
+    print("🚀 سیستم ناشناس‌سازی متون در حال راه‌اندازی...")
+    print("=" * 70)
+    print("\n📋 نحوه استفاده:\n")
+    print("1. کلیدهای API را تنظیم کنید:")
+    print("   - CEREBRAS_API_KEY (ضروری)")
+    print("   - OPENAI_API_KEY (برای ChatGPT)")
+    print("   - XAI_API_KEY (برای Grok)")
+    print("2. http://localhost:7860 را باز کنید")
+    print("3. LLM و مدل را انتخاب کنید")
+    print("4. متن را وارد کنید")
+    print("5. 'پردازش' را کلیک کنید\n")
+    print("LLM‌های پشتیبانی‌شده:")
+    print("  🤖 ChatGPT: gpt-4o-mini, gpt-4o, gpt-4-turbo")
+    print("  🤖 Grok: grok-beta (رایگان), grok-3-mini, grok-3")
+    print("=" * 70 + "\n")
+    
+    app.launch(
+        server_name="0.0.0.0",
+        server_port=7860,
+        share=False,
+        show_error=True
+    )

app2.py

@@ -0,0 +1,545 @@
+import gradio as gr
+import re
+import os
+import requests
+import json
+import logging
+from typing import Dict, List, Tuple, Optional
+from llm_sender_unified import create_llm_sender, AVAILABLE_MODELS
+
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+class AnonymizerAdvanced:
+    """ناشناس‌ساز پیشرفته با روش‌های متعدد"""
+    
+    def __init__(
+        self, 
+        cerebras_key: str = None, 
+        llm_provider: str = "chatgpt", 
+        llm_model: str = None,
+        llm_api_key: str = None  # ✅ اضافه شد
+    ):
+        self.cerebras_key = cerebras_key or os.getenv("CEREBRAS_API_KEY")
+        self.llm_provider = llm_provider
+        self.llm_model = llm_model
+        self.llm_api_key = llm_api_key  # ✅ ذخیره API key از کاربر
+        self.mapping_table = {}
+        self.reverse_mapping = {}
+        
+        # ایجاد LLM sender
+        self._create_llm_sender()
+        
+        logger.info(f"✅ Anonymizer Advanced مقداردهی شد با {llm_provider}")
+    
+    def _create_llm_sender(self):
+        """ایجاد LLM sender مناسب"""
+        try:
+            # ✅ تصمیم‌گیری برای API key
+            if self.llm_provider == "chatgpt" and self.llm_model == "gpt-4o-mini":
+                # فقط برای gpt-4o-mini از secret بخوان
+                api_key = os.getenv("OPENAI_API_KEY")
+                logger.info("🔑 استفاده از API key از Secret برای gpt-4o-mini")
+            else:
+                # برای بقیه مدل‌ها از input کاربر
+                api_key = self.llm_api_key
+                logger.info("🔑 استفاده از API key ورودی کاربر")
+            
+            # ایجاد sender
+            self.llm_sender = create_llm_sender(
+                provider=self.llm_provider,
+                api_key=api_key,
+                model=self.llm_model
+            )
+            
+            logger.info(f"✅ LLM Sender ایجاد شد: {self.llm_provider} - {self.llm_sender.model}")
+            
+        except Exception as e:
+            logger.error(f"❌ خطا در ایجاد LLM Sender: {e}")
+            # fallback to ChatGPT
+            self.llm_sender = create_llm_sender("chatgpt")
+
+    def set_llm_provider(self, provider: str, model: str = None, api_key: str = None):
+        """تغییر provider و مدل LLM"""
+        self.llm_provider = provider
+        self.llm_model = model
+        self.llm_api_key = api_key  # ✅ آپدیت API key
+        self._create_llm_sender()
+        logger.info(f"✅ LLM تغییر یافت به: {provider} - {model}")
+
+    def anonymize_with_cerebras(self, text: str) -> Tuple[str, Dict]:
+        """ناشناس‌سازی با Cerebras"""
+        logger.info("🧠 روش Cerebras...")
+        
+        if not self.cerebras_key:
+            logger.error("❌ Cerebras API Key موجود نیست")
+            raise ValueError("Cerebras API Key مورد نیاز است")
+        
+        try:
+            # مرحله 1: ناشناس‌سازی متن
+            prompt1 = f"""متن زیر را ناشناس کنید. قوانین:
+1. اسامی اشخاص → person-01, person-02, ...
+2. نام شرکت‌ها/سازمان‌ها → company-01, company-02, ...
+3. مقادیر پولی → amount-01, amount-02, ...
+4. درصدها → percent-01, percent-02, ...
+5. فقط این توکن‌ها استفاده کنید
+6. شماره‌های نسخه را درست حفظ کنید
+7. اگر موجودیت تکرار شود از شماره قدیمی استفاده کنید
+
+متن:
+{text}
+
+خروجی: فقط متن ناشناس شده"""
+            
+            response1 = requests.post(
+                "https://api.cerebras.ai/v1/chat/completions",
+                headers={
+                    "Authorization": f"Bearer {self.cerebras_key}",
+                    "Content-Type": "application/json"
+                },
+                json={
+                    "model": "llama-3.3-70b",
+                    "messages": [{"role": "user", "content": prompt1}],
+                    "max_tokens": 4096,
+                    "temperature": 0.1
+                },
+                timeout=60
+            )
+            
+            if response1.status_code != 200:
+                logger.error(f"❌ Cerebras Error: {response1.status_code}")
+                raise Exception(f"Cerebras API Error: {response1.status_code}")
+            
+            anonymized_text = response1.json()['choices'][0]['message']['content'].strip()
+            logger.info("✅ Cerebras: ناشناس‌سازی موفق")
+            
+            # مرحله 2: استخراج mapping
+            prompt2 = f"""متن اصلی:
+{text}
+
+متن ناشناس شده:
+{anonymized_text}
+
+لطفاً یک جدول mapping برای همه توکن‌های ناشناس ایجاد کن.
+برای هر توکن، متن اصلی کامل آن را مش��ص کن.
+
+**مهم:** 
+- برای person-XX: نام کامل شخص (مثلاً "علی احمدی")
+- برای company-XX: نام کامل شرکت/سازمان (مثلاً "شرکت پتروشیمی")
+- برای amount-XX: عدد + واحد (مثلاً "80 هزار تومان" یا "50 میلیارد ریال")
+- برای percent-XX: عدد + کلمه "درصد" (مثلاً "40 درصد" نه فقط "40")
+
+خروجی را به این فرمت JSON بده (فقط JSON، بدون توضیح اضافی):
+{{
+  "person-01": "متن اصلی کامل",
+  "company-01": "متن اصلی کامل",
+  "amount-01": "متن اصلی کامل با واحد",
+  "percent-01": "عدد + درصد",
+  ...
+}}"""
+            
+            response2 = requests.post(
+                "https://api.cerebras.ai/v1/chat/completions",
+                headers={
+                    "Authorization": f"Bearer {self.cerebras_key}",
+                    "Content-Type": "application/json"
+                },
+                json={
+                    "model": "llama-3.3-70b",
+                    "messages": [{"role": "user", "content": prompt2}],
+                    "max_tokens": 2048,
+                    "temperature": 0.1
+                },
+                timeout=60
+            )
+            
+            if response2.status_code == 200:
+                mapping_text = response2.json()['choices'][0]['message']['content'].strip()
+                mapping_text = mapping_text.replace('```json', '').replace('```', '').strip()
+                
+                try:
+                    self.mapping_table = json.loads(mapping_text)
+                    self._fix_percent_mapping()
+                    self.reverse_mapping = {v: k for k, v in self.mapping_table.items()}
+                    logger.info(f"✅ Mapping استخراج شد: {len(self.mapping_table)} موجودیت")
+                except json.JSONDecodeError:
+                    logger.warning("⚠️ خطا در parse کردن JSON mapping - استفاده از روش fallback")
+                    self._extract_mapping_from_text(text, anonymized_text)
+            else:
+                logger.warning("⚠️ خطا در دریافت mapping - استفاده از روش fallback")
+                self._extract_mapping_from_text(text, anonymized_text)
+            
+            return anonymized_text, self.mapping_table
+                
+        except Exception as e:
+            logger.error(f"❌ Cerebras Exception: {e}")
+            raise
+    
+    def _fix_percent_mapping(self):
+        """اصلاح mapping برای درصدها"""
+        for token, value in self.mapping_table.items():
+            value_str = str(value).strip()
+            
+            if token.startswith('percent-'):
+                if not re.search(r'(درصد|%|درصدی)', value_str):
+                    self.mapping_table[token] = f"{value_str} درصد"
+                    logger.info(f"✅ اصلاح {token}: '{value_str}' → '{value_str} درصد'")
+            
+            elif token.startswith('amount-'):
+                if not re.search(r'(میلیارد|میلیون|هزار|تومان|ریال|دلار|یورو|تن)', value_str):
+                    logger.warning(f"⚠️ {token}: فقط عدد '{value_str}' - واحد مشخص نیست")
+
+    def _extract_mapping_from_text(self, original: str, anonymized: str):
+        """استخراج mapping از متن‌های اصلی و ناشناس شده"""
+        all_tokens = []
+        for entity_type in ['person', 'company', 'amount', 'percent']:
+            tokens = re.findall(f'{entity_type}-\\d+', anonymized)
+            all_tokens.extend([(t, entity_type) for t in tokens])
+        
+        all_tokens = sorted(set(all_tokens), key=lambda x: (x[1], int(x[0].split('-')[1])))
+        
+        patterns = {
+            'person': r'\b[ء-ي]+\s+[ء-ي]+(?:\s+[ء-ي]+)*\b',
+            'company': r'(?:شرکت|بانک|سازمان|گروه|هلدینگ)\s+[ء-ي]+(?:\s+[ء-ي]+)*',
+            'amount': r'\d+(?:\.\d+)?\s*(?:میلیارد|میلیون|هزار|تومان|ریال|دلار|یورو|تن)',
+            'percent': r'\d+(?:\.\d+)?\s*(?:درصد|%|درصدی)',
+        }
+        
+        original_entities = {}
+        for entity_type, pattern in patterns.items():
+            matches = list(re.finditer(pattern, original))
+            original_entities[entity_type] = [m.group().strip() for m in matches]
+        
+        for token, entity_type in all_tokens:
+            if entity_type in original_entities and original_entities[entity_type]:
+                token_num = int(token.split('-')[1]) - 1
+                
+                if token_num < len(original_entities[entity_type]):
+                    original_text = original_entities[entity_type][token_num]
+                    self.mapping_table[token] = original_text
+                    self.reverse_mapping[original_text] = token
+                else:
+                    original_text = original_entities[entity_type][-1]
+                    if token not in self.mapping_table:
+                        self.mapping_table[token] = original_text
+                        self.reverse_mapping[original_text] = token
+    
+    def analyze_with_llm(self, anonymized_text: str, analysis_prompt: str = None) -> str:
+        """استفاده از LLM یکپارچه"""
+        logger.info(f"🤖 {self.llm_provider.upper()} اجرای پرامپت...")
+        
+        if not analysis_prompt or not analysis_prompt.strip():
+            logger.info("⚠️  پرامپت خالی - بدون تحلیل")
+            return "⚠️ هیچ دستور تحلیل داده نشده است"
+        
+        combined_text = f"""متن ناشناس‌سازی شده:
+{anonymized_text}
+
+دستورات:
+{analysis_prompt}
+
+توجه: در پاسخ از همان کدهای ناشناس (person-XX, company-XX, amount-XX, percent-XX) استفاده کن."""
+        
+        try:
+            response = self.llm_sender.send_simple(combined_text, lang='fa')
+            logger.info(f"✅ {self.llm_provider.upper()}: {len(response)} کاراکتر")
+            return response
+        except Exception as e:
+            logger.error(f"❌ {self.llm_provider.upper()} Exception: {e}")
+            return f"❌ خطا در ارتباط با {self.llm_provider.upper()}: {str(e)}"
+    
+    def restore_text(self, anonymized_text: str) -> str:
+        """بازگردانی متن"""
+        logger.info("🔄 بازگردانی متن...")
+        
+        if not self.mapping_table:
+            logger.warning("⚠️ جدول نگاشت خالی است")
+            return anonymized_text
+        
+        restored = anonymized_text
+        for placeholder, original in sorted(self.mapping_table.items()):
+            restored = restored.replace(placeholder, original)
+        
+        logger.info("✅ بازگردانی کامل")
+        return restored
+    
+    def get_mapping_table_md(self) -> str:
+        """تبدیل جدول نگاشت به Markdown"""
+        if not self.mapping_table:
+            return "### 📋 جدول نگاشت\n\nهیچ موجودیتی شناسایی نشد"
+        
+        table = "### 📋 جدول نگاشت\n\n"
+        table += "| شناسه | متن اصلی |\n"
+        table += "|-------|----------|\n"
+        
+        for token, original in sorted(self.mapping_table.items()):
+            table += f"| **{token}** | {original} |\n"
+        
+        return table
+
+# متغیر سراسری
+anonymizer = None
+
+def process(
+    input_text: str, 
+    analysis_prompt: str, 
+    llm_provider: str, 
+    llm_model: str,
+    api_key_input: str  # ✅ اضافه شد
+):
+    """پردازش متن - 4 مرحله"""
+    global anonymizer
+    
+    if not input_text.strip():
+        return "", "", "", ""
+    
+    cerebras_key = os.getenv("CEREBRAS_API_KEY")
+    
+    # ✅ ایجاد یا آپدیت anonymizer با API key
+    if not anonymizer:
+        anonymizer = AnonymizerAdvanced(
+            cerebras_key, 
+            llm_provider=llm_provider,
+            llm_model=llm_model,
+            llm_api_key=api_key_input  # ✅ ارسال API key
+        )
+    else:
+        anonymizer.set_llm_provider(llm_provider, llm_model, api_key_input)
+        anonymizer.mapping_table = {}
+        anonymizer.reverse_mapping = {}
+    
+    try:
+        logger.info("=" * 70)
+        logger.info(f"🚀 شروع پردازش - LLM: {llm_provider} ({llm_model})")
+        logger.info("=" * 70)
+        
+        # مرحله 1: ناشناس‌سازی
+        logger.info("📝 مرحله 1: ناشناس‌سازی...")
+        anonymized_text, _ = anonymizer.anonymize_with_cerebras(input_text)
+        logger.info(f"✅ ناشناس‌سازی: {len(anonymized_text)} کاراکتر")
+        
+        # مرحله 2: LLM
+        logger.info(f"🤖 مرحله 2: {llm_provider.upper()}...")
+        llm_response = anonymizer.analyze_with_llm(anonymized_text, analysis_prompt)
+        logger.info(f"✅ {llm_provider.upper()}: {len(llm_response)} کاراکتر")
+        
+        # مرحله 3: بازگردانی
+        logger.info("🔄 مرحله 3: بازگردانی...")
+        restored_text = anonymizer.restore_text(llm_response)
+        logger.info("✅ بازگردانی کامل")
+        
+        # مرحله 4: جدول نگاشت
+        logger.info("📋 مرحله 4: جدول نگاشت...")
+        mapping_str = anonymizer.get_mapping_table_md()
+        logger.info(f"✅ {len(anonymizer.mapping_table)} موجودیت")
+        
+        logger.info("=" * 70)
+        logger.info("✅ تمام مراحل کامل!")
+        logger.info("=" * 70)
+        
+        return restored_text, llm_response, anonymized_text, mapping_str
+        
+    except Exception as e:
+        logger.error(f"❌ خطا: {str(e)}", exc_info=True)
+        return "", f"❌ خطا: {str(e)}", "", ""
+
+def clear_all():
+    """پاک کردن همه"""
+    return "", "", "", "", "", "", ""
+
+def update_model_choices(provider: str):
+    """آپدیت لیست مدل‌ها بر اساس provider"""
+    models = AVAILABLE_MODELS.get(provider, [])
+    return gr.Dropdown(choices=models, value=models[0] if models else None)
+
+def update_api_key_visibility(provider: str, model: str):
+    """نمایش/مخفی کردن textbox API key"""
+    # ✅ فقط برای gpt-4o-mini مخفی کن
+    if provider == "chatgpt" and model == "gpt-4o-mini":
+        return gr.Textbox(visible=False, value="")
+    else:
+        return gr.Textbox(visible=True, value="")
+
+# Gradio Interface
+css_rtl = """
+.input-box { direction: rtl; text-align: right; }
+.textbox textarea { direction: rtl; text-align: right; font-family: 'Tahoma', serif; }
+"""
+
+with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.themes.Soft(), css=css_rtl) as app:
+    
+    gr.Markdown("# 🔐 سیستم ناشناس‌سازی متون مالی فارسی", elem_classes="input-box")
+    
+    with gr.Row():
+        # سمت راست: تنظیمات و دکمه‌ها
+        with gr.Column(scale=1):
+            # ✅ تنظیمات مدل
+            with gr.Group():
+                gr.Markdown("### ⚙️ تنظیمات مدل", elem_classes="input-box")
+                
+                llm_provider = gr.Dropdown(
+                    choices=["chatgpt", "grok"],
+                    value="chatgpt",
+                    label="🤖 انتخاب LLM",
+                    interactive=True
+                )
+                
+                llm_model = gr.Dropdown(
+                    choices=AVAILABLE_MODELS["chatgpt"],
+                    value="gpt-4o-mini",
+                    label="📦 انتخاب مدل",
+                    interactive=True
+                )
+                
+                # ✅ textbox برای API key (مخفی برای gpt-4o-mini)
+                api_key_input = gr.Textbox(
+                    label="🔑 API Key",
+                    placeholder="فقط برای مدل‌های غیر از gpt-4o-mini",
+                    type="password",
+                    visible=False,  # پیش‌فرض مخفی (چون gpt-4o-mini انتخاب شده)
+                    elem_classes="textbox"
+                )
+                
+                gr.Markdown(
+                    "💡 **نکته:** gpt-4o-mini از Secret خوانده می‌شود. برای بقیه مدل‌ها API key وارد کنید.",
+                    elem_classes="input-box"
+                )
+            
+            gr.Markdown("---")
+            
+            analysis_prompt = gr.Textbox(
+                lines=6,
+                placeholder="مثال: این متن را خلاصه کن\nیا: نکات کلیدی را استخراج کن",
+                label="📋 دستورات LLM (اختیاری)",
+                elem_classes="textbox"
+            )
+            
+            gr.Markdown("---")
+            
+            with gr.Column():
+                process_btn = gr.Button(
+                    "▶️ پردازش",
+                    variant="primary",
+                    size="lg"
+                )
+                
+                clear_btn = gr.Button(
+                    "🗑️ پاک کردن",
+                    variant="stop",
+                    size="lg"
+                )
+        
+        # سمت چپ: متن ورودی
+        with gr.Column(scale=3):
+            input_text = gr.Textbox(
+                lines=22,
+                placeholder="متن مالی/خبری را وارد کنید...",
+                label="📝 متن ورودی",
+                elem_classes="textbox"
+            )
+    
+    # نتایج
+    gr.Markdown("---")
+    gr.Markdown("## 📊 نتایج پردازش", elem_classes="input-box")
+    
+    with gr.Row():
+        with gr.Column(scale=1):
+            restored_text = gr.Textbox(
+                lines=12,
+                label="✅ متن بازگردانی شده",
+                interactive=False,
+                elem_classes="textbox"
+            )
+        
+        with gr.Column(scale=1):
+            llm_analysis = gr.Textbox(
+                lines=12,
+                label="🤖 تحلیل LLM",
+                interactive=False,
+                elem_classes="textbox"
+            )
+        
+        with gr.Column(scale=1):
+            anonymized_text = gr.Textbox(
+                lines=12,
+                label="🔒 متن ناشناس‌شده",
+                interactive=False,
+                elem_classes="textbox"
+            )
+    
+    gr.Markdown("---")
+    
+    mapping_table = gr.Markdown(
+        value="### 📋 جدول نگاشت\n\nهنوز پردازشی انجام نشده",
+        label="📋 جدول نگاشت",
+        elem_classes="input-box"
+    )
+    
+    # Event Handlers
+    
+    # ✅ آپدیت مدل‌ها و نمایش API key
+    def handle_provider_change(provider):
+        models = AVAILABLE_MODELS.get(provider, [])
+        default_model = models[0] if models else None
+        
+        # چک کن آیا باید API key نمایش داده بشه
+        show_api = not (provider == "chatgpt" and default_model == "gpt-4o-mini")
+        
+        return (
+            gr.Dropdown(choices=models, value=default_model),
+            gr.Textbox(visible=show_api, value="")
+        )
+    
+    llm_provider.change(
+        fn=handle_provider_change,
+        inputs=[llm_provider],
+        outputs=[llm_model, api_key_input]
+    )
+    
+    # ✅ آپدیت نمایش API key وقتی مدل عوض میشه
+    def handle_model_change(provider, model):
+        show_api = not (provider == "chatgpt" and model == "gpt-4o-mini")
+        return gr.Textbox(visible=show_api, value="")
+    
+    llm_model.change(
+        fn=handle_model_change,
+        inputs=[llm_provider, llm_model],
+        outputs=[api_key_input]
+    )
+    
+    # پردازش
+    process_btn.click(
+        fn=process,
+        inputs=[input_text, analysis_prompt, llm_provider, llm_model, api_key_input],
+        outputs=[restored_text, llm_analysis, anonymized_text, mapping_table]
+    )
+    
+    # پاک کردن
+    clear_btn.click(
+        fn=clear_all,
+        outputs=[input_text, analysis_prompt, api_key_input, restored_text, llm_analysis, anonymized_text, mapping_table]
+    )
+
+if __name__ == "__main__":
+    print("=" * 70)
+    print("🚀 سیستم ناشناس‌سازی متون در حال راه‌اندازی...")
+    print("=" * 70)
+    print("\n📋 نحوه استفاده:\n")
+    print("1. کلیدهای API را تنظیم کنید:")
+    print("   - CEREBRAS_API_KEY (ضروری)")
+    print("   - OPENAI_API_KEY (فقط برای gpt-4o-mini)")
+    print("2. http://localhost:7860 را باز کنید")
+    print("3. LLM و مدل را انتخاب کنید")
+    print("4. برای مدل‌های غیر از gpt-4o-mini، API key وارد کنید")
+    print("5. متن را وارد کنید")
+    print("6. 'پردازش' را کلیک کنید\n")
+    print("💡 فقط gpt-4o-mini از Secret می‌خواند")
+    print("   بقیه مدل‌ها نیاز به API key دارند")
+    print("=" * 70 + "\n")
+    
+    app.launch(
+        server_name="0.0.0.0",
+        server_port=7860,
+        share=False,
+        show_error=True
+    )

app-llama.py → app3.py

@@ -5,34 +5,7 @@ import requests
 import json
 import logging
 from typing import Dict, List, Tuple, Optional
-from llm_sender_unified import create_llm_sender
-
-# ✅ مدل‌های موجود - به‌روزرسانی نوامبر 2024
-AVAILABLE_MODELS = {
-    "chatgpt": [
-        # GPT-5 Series (جدیدترین)
-        "gpt-5.1",           # بهترین برای کدنویسی و وظایف agentic
-        "gpt-5",             # مدل reasoning قبلی
-        # GPT-4 Series
-        "gpt-4.1",           # هوشمندترین non-reasoning
-        "gpt-4o",            # قدرتمند
-        "gpt-4o-mini",       # سریع و ارزان
-        "gpt-4-turbo",       # سریع‌تر از GPT-4
-    ],
-    "grok": [
-        # Grok-4 Series (جدیدترین)
-        "grok-4-fast-reasoning",      # سریع با reasoning
-        "grok-4-fast-non-reasoning",  # سریع بدون reasoning
-        "grok-4-0709",                # نسخه پایدار
-        # Grok-3 Series
-        "grok-3",                     # قدرتمند
-        "grok-3-mini",                # سبک
-        # Grok-2 Series
-        "grok-2-vision-1212",         # با قابلیت بینایی
-        "grok-2-1212",                # نسخه پایدار
-        "grok-2"                      # نسخه قدیمی
-    ]
-}
+from llm_sender_unified import create_llm_sender, AVAILABLE_MODELS
 
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
@@ -45,11 +18,13 @@ class AnonymizerAdvanced:
         cerebras_key: str = None, 
         llm_provider: str = "chatgpt", 
         llm_model: str = None,
-        entities_to_anonymize: List[str] = None
+        llm_api_key: str = None,
+        entities_to_anonymize: List[str] = None  # ✅ اضافه شد
     ):
         self.cerebras_key = cerebras_key or os.getenv("CEREBRAS_API_KEY")
         self.llm_provider = llm_provider
         self.llm_model = llm_model
+        self.llm_api_key = llm_api_key
         self.entities_to_anonymize = entities_to_anonymize or ["person", "company", "amount", "percent"]
         self.mapping_table = {}
         self.reverse_mapping = {}
@@ -62,16 +37,15 @@ class AnonymizerAdvanced:
     def _create_llm_sender(self):
         """ایجاد LLM sender مناسب"""
         try:
-            # ✅ همیشه از Hugging Face Secrets استفاده کن
-            if self.llm_provider == "chatgpt":
+            # ✅ تصمیم‌گیری برای API key
+            if self.llm_provider == "chatgpt" and self.llm_model == "gpt-4o-mini":
+                # فقط برای gpt-4o-mini از secret بخوان
                 api_key = os.getenv("OPENAI_API_KEY")
-                logger.info("🔑 استفاده از OPENAI_API_KEY از Secrets")
-            elif self.llm_provider == "grok":
-                api_key = os.getenv("XAI_API_KEY")
-                logger.info("🔑 استفاده از XAI_API_KEY از Secrets")
+                logger.info("🔑 استفاده از API key از Secret برای gpt-4o-mini")
             else:
-                api_key = None
-                logger.warning("⚠️ Provider ناشناخته")
+                # برای بقیه مدل‌ها از input کاربر
+                api_key = self.llm_api_key
+                logger.info("🔑 استفاده از API key ورودی کاربر")
             
             # ایجاد sender
             self.llm_sender = create_llm_sender(
@@ -87,12 +61,13 @@ class AnonymizerAdvanced:
             # fallback to ChatGPT
             self.llm_sender = create_llm_sender("chatgpt")
 
-    def set_llm_provider(self, provider: str, model: str = None, entities: List[str] = None):
+    def set_llm_provider(self, provider: str, model: str = None, api_key: str = None, entities: List[str] = None):
         """تغییر provider و مدل LLM و موجودیت‌های ناشناس‌سازی"""
         self.llm_provider = provider
         self.llm_model = model
+        self.llm_api_key = api_key
         if entities is not None:
-            self.entities_to_anonymize = entities
+            self.entities_to_anonymize = entities  # ✅ آپدیت موجودیت‌ها
         self._create_llm_sender()
         logger.info(f"✅ LLM تغییر یافت به: {provider} - {model}")
         logger.info(f"✅ موجودیت‌های ناشناس‌سازی: {self.entities_to_anonymize}")
@@ -118,7 +93,7 @@ class AnonymizerAdvanced:
             instruction_number += 1
         
         if "amount" in self.entities_to_anonymize:
-            instructions.append(f"{instruction_number}. اعداد و ارقام و مبالغ (مثل: 50 میلیارد، 100 هزار، 25.5 میلیون، ۳۰۰ دستگاه) → amount-01, amount-02, ...")
+            instructions.append(f"{instruction_number}. مقادیر پولی → amount-01, amount-02, ...")
             instruction_number += 1
         
         if "percent" in self.entities_to_anonymize:
@@ -137,22 +112,13 @@ class AnonymizerAdvanced:
         
         try:
             # مرح��ه 1: ناشناس‌سازی متن
-            # ✅ ساخت مثال برای amount (اگر انتخاب شده)
-            example_text = ""
-            if "amount" in self.entities_to_anonymize:
-                example_text = """
-مثال:
-متن اصلی: "فروش 50 میلیارد ریال در سال گذشته بود."
-متن ناشناس: "فروش amount-01 در سال گذشته بود."
-"""
-            
             prompt1 = f"""متن زیر را ناشناس کنید. قوانین:
 {instructions_text}
-{example_text}
+
 متن:
 {text}
 
-خروجی: فقط متن ناشناس شده (بدون توضیح اضافی)"""
+خروجی: فقط متن ناشناس شده"""
             
             response1 = requests.post(
                 "https://api.cerebras.ai/v1/chat/completions",
@@ -161,7 +127,7 @@ class AnonymizerAdvanced:
                     "Content-Type": "application/json"
                 },
                 json={
-                    "model": "llama3.1-8b",
+                    "model": "llama-3.3-70b",
                     "messages": [{"role": "user", "content": prompt1}],
                     "max_tokens": 4096,
                     "temperature": 0.1
@@ -314,439 +280,37 @@ class AnonymizerAdvanced:
             logger.info("⚠️  پرامپت خالی - بدون تحلیل")
             return "⚠️ هیچ دستور تحلیل داده نشده است"
         
-        # ✅ بررسی اینکه آیا مدل GPT-4 است
-        is_gpt4 = self.llm_model and any(x in self.llm_model.lower() for x in ['gpt-4', 'gpt4'])
-        
-        if is_gpt4:
-            # ✅ پرامپت ویژه GPT-4 با مثال‌های واقعی
-            logger.info("🎯 استفاده از پرامپت ویژه GPT-4")
-            return self._analyze_with_gpt4_prompt(anonymized_text, analysis_prompt)
-        else:
-            # پرامپت عادی برای GPT-5 و Grok
-            return self._analyze_with_standard_prompt(anonymized_text, analysis_prompt)
-    
-    def _analyze_with_gpt4_prompt(self, anonymized_text: str, analysis_prompt: str) -> str:
-        """پرامپت ویژه GPT-4 با few-shot examples"""
-        
-        # ✅ مثال‌های واقعی Few-Shot
-        few_shot_examples = """
-EXAMPLE 1 - CORRECT:
-Input: "company-01 فروش amount-01 داشت"
-Your output should be EXACTLY: "company-01 فروش amount-01 داشت"
-NOT: "company-01 فروش مبلغ amount-01 داشت"
-
-EXAMPLE 2 - CORRECT:
-Input: "amount-02 به amount-03 رسید"
-Your output should be EXACTLY: "amount-02 به amount-03 رسید"
-NOT: "مبلغ amount-02 به amount-03 رسید"
-
-EXAMPLE 3 - CORRECT:
-Input: "company-01 سود percent-01 داشت"
-Your output should be EXACTLY: "company-01 سود percent-01 داشت"
-NOT: "شرکت company-01 سود درصد percent-01 داشت"
-"""
-        
-        # لیست توکن‌های انتخابی
-        tokens_list = []
-        if "person" in self.entities_to_anonymize:
-            tokens_list.append("person-XX")
-        if "company" in self.entities_to_anonymize:
-            tokens_list.append("company-XX")
-        if "amount" in self.entities_to_anonymize:
-            tokens_list.append("amount-XX")
-        if "percent" in self.entities_to_anonymize:
-            tokens_list.append("percent-XX")
-        
-        tokens_str = ", ".join(tokens_list)
-        
-        # ✅ پرامپت انگلیسی برای GPT-4 (بهتر کار می‌کند)
-        combined_text = f"""You are processing anonymized Persian/Farsi text containing placeholder tokens.
-
-ANONYMIZED TEXT:
-{anonymized_text}
-
-USER REQUEST:
-{analysis_prompt}
-
-CRITICAL RULES:
-1. Use ONLY these exact tokens: {tokens_str}
-2. NEVER add words before/after tokens
-3. Keep the EXACT format: amount-01 (not "مبلغ amount-01" or "amount- 01")
-4. Do NOT create new tokens
-5. Preserve the exact structure
-
-{few_shot_examples}
-
-FORBIDDEN PATTERNS - NEVER USE:
-❌ "مبلغ amount-01" → ✅ Use: "amount-01"
-❌ "شرکت company-01" → ✅ Use: "company-01"  
-❌ "فروش به amount-02" → ✅ Use: "فروش amount-02"
-❌ "درصد percent-01" → ✅ Use: "percent-01"
-❌ "amount- 01" (space) → ✅ Use: "amount-01"
-
-Now process the text following these rules EXACTLY."""
-        
-        try:
-            # ✅ temperature خیلی پایین برای GPT-4
-            logger.info(f"🌡️ Temperature: 0.05 (GPT-4 ویژه)")
-            
-            response = self.llm_sender.send(
-                combined_text, 
-                lang='en',  # انگلیسی برای GPT-4
-                temperature=0.05,  # خیلی خیلی پایین
-                max_tokens=2000
-            )
-            
-            # ✅ دیباگ: نمایش خروجی خام LLM
-            logger.info("=" * 60)
-            logger.info("🔍 DEBUG - خروجی خام GPT-4:")
-            logger.info(response[:500] + "..." if len(response) > 500 else response)
-            logger.info("=" * 60)
-            
-            # ✅ پاکسازی قوی‌تر
-            cleaned_response = self._clean_llm_response(response)
-            
-            # ✅ دیباگ: نمایش خروجی بعد از clean
-            logger.info("=" * 60)
-            logger.info("🧹 DEBUG - خروجی بعد از clean:")
-            logger.info(cleaned_response[:500] + "..." if len(cleaned_response) > 500 else cleaned_response)
-            logger.info("=" * 60)
-            
-            logger.info(f"✅ GPT-4: {len(cleaned_response)} کاراکتر")
-            return cleaned_response
-            
-        except Exception as e:
-            logger.error(f"❌ GPT-4 Exception: {e}")
-            return f"❌ خطا در ارتباط با GPT-4: {str(e)}"
-    
-    def _analyze_with_standard_prompt(self, anonymized_text: str, analysis_prompt: str) -> str:
-        """پرامپت استاندارد برای GPT-5 و Grok"""
-        
-        tokens_instruction = []
-        examples = []
-        
-        if "person" in self.entities_to_anonymize:
-            tokens_instruction.append("person-XX")
-            examples.append("✅ صحیح: person-01 در جلسه حضور داشت\n❌ غلط: آقای person-01")
-        
-        if "company" in self.entities_to_anonymize:
-            tokens_instruction.append("company-XX")
-            examples.append("✅ صحیح: company-01 فعالیت کرد\n❌ غلط: شرکت company-01")
-        
-        if "amount" in self.entities_to_anonymize:
-            tokens_instruction.append("amount-XX")
-            examples.append("✅ صحیح: فروش amount-01 بود\n❌ غلط: فروش مبلغ amount-01")
-        
-        if "percent" in self.entities_to_anonymize:
-            tokens_instruction.append("percent-XX")
-            examples.append("✅ صحیح: رشد percent-01 داشت\n❌ غلط: رشد درصد percent-01")
-        
-        tokens_str = ", ".join(tokens_instruction)
-        examples_str = "\n".join(examples)
-        
         combined_text = f"""متن ناشناس‌سازی شده:
 {anonymized_text}
 
 دستورات:
 {analysis_prompt}
 
-⚠️ قوانین مهم:
-1. فقط از کدهای ناشناس موجود استفاده کن: {tokens_str}
-2. هیچ کلمه‌ای قبل یا بعد از این کدها اضافه نکن
-3. کد جدید ایجاد نکن
-4. ساختار دقیق متن را حفظ کن
-
-مثال‌های صحیح و غلط:
-{examples_str}"""
+توجه: در پاسخ از همان کدهای ناشناس (person-XX, company-XX, amount-XX, percent-XX) استفاده کن."""
         
         try:
-            temp_to_use = 0.2
-            logger.info(f"🌡️ Temperature: {temp_to_use}")
-            
-            response = self.llm_sender.send(
-                combined_text, 
-                lang='fa',
-                temperature=temp_to_use,
-                max_tokens=2000
-            )
-            
-            response = self._clean_llm_response(response)
-            
+            response = self.llm_sender.send_simple(combined_text, lang='fa')
             logger.info(f"✅ {self.llm_provider.upper()}: {len(response)} کاراکتر")
             return response
-            
         except Exception as e:
             logger.error(f"❌ {self.llm_provider.upper()} Exception: {e}")
             return f"❌ خطا در ارتباط با {self.llm_provider.upper()}: {str(e)}"
     
-    def _clean_llm_response(self, text: str) -> str:
-        """پاکسازی کلمات اضافی که LLM ممکن است قبل از موجودیت‌ها اضافه کرده باشد"""
-        logger.info("🧹 پاکسازی کلمات اضافی...")
-        
-        cleaned = text
-        changes_made = 0
-        
-        # الگوهای کلمات اضافی برای هر نوع موجودیت
-        patterns = []
-        
-        if "person" in self.entities_to_anonymize:
-            patterns.extend([
-                (r'(?:آقای|خانم|شخص|فرد)\s+(person-\d+)', r'\1'),
-                (r'(person-\d+)\s+(?:نامدار|محترم|عزیز)', r'\1'),
-            ])
-        
-        if "company" in self.entities_to_anonymize:
-            patterns.extend([
-                (r'(?:شرکت|سازمان|گروه|هلدینگ|بانک|موسسه)\s+(company-\d+)', r'\1'),
-                (r'(company-\d+)\s+(?:محترم)', r'\1'),
-            ])
-        
-        if "amount" in self.entities_to_anonymize:
-            patterns.extend([
-                # ✅ الگوهای کامل برای amount - تمام حالات ممکن
-                # حالت 1: کلمات قبل از amount
-                (r'(?:مبلغ|رقم|عدد|قیمت|ارزش|مقدار)\s+(amount-\d+)', r'\1'),
-                (r'(?:فروش|درآمد|سود|زیان|هزینه|خرج)\s+(amount-\d+)', r'\1'),
-                (r'(?:دارایی|بدهی|سرمایه|پول|وام)\s+(amount-\d+)', r'\1'),
-                
-                # حالت 2: حروف اضافه قبل از amount
-                (r'\bبه\s+(amount-\d+)', r'\1'),
-                (r'\bبا\s+(amount-\d+)', r'\1'),
-                (r'\bاز\s+(amount-\d+)', r'\1'),
-                (r'\bتا\s+(amount-\d+)', r'\1'),
-                (r'\bدر\s+(amount-\d+)', r'\1'),
-                (r'\bبرای\s+(amount-\d+)', r'\1'),
-                
-                # حالت 3: واحدها بعد از amount (اگر نباید باشند)
-                (r'(amount-\d+)\s+(?:ریال|تومان|دلار|یورو)', r'\1'),
-                (r'(amount-\d+)\s+(?:میلیون|میلیارد|هزار|تریلیون)', r'\1'),
-                
-                # حالت 4: ترکیبات
-                (r'(?:به\s+مبلغ)\s+(amount-\d+)', r'\1'),
-                (r'(?:با\s+ارزش)\s+(amount-\d+)', r'\1'),
-                (r'(?:در\s+حد)\s+(amount-\d+)', r'\1'),
-                
-                # حالت 5: فعل + amount (بدون حرف اضافه)
-                (r'(?:رسید|رسیده|می\u200cرسد)\s+(amount-\d+)', r'\1'),
-                (r'(?:شد|شده|می\u200cشود)\s+(amount-\d+)', r'\1'),
-                (r'(?:بود|بوده|است)\s+(amount-\d+)', r'\1'),
-            ])
-        
-        if "percent" in self.entities_to_anonymize:
-            patterns.extend([
-                (r'(?:درصد|%)\s+(percent-\d+)', r'\1'),
-                (r'(percent-\d+)\s+(?:درصد|درصدی|%)', r'\1'),
-            ])
-        
-        # اعمال الگوها
-        for pattern, replacement in patterns:
-            new_text = re.sub(pattern, replacement, cleaned)
-            if new_text != cleaned:
-                count = len(re.findall(pattern, cleaned))
-                changes_made += count
-                cleaned = new_text
-                logger.info(f"  ✅ حذف '{pattern}': {count} مورد")
-        
-        if changes_made > 0:
-            logger.info(f"✅ {changes_made} کلمه اضافی حذف شد")
-        else:
-            logger.info("✅ کلمه اضافی یافت نشد")
-        
-        return cleaned
-    
     def restore_text(self, anonymized_text: str) -> str:
-        """بازگردانی متن با ترتیب بهینه برای amount"""
+        """بازگردانی متن"""
         logger.info("🔄 بازگردانی متن...")
         
         if not self.mapping_table:
             logger.warning("⚠️ جدول نگاشت خالی است")
             return anonymized_text
         
-        logger.info(f"📋 تعداد موجودیت‌ها در mapping: {len(self.mapping_table)}")
-        
-        # ✅ STEP 1: normalize (hyphen یونیکد و جداسازی کلمات چسبیده)
-        restored = self._normalize_tokens(anonymized_text)
-        
-        # ✅ STEP 2: restore قوی مخصوص amount با regex (قبل از clean!)
-        # این کلیدی است - باید قبل از clean انجام شود
-        logger.info("🔥 بازگردانی amount با regex...")
-        amount_restored_count = 0
-        for placeholder, original in self.mapping_table.items():
-            if placeholder.startswith("amount-"):
-                # استخراج شماره
-                num = placeholder.split("-")[1]
-                # الگوی regex: amount [فاصله اختیاری] - [فاصله اختیاری] شماره
-                pattern = rf'amount\s*-\s*{num}'
-                matches = re.findall(pattern, restored)
-                if matches:
-                    restored = re.sub(pattern, original, restored)
-                    amount_restored_count += 1
-                    logger.info(f"✅ regex: {placeholder} → {original[:30]}...")
-        
-        if amount_restored_count > 0:
-            logger.info(f"✅ {amount_restored_count} amount با regex بازگردانی شد")
-        
-        # ✅ STEP 3: clean (حذف کلمات اضافی)
-        # حالا که amount ها restore شدن، می‌تونیم clean کنیم
-        restored = self._clean_for_restore(restored)
-        
-        # ✅ STEP 4: replace ساده برای بقیه (person, company, percent)
-        replacements_count = 0
-        for placeholder, original in sorted(self.mapping_table.items(), key=lambda x: len(x[0]), reverse=True):
-            # amount ها رو قبلاً restore کردیم
-            if placeholder.startswith("amount-"):
-                continue
-                
-            if placeholder in restored:
-                restored = restored.replace(placeholder, original)
-                replacements_count += 1
-                logger.info(f"✅ {placeholder} → {original[:30]}...")
-            else:
-                logger.warning(f"⚠️ {placeholder} در متن یافت نشد!")
-        
-        total_restored = amount_restored_count + replacements_count
-        logger.info(f"✅ بازگردانی کامل - {total_restored}/{len(self.mapping_table)} جایگزین شد")
-        
-        # ✅ STEP 5: fallback regex برای توکن‌های باقی‌مانده
-        if total_restored < len(self.mapping_table):
-            logger.info("🔍 تلاش برای یافتن توکن‌های گم‌شده با regex...")
-            restored = self._restore_with_regex(restored)
-        
-        # هشدار در صورت شکست کامل
-        if total_restored == 0 and len(self.mapping_table) > 0:
-            logger.error("❌ هیچ توکنی جایگزین نشد! متن ورودی احتمالاً متفاوت است.")
-        
-        return restored
-    
-    def _clean_for_restore(self, text: str) -> str:
-        """پاکسازی خاص برای بازگردانی (شبیه _clean_llm_response اما سبک‌تر)"""
-        logger.info("🧹 پاکسازی قبل از بازگردانی...")
-        
-        cleaned = text
-        changes_made = 0
-        
-        patterns = []
-        
-        if "amount" in self.entities_to_anonymize:
-            patterns.extend([
-                (r'(?:مبلغ|رقم|عدد|قیمت|ارزش|فروش|درآمد|هزینه|سود|زیان)\s+(amount-\d+)', r'\1'),
-                (r'\bبه\s+(amount-\d+)', r'\1'),
-                (r'\bبا\s+(amount-\d+)', r'\1'),
-                (r'\bاز\s+(amount-\d+)', r'\1'),
-                (r'\bتا\s+(amount-\d+)', r'\1'),
-            ])
-        
-        for pattern, replacement in patterns:
-            new_text = re.sub(pattern, replacement, cleaned)
-            if new_text != cleaned:
-                changes_made += re.subn(pattern, replacement, cleaned)[1]
-                cleaned = new_text
-        
-        if changes_made > 0:
-            logger.info(f"✅ {changes_made} کلمه اضافی حذف شد")
-        
-        return cleaned
-    
-    def _restore_with_regex(self, text: str) -> str:
-        """بازگردانی با استفاده از regex برای پیدا کردن توکن‌های دارای کلمات اضافی"""
-        restored = text
-        
-        for placeholder, original in self.mapping_table.items():
-            # اگر قبلاً جایگزین شده، رد شو
-            if placeholder not in text:
-                # الگوی regex: کلمه اضافی (اختیاری) + توکن
-                # مثلاً: "فروش amount-01" یا "مبلغ amount-05"
-                entity_type = placeholder.split('-')[0]
-                entity_num = placeholder.split('-')[1]
-                
-                # الگوهای مختلف
-                patterns = [
-                    # کلمه فارسی + فاصله + توکن
-                    rf'[ء-ي]+\s+({entity_type}-{entity_num})\b',
-                    # توکن + فاصله + کلمه فارسی
-                    rf'\b({entity_type}-{entity_num})\s+[ء-ي]+',
-                    # فاصله اضافی داخل توکن
-                    rf'\b{entity_type}\s+-\s+{entity_num}\b',
-                ]
-                
-                for pattern in patterns:
-                    matches = list(re.finditer(pattern, restored))
-                    if matches:
-                        logger.info(f"✅ پیدا شد با regex: {pattern}")
-                        for match in matches:
-                            # جایگزینی کل عبارت با فقط original
-                            full_match = match.group(0)
-                            # اگر توکن داخل match هست، فقط اون رو جایگزین کن
-                            if placeholder in full_match:
-                                restored = restored.replace(full_match, full_match.replace(placeholder, original))
-                            else:
-                                # اگر فرمت توکن متفاوت بود
-                                restored = restored.replace(full_match, original)
-                            logger.info(f"✅ regex: {placeholder} → {original[:30]}...")
-                        break
+        restored = anonymized_text
+        for placeholder, original in sorted(self.mapping_table.items()):
+            restored = restored.replace(placeholder, original)
         
+        logger.info("✅ بازگردانی کامل")
         return restored
     
-    def _normalize_tokens(self, text: str) -> str:
-        """نرمال‌سازی توکن‌ها - حذف فاصله‌های اضافی و hyphen یونیکد"""
-        logger.info("🧹 نرمال‌سازی توکن‌ها...")
-        
-        normalized = text
-        changes = 0
-        
-        # ✅ 1. نرمال‌سازی hyphen های یونیکد برای همه موجودیت‌ها
-        # این hyphen ها: ‐ ‑ ‒ – — − و hyphen معمولی -
-        unicode_hyphens = r'[\u2010\u2011\u2012\u2013\u2014\u2212\-]'
-        
-        for entity_type in self.entities_to_anonymize:
-            # تبدیل همه hyphen ها به - معمولی
-            pattern = rf'{entity_type}{unicode_hyphens}(\d+)'
-            replacement = rf'{entity_type}-\1'
-            count = len(re.findall(pattern, normalized))
-            if count > 0:
-                normalized = re.sub(pattern, replacement, normalized)
-                changes += count
-                logger.info(f"  ✅ {entity_type}: {count} hyphen یونیکد نرمال شد")
-        
-        # ✅ 2. حذف فاضله‌های اضافی داخل توکن
-        for entity_type in self.entities_to_anonymize:
-            pattern = rf'{entity_type}\s+-\s+(\d+)'
-            replacement = rf'{entity_type}-\1'
-            count = len(re.findall(pattern, normalized))
-            if count > 0:
-                normalized = re.sub(pattern, replacement, normalized)
-                changes += count
-                logger.info(f"  ✅ {entity_type}: {count} فاصله اضافی حذف شد")
-        
-        # ✅ 3. جدا کردن توکن‌ها از کلمات فارسی چسبیده (ویژه amount)
-        # مثال: amount-01در → amount-01 در
-        if "amount" in self.entities_to_anonymize:
-            pattern = r'(amount-\d+)([ء-ي])'
-            replacement = r'\1 \2'
-            before = normalized
-            normalized = re.sub(pattern, replacement, normalized)
-            if normalized != before:
-                count = len(re.findall(pattern, before))
-                changes += count
-                logger.info(f"  ✅ amount: {count} کلمه چسبیده جدا شد")
-        
-        # ✅ 4. جدا کردن توکن‌ها از نشانه‌گذاری (ویژه amount)
-        # مثال: amount-01، → amount-01 ،
-        if "amount" in self.entities_to_anonymize:
-            pattern = r'(amount-\d+)([،؛:.!?])'
-            replacement = r'\1 \2'
-            before = normalized
-            normalized = re.sub(pattern, replacement, normalized)
-            if normalized != before:
-                count = len(re.findall(pattern, before))
-                changes += count
-                logger.info(f"  ✅ amount: {count} نشانه‌گذاری جدا شد")
-        
-        if changes > 0:
-            logger.info(f"✅ مجموع {changes} تغییر نرمال‌سازی")
-        
-        return normalized
-    
     def get_mapping_table_md(self) -> str:
         """تبدیل جدول نگاشت به Markdown"""
         if not self.mapping_table:
@@ -769,6 +333,8 @@ def process(
     analysis_prompt: str, 
     llm_provider: str, 
     llm_model: str,
+    api_key_input: str,
+    # ✅ checkboxها
     anonymize_all: bool,
     anonymize_person: bool,
     anonymize_company: bool,
@@ -807,10 +373,11 @@ def process(
             cerebras_key, 
             llm_provider=llm_provider,
             llm_model=llm_model,
-            entities_to_anonymize=entities
+            llm_api_key=api_key_input,
+            entities_to_anonymize=entities  # ✅ ارسال لیست موجودیت‌ها
         )
     else:
-        anonymizer.set_llm_provider(llm_provider, llm_model, entities)
+        anonymizer.set_llm_provider(llm_provider, llm_model, api_key_input, entities)
         anonymizer.mapping_table = {}
         anonymizer.reverse_mapping = {}
     
@@ -821,41 +388,18 @@ def process(
         logger.info("=" * 70)
         
         # مرحله 1: ناشناس‌سازی
-        logger.info("🔐 مرحله 1: ناشناس‌سازی...")
+        logger.info("📝 مرحله 1: ناشناس‌سازی...")
         anonymized_text, _ = anonymizer.anonymize_with_cerebras(input_text)
         logger.info(f"✅ ناشناس‌سازی: {len(anonymized_text)} کاراکتر")
         
-        # ✅ دیباگ: بررسی توکن‌های موجود در متن ناشناس
-        logger.info("=" * 70)
-        logger.info("🔍 DEBUG - توکن‌های موجود در متن ناشناس:")
-        for entity_type in entities:
-            tokens_found = re.findall(f'{entity_type}-\\d+', anonymized_text)
-            unique_tokens = sorted(set(tokens_found))
-            logger.info(f"  {entity_type}: {unique_tokens}")
-        logger.info("=" * 70)
-        
-        # مرحله 2: LLM (فقط اگر analysis_prompt داده شده باشد)
-        has_analysis = analysis_prompt and analysis_prompt.strip()
-        
-        if has_analysis:
-            logger.info(f"🤖 مرحله 2: {llm_provider.upper()}...")
-            llm_response = anonymizer.analyze_with_llm(anonymized_text, analysis_prompt)
-            logger.info(f"✅ {llm_provider.upper()}: {len(llm_response)} کاراکتر")
-        else:
-            logger.info("⚠️ مرحله 2: بدون تحلیل LLM (پرامپت خالی)")
-            llm_response = "⚠️ هیچ دستور تحلیل داده نشده است"
+        # مرحله 2: LLM
+        logger.info(f"🤖 مرحله 2: {llm_provider.upper()}...")
+        llm_response = anonymizer.analyze_with_llm(anonymized_text, analysis_prompt)
+        logger.info(f"✅ {llm_provider.upper()}: {len(llm_response)} کاراکتر")
         
         # مرحله 3: بازگردانی
         logger.info("🔄 مرحله 3: بازگردانی...")
-        
-        # ✅ اصلاح: اگر تحلیل انجام ��شده، متن ناشناس اصلی رو restore کن
-        if has_analysis:
-            # اگر LLM تحلیل کرده، خروجی LLM رو restore کن
-            restored_text = anonymizer.restore_text(llm_response)
-        else:
-            # اگر تحلیل نشده، متن ناشناس اصلی رو restore کن
-            restored_text = anonymizer.restore_text(anonymized_text)
-        
+        restored_text = anonymizer.restore_text(llm_response)
         logger.info("✅ بازگردانی کامل")
         
         # مرحله 4: جدول نگاشت
@@ -875,138 +419,142 @@ def process(
 
 def clear_all():
     """پاک کردن همه"""
-    return "", "", "", "", "", "", True, False, False, False, False
+    return "", "", "", "", "", "", "", True, False, False, False, False  # ✅ اضافه شد: checkboxها
+
+def update_model_choices(provider: str):
+    """آپدیت لیست مدل‌ها بر اساس provider"""
+    models = AVAILABLE_MODELS.get(provider, [])
+    return gr.Dropdown(choices=models, value=models[0] if models else None)
+
+def update_api_key_visibility(provider: str, model: str):
+    """نمایش/مخفی کردن textbox API key"""
+    # ✅ فقط برای gpt-4o-mini مخفی کن
+    if provider == "chatgpt" and model == "gpt-4o-mini":
+        return gr.Textbox(visible=False, value="")
+    else:
+        return gr.Textbox(visible=True, value="")
 
 # Gradio Interface
 css_rtl = """
-.input-box { 
-    direction: rtl; 
-    text-align: right; 
-}
-.textbox textarea { 
-    direction: rtl; 
-    text-align: right; 
-    font-family: 'Tahoma', serif; 
-}
-.thick-divider {
-    border-top: 2px solid #333;
-    margin: 10px 0;
-}
-.compact-group {
-    margin: 0;
-    padding: 0;
-}
-.compact-checkbox label {
-    padding: 5px 10px !important;
-    margin: 3px 0 !important;
-    font-size: 0.95em !important;
-}
+.input-box { direction: rtl; text-align: right; }
+.textbox textarea { direction: rtl; text-align: right; font-family: 'Tahoma', serif; }
 """
 
 with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.themes.Soft(), css=css_rtl) as app:
     
-    gr.Markdown("# 🔐 پلتفرم امن چت با مدل‌های متنوع و ناشناس‌سازی داده‌ها", elem_classes="input-box")
+    gr.Markdown("# 🔐 سیستم ناشناس‌سازی متون مالی فارسی", elem_classes="input-box")
     
-    # ردیف اول: تنظیمات مدل و انتخاب موجودیت‌ها
     with gr.Row():
-        # سمت راست: تنظیمات مدل
+        # سمت راست: تنظیمات و دکمه‌ها
         with gr.Column(scale=1):
+            # ✅ تنظیمات مدل
             with gr.Group():
                 gr.Markdown("### ⚙️ تنظیمات مدل", elem_classes="input-box")
                 
                 llm_provider = gr.Dropdown(
                     choices=["chatgpt", "grok"],
                     value="chatgpt",
-                    label="🤖 انتخاب مدل زبانی",
+                    label="🤖 انتخاب LLM",
                     interactive=True
                 )
                 
                 llm_model = gr.Dropdown(
                     choices=AVAILABLE_MODELS["chatgpt"],
                     value="gpt-4o-mini",
-                    label="📦 انتخاب نسخه مدل",
+                    label="📦 انتخاب مدل",
                     interactive=True
                 )
-        
-        # سمت چپ: انتخاب موجودیت‌ها
-        with gr.Column(scale=1):
+                
+                # ✅ textbox برای API key (مخفی برای gpt-4o-mini)
+                api_key_input = gr.Textbox(
+                    label="🔑 API Key",
+                    placeholder="فقط برای مدل‌های غیر از gpt-4o-mini",
+                    type="password",
+                    visible=False,  # پیش‌فرض مخفی (چون gpt-4o-mini انتخاب شده)
+                    elem_classes="textbox"
+                )
+                
+                gr.Markdown(
+                    "💡 **نکته:** gpt-4o-mini از Secret خوانده می‌شود. برای بقیه مدل‌ها API key وارد کنید.",
+                    elem_classes="input-box"
+                )
+            
+            gr.Markdown("---")
+            
+            # ✅ انتخاب موجودیت‌ها برای ناشناس‌سازی
             with gr.Group():
                 gr.Markdown("### 🎯 انتخاب موجودیت‌ها", elem_classes="input-box")
                 
                 anonymize_all = gr.Checkbox(
                     label="✅ همه موجودیت‌ها",
                     value=True,
-                    elem_classes="input-box compact-checkbox"
+                    elem_classes="input-box"
                 )
                 
                 anonymize_person = gr.Checkbox(
                     label="👤 اسامی اشخاص",
                     value=False,
-                    elem_classes="input-box compact-checkbox"
+                    elem_classes="input-box"
                 )
                 
                 anonymize_company = gr.Checkbox(
                     label="🏢 نام شرکت‌ها",
                     value=False,
-                    elem_classes="input-box compact-checkbox"
+                    elem_classes="input-box"
                 )
                 
                 anonymize_amount = gr.Checkbox(
                     label="💰 ارقام مالی",
                     value=False,
-                    elem_classes="input-box compact-checkbox"
+                    elem_classes="input-box"
                 )
                 
                 anonymize_percent = gr.Checkbox(
                     label="📊 درصدها",
                     value=False,
-                    elem_classes="input-box compact-checkbox"
+                    elem_classes="input-box"
                 )
-    
-    # خط جداکننده پررنگ
-    gr.Markdown("---", elem_classes="thick-divider")
-    
-    # ردیف دوم: دستورات پردازش و متن ورودی
-    with gr.Row():
-        # سمت راست: دستورات پردازش
-        with gr.Column(scale=1):
-            gr.Markdown("### 📋 دستورات پردازش", elem_classes="input-box")
+                
+                gr.Markdown(
+                    "💡 اگر 'همه' را انتخاب کنید، بقیه نادیده گرفته می‌شوند",
+                    elem_classes="input-box"
+                )
+            
+            gr.Markdown("---")
             
             analysis_prompt = gr.Textbox(
-                lines=22,
+                lines=6,
                 placeholder="مثال: این متن را خلاصه کن\nیا: نکات کلیدی را استخراج کن",
                 label="📋 دستورات LLM (اختیاری)",
                 elem_classes="textbox"
             )
+            
+            gr.Markdown("---")
+            
+            with gr.Column():
+                process_btn = gr.Button(
+                    "▶️ پردازش",
+                    variant="primary",
+                    size="lg"
+                )
+                
+                clear_btn = gr.Button(
+                    "🗑️ پاک کردن",
+                    variant="stop",
+                    size="lg"
+                )
         
         # سمت چپ: متن ورودی
-        with gr.Column(scale=1):
-            gr.Markdown("### 📝 متن ورودی", elem_classes="input-box")
-            
+        with gr.Column(scale=3):
             input_text = gr.Textbox(
                 lines=22,
                 placeholder="متن مالی/خبری را وارد کنید...",
-                label="",
+                label="📝 متن ورودی",
                 elem_classes="textbox"
             )
     
-    # دکمه‌های پردازش و پاک کردن
-    with gr.Row():
-        process_btn = gr.Button(
-            "▶️ پردازش",
-            variant="primary",
-            size="lg",
-            scale=2
-        )
-        
-        clear_btn = gr.Button(
-            "🗑️ پاک کردن",
-            variant="stop",
-            size="lg",
-            scale=1
-        )
-    
     # نتایج
+    gr.Markdown("---")
     gr.Markdown("## 📊 نتایج پردازش", elem_classes="input-box")
     
     with gr.Row():
@@ -1034,39 +582,63 @@ with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.the
                 elem_classes="textbox"
             )
     
+    gr.Markdown("---")
+    
     mapping_table = gr.Markdown(
         value="### 📋 جدول نگاشت\n\nهنوز پردازشی انجام نشده",
         label="📋 جدول نگاشت",
         elem_classes="input-box"
     )
     
+    # Event Handlers
     
-    # Event Handler برای تغییر provider
+    # ✅ آپدیت مدل‌ها و نمایش API key
     def handle_provider_change(provider):
         models = AVAILABLE_MODELS.get(provider, [])
         default_model = models[0] if models else None
-        return gr.update(choices=models, value=default_model)
+        
+        # چک کن آیا باید API key نمایش داده بشه
+        show_api = not (provider == "chatgpt" and default_model == "gpt-4o-mini")
+        
+        return (
+            gr.Dropdown(choices=models, value=default_model),
+            gr.Textbox(visible=show_api, value="")
+        )
     
     llm_provider.change(
         fn=handle_provider_change,
         inputs=[llm_provider],
-        outputs=[llm_model]
+        outputs=[llm_model, api_key_input]
     )
     
+    # ✅ آپدیت نمایش API key وقتی مدل عوض میشه
+    def handle_model_change(provider, model):
+        show_api = not (provider == "chatgpt" and model == "gpt-4o-mini")
+        return gr.Textbox(visible=show_api, value="")
+    
+    llm_model.change(
+        fn=handle_model_change,
+        inputs=[llm_provider, llm_model],
+        outputs=[api_key_input]
+    )
+    
+    # ✅ وقتی "همه" انتخاب میشه، بقیه رو غیرفعال کن
     def handle_select_all(select_all):
         if select_all:
+            # همه انتخاب شده، بقیه رو غیرفعال کن
             return (
-                gr.update(value=False, interactive=False),
-                gr.update(value=False, interactive=False),
-                gr.update(value=False, interactive=False),
-                gr.update(value=False, interactive=False)
+                gr.Checkbox(value=False, interactive=False),  # person
+                gr.Checkbox(value=False, interactive=False),  # company
+                gr.Checkbox(value=False, interactive=False),  # amount
+                gr.Checkbox(value=False, interactive=False)   # percent
             )
         else:
+            # همه غیرفعال، بقیه رو فعال کن
             return (
-                gr.update(value=False, interactive=True),
-                gr.update(value=False, interactive=True),
-                gr.update(value=False, interactive=True),
-                gr.update(value=False, interactive=True)
+                gr.Checkbox(value=False, interactive=True),
+                gr.Checkbox(value=False, interactive=True),
+                gr.Checkbox(value=False, interactive=True),
+                gr.Checkbox(value=False, interactive=True)
             )
     
     anonymize_all.change(
@@ -1082,7 +654,9 @@ with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.the
             input_text, 
             analysis_prompt, 
             llm_provider, 
-            llm_model,
+            llm_model, 
+            api_key_input,
+            # ✅ checkboxها
             anonymize_all,
             anonymize_person,
             anonymize_company,
@@ -1097,11 +671,13 @@ with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.the
         fn=clear_all,
         outputs=[
             input_text, 
-            analysis_prompt,
+            analysis_prompt, 
+            api_key_input, 
             restored_text, 
             llm_analysis, 
             anonymized_text, 
             mapping_table,
+            # ✅ checkboxها
             anonymize_all,
             anonymize_person,
             anonymize_company,
@@ -1115,22 +691,16 @@ if __name__ == "__main__":
     print("🚀 سیستم ناشناس‌سازی متون در حال راه‌اندازی...")
     print("=" * 70)
     print("\n📋 نحوه استفاده:\n")
-    print("1. API Keyها را در Hugging Face Secrets تنظیم کنید:")
-    print("   - CEREBRAS_API_KEY (ضروری برای ناشناس‌سازی)")
-    print("   - OPENAI_API_KEY (برای ChatGPT)")
-    print("   - XAI_API_KEY (برای Grok)")
+    print("1. کلیدهای API را تنظیم کنید:")
+    print("   - CEREBRAS_API_KEY (ضروری)")
+    print("   - OPENAI_API_KEY (فقط برای gpt-4o-mini)")
     print("2. http://localhost:7860 را باز کنید")
-    print("3. مدل زبانی (ChatGPT/Grok) و نسخه مدل را انتخاب کنید")
-    print("4. موجودیت‌های مورد نظر برای ناشناس‌سازی را انتخاب کنید")
-    print("5. متن و دستورات پردازش را وارد کنید")
+    print("3. LLM و مدل را انتخاب کنید")
+    print("4. برای مدل‌های غیر از gpt-4o-mini، API key وارد کنید")
+    print("5. متن را وارد کنید")
     print("6. 'پردازش' را کلیک کنید\n")
-    print("🔐 تمام API Keyها از Hugging Face Secrets خوانده می‌شوند")
-    print("📦 مدل‌های پشتیبانی شده:")
-    print("   • ChatGPT GPT-5: gpt-5.1, gpt-5")
-    print("   • ChatGPT GPT-4: gpt-4.1, gpt-4o, gpt-4o-mini, gpt-4-turbo")
-    print("   • Grok-4: grok-4-fast-reasoning, grok-4-fast-non-reasoning, grok-4-0709")
-    print("   • Grok-3: grok-3, grok-3-mini")
-    print("   • Grok-2: grok-2-vision-1212, grok-2-1212, grok-2")
+    print("💡 فقط gpt-4o-mini از Secret می‌خواند")
+    print("   بقیه مدل‌ها نیاز به API key دارند")
     print("=" * 70 + "\n")
     
     app.launch(
@@ -1138,4 +708,4 @@ if __name__ == "__main__":
         server_port=7860,
         share=False,
         show_error=True
-    )
+    )

app_2 اسفند.py

@@ -1,1174 +0,0 @@
-import gradio as gr
-import re
-import os
-import requests
-import json
-import logging
-from typing import Dict, List, Tuple, Optional
-from llm_sender_unified import create_llm_sender
-# ✅ System prompt برای DeepInfra/Qwen3 - جلوگیری از thinking mode
-DEEPINFRA_SYSTEM_PROMPT = """You are a Persian text anonymizer. Your ONLY job is to replace sensitive entities with EXACT placeholders.
-
-PLACEHOLDER FORMAT (mandatory - no other format allowed):
-- Company names → company-01, company-02, company-03, ...
-- Person names  → person-01, person-02, person-03, ...
-- Money amounts → amount-01, amount-02, amount-03, ...
-- Percentages   → percent-01, percent-02, percent-03, ...
-
-STRICT RULES:
-1. Use ONLY these formats. NEVER use [Company A], [Person 1], (company), etc.
-2. Replace same entity with same placeholder every time
-3. Keep all other words exactly as-is
-4. Output ONLY the anonymized text or JSON - no explanation, no thinking
-"""
-
-def strip_thinking(text: str) -> str:
-    """✅ حذف بلوک‌های <think>...</think> که Qwen3 تولید می‌کند"""
-    if not text:
-        return text
-    cleaned = re.sub(r"<think>.*?</think>", "", text, flags=re.DOTALL)
-    return cleaned.strip()
-
-
-
-# ✅ مدل‌های موجود - به‌روزرسانی نوامبر 2024
-AVAILABLE_MODELS = {
-    "chatgpt": [
-        "gpt-5.1",
-        "gpt-5",
-        "gpt-4.1",
-        "gpt-4o",
-        "gpt-4o-mini",
-        "gpt-4-turbo",
-    ],
-    "grok": [
-        "grok-4-0709",
-        "grok-3",
-        "grok-3-mini",
-        "grok-2-1212",
-    ],
-    "deepinfra": [
-        "Qwen/Qwen3-14B",
-        "Qwen/Qwen3-32B",
-        "Qwen/Qwen3-30B-A3B",
-        "Qwen/Qwen2.5-72B-Instruct",
-        "Qwen/Qwen2.5-14B-Instruct",
-    ]
-}
-
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-class AnonymizerAdvanced:
-    """ناشناس‌ساز پیشرفته با روش‌های متعدد"""
-    
-    def __init__(
-        self, 
-        deepinfra_key: str = None, 
-        llm_provider: str = "chatgpt", 
-        llm_model: str = None,
-        entities_to_anonymize: List[str] = None
-    ):
-        self.deepinfra_key = deepinfra_key or os.getenv("DEEPINFRA_API_KEY")
-        self.llm_provider = llm_provider
-        self.llm_model = llm_model
-        self.entities_to_anonymize = entities_to_anonymize or ["person", "company", "amount", "percent"]
-        self.mapping_table = {}
-        self.reverse_mapping = {}
-        
-        # ایجاد LLM sender
-        self._create_llm_sender()
-        
-        logger.info(f"✅ Anonymizer Advanced مقداردهی شد با {llm_provider}")
-    
-    def _create_llm_sender(self):
-        """ایجاد LLM sender مناسب"""
-        try:
-            # ✅ همیشه از Hugging Face Secrets استفاده کن
-            if self.llm_provider == "chatgpt":
-                api_key = os.getenv("OPENAI_API_KEY")
-                logger.info("🔑 استفاده از OPENAI_API_KEY از Secrets")
-            elif self.llm_provider == "grok":
-                api_key = os.getenv("XAI_API_KEY")
-                logger.info("🔑 استفاده از XAI_API_KEY از Secrets")
-            elif self.llm_provider == "deepinfra":
-                api_key = os.getenv("DEEPINFRA_API_KEY")
-                logger.info("🔑 استفاده از DEEPINFRA_API_KEY از Secrets")
-            else:
-                api_key = None
-                logger.warning("⚠️ Provider ناشناخته")
-            
-            # ایجاد sender
-            self.llm_sender = create_llm_sender(
-                provider=self.llm_provider,
-                api_key=api_key,
-                model=self.llm_model
-            )
-            
-            logger.info(f"✅ LLM Sender ایجاد شد: {self.llm_provider} - {self.llm_sender.model}")
-            
-        except Exception as e:
-            logger.error(f"❌ خطا در ایجاد LLM Sender: {e}")
-            # fallback to ChatGPT
-            self.llm_sender = create_llm_sender("chatgpt")
-
-    def set_llm_provider(self, provider: str, model: str = None, entities: List[str] = None):
-        """تغییر provider و مدل LLM و موجودیت‌های ناشناس‌سازی"""
-        self.llm_provider = provider
-        self.llm_model = model
-        if entities is not None:
-            self.entities_to_anonymize = entities
-        self._create_llm_sender()
-        logger.info(f"✅ LLM تغییر یافت به: {provider} - {model}")
-        logger.info(f"✅ موجودیت‌های ناشناس‌سازی: {self.entities_to_anonymize}")
-
-    def anonymize_with_deepinfra(self, text: str) -> Tuple[str, Dict]:
-        """ناشناس‌سازی با DeepInfra (Qwen3-14B) - بر اساس موجودیت‌های انتخابی"""
-        logger.info("🧠 روش DeepInfra (Qwen3-14B)...")
-        
-        if not self.deepinfra_key:
-            logger.error("❌ DeepInfra API Key موجود نیست")
-            raise ValueError("DeepInfra API Key مورد نیاز است")
-        
-        # ✅ ساخت دستورات بر اساس موجودیت‌های انتخابی
-        instructions = []
-        instruction_number = 1
-        
-        if "person" in self.entities_to_anonymize:
-            instructions.append(f"{instruction_number}. اسامی اشخاص → person-01, person-02, ...")
-            instruction_number += 1
-        
-        if "company" in self.entities_to_anonymize:
-            instructions.append(f"{instruction_number}. نام شرکت‌ها/سازمان‌ها → company-01, company-02, ...")
-            instruction_number += 1
-        
-        if "amount" in self.entities_to_anonymize:
-            instructions.append(f"{instruction_number}. اعداد و ارقام و مبالغ (مثل: 50 میلیارد، 100 هزار، 25.5 میلیون، ۳۰۰ دستگاه) → amount-01, amount-02, ...")
-            instruction_number += 1
-        
-        if "percent" in self.entities_to_anonymize:
-            instructions.append(f"{instruction_number}. درصدها → percent-01, percent-02, ...")
-            instruction_number += 1
-        
-        # اگه هیچی انتخاب نشده، متن رو همون‌طور برگردون
-        if not instructions:
-            logger.warning("⚠️ هیچ موجودیتی برای ناشناس‌سازی انتخاب نشده!")
-            return text, {}
-        
-        instructions_text = "\n".join(instructions)
-        instructions_text += f"\n{instruction_number}. فقط این توکن‌ها استفاده کنید"
-        instructions_text += f"\n{instruction_number + 1}. شماره‌های نسخه را درست حفظ کنید"
-        instructions_text += f"\n{instruction_number + 2}. اگر موجودیت تکرار شود از شماره قدیمی استفاده کنید"
-        
-        try:
-            # مرحله 1: ناشناس‌سازی متن
-            # ✅ ساخت مثال برای amount (اگر انتخاب شده)
-            example_text = ""
-            if "amount" in self.entities_to_anonymize:
-                example_text = """
-مثال:
-متن اصلی: "فروش 50 میلیارد ریال در سال گذشته بود."
-متن ناشناس: "فروش amount-01 در سال گذشته بود."
-"""
-            
-            prompt1 = f"""متن زیر را ناشناس کنید. قوانین:
-{instructions_text}
-{example_text}
-متن:
-{text}
-
-خروجی: فقط متن ناشناس شده (بدون توضیح اضافی)"""
-            
-            response1 = requests.post(
-                "https://api.deepinfra.com/v1/openai/chat/completions",
-                headers={
-                    "Authorization": f"Bearer {self.deepinfra_key}",
-                    "Content-Type": "application/json"
-                },
-                json={
-                    "model": "Qwen/Qwen3-14B",
-                    "messages": [
-                        {"role": "system", "content": DEEPINFRA_SYSTEM_PROMPT},
-                        {"role": "user", "content": prompt1}
-                    ],
-                    "max_tokens": 4096,
-                    "temperature": 0.1
-                },
-                timeout=60
-            )
-            
-            if response1.status_code != 200:
-                logger.error(f"❌ DeepInfra Error: {response1.status_code}")
-                raise Exception(f"DeepInfra API Error: {response1.status_code}")
-            
-            # ✅ حذف بلوک‌های thinking که Qwen3 تولید می‌کند
-            anonymized_text = strip_thinking(response1.json()['choices'][0]['message']['content'])
-            logger.info("✅ DeepInfra: ناشناس‌سازی موفق")
-            
-            # مرحله 2: استخراج mapping - فقط برای موجودیت‌های انتخابی
-            mapping_instructions = []
-            json_example = "{\n"
-            
-            if "person" in self.entities_to_anonymize:
-                mapping_instructions.append('- برای person-XX: نام کامل شخص (مثلاً "علی احمدی")')
-                json_example += '  "person-01": "متن اصلی کامل",\n'
-            
-            if "company" in self.entities_to_anonymize:
-                mapping_instructions.append('- برای company-XX: نام کامل شرکت/سازمان (مثلاً "شرکت پتروشیمی")')
-                json_example += '  "company-01": "متن اصلی کامل",\n'
-            
-            if "amount" in self.entities_to_anonymize:
-                mapping_instructions.append('- برای amount-XX: عدد + واحد (مثلاً "80 هزار تومان" یا "50 میلیارد ریال")')
-                json_example += '  "amount-01": "متن اصلی کامل با واحد",\n'
-            
-            if "percent" in self.entities_to_anonymize:
-                mapping_instructions.append('- برای percent-XX: عدد + کلمه "درصد" (مثلاً "40 درصد" نه فقط "40")')
-                json_example += '  "percent-01": "عدد + درصد",\n'
-            
-            json_example += "  ...\n}"
-            mapping_instructions_text = "\n".join(mapping_instructions)
-            
-            prompt2 = f"""متن اصلی:
-{text}
-
-متن ناشناس شده:
-{anonymized_text}
-
-لطفاً یک جدول mapping برای همه توکن‌های ناشناس ایجاد کن.
-برای هر توکن، متن اصلی کامل آن را مشخص کن.
-
-**مهم:** 
-{mapping_instructions_text}
-
-خروجی را به این فرمت JSON بده (فقط JSON، بدون توضیح اضافی):
-{json_example}"""
-            
-            response2 = requests.post(
-                "https://api.deepinfra.com/v1/openai/chat/completions",
-                headers={
-                    "Authorization": f"Bearer {self.deepinfra_key}",
-                    "Content-Type": "application/json"
-                },
-                json={
-                    "model": "Qwen/Qwen3-14B",
-                    "messages": [
-                        {"role": "system", "content": DEEPINFRA_SYSTEM_PROMPT},
-                        {"role": "user", "content": prompt2}
-                    ],
-                    "max_tokens": 2048,
-                    "temperature": 0.1
-                },
-                timeout=60
-            )
-            
-            if response2.status_code == 200:
-                # ✅ حذف بلوک‌های thinking + پاکسازی
-                mapping_text = strip_thinking(response2.json()['choices'][0]['message']['content'])
-                mapping_text = mapping_text.replace('```json', '').replace('```', '').strip()
-                
-                try:
-                    self.mapping_table = json.loads(mapping_text)
-                    self._fix_percent_mapping()
-                    self.reverse_mapping = {v: k for k, v in self.mapping_table.items()}
-                    logger.info(f"✅ Mapping استخراج شد: {len(self.mapping_table)} موجودیت")
-                except json.JSONDecodeError:
-                    logger.warning("⚠️ خطا در parse کردن JSON mapping - استفاده از روش fallback")
-                    self._extract_mapping_from_text(text, anonymized_text)
-            else:
-                logger.warning("⚠️ خطا در دریافت mapping - استفاده از روش fallback")
-                self._extract_mapping_from_text(text, anonymized_text)
-            
-            return anonymized_text, self.mapping_table
-                
-        except Exception as e:
-            logger.error(f"❌ DeepInfra Exception: {e}")
-            raise
-    
-    def _fix_percent_mapping(self):
-        """اصلاح mapping برای درصدها"""
-        for token, value in self.mapping_table.items():
-            value_str = str(value).strip()
-            
-            if token.startswith('percent-'):
-                if not re.search(r'(درصد|%|درصدی)', value_str):
-                    self.mapping_table[token] = f"{value_str} درصد"
-                    logger.info(f"✅ اصلاح {token}: '{value_str}' → '{value_str} درصد'")
-            
-            elif token.startswith('amount-'):
-                if not re.search(r'(میلیارد|میلیون|هزار|تومان|ریال|دلار|یورو|تن)', value_str):
-                    logger.warning(f"⚠️ {token}: فقط عدد '{value_str}' - واحد مشخص نیست")
-
-    def _extract_mapping_from_text(self, original: str, anonymized: str):
-        """استخراج mapping از متن‌های اصلی و ناشناس شده - فقط برای موجودیت‌های انتخابی"""
-        
-        # ✅ استخراج فقط توکن‌های انتخابی
-        all_tokens = []
-        for entity_type in self.entities_to_anonymize:
-            tokens = re.findall(f'{entity_type}-\\d+', anonymized)
-            all_tokens.extend([(t, entity_type) for t in tokens])
-        
-        all_tokens = sorted(set(all_tokens), key=lambda x: (x[1], int(x[0].split('-')[1])))
-        
-        # ✅ الگوهای موجودیت - فقط برای انتخابی‌ها
-        patterns = {}
-        if "person" in self.entities_to_anonymize:
-            patterns['person'] = r'\b[ء-ي]+\s+[ء-ي]+(?:\s+[ء-ي]+)*\b'
-        if "company" in self.entities_to_anonymize:
-            patterns['company'] = r'(?:شرکت|بانک|سازمان|گروه|هلدینگ)\s+[ء-ي]+(?:\s+[ء-ي]+)*'
-        if "amount" in self.entities_to_anonymize:
-            patterns['amount'] = r'\d+(?:\.\d+)?\s*(?:میلیارد|میلیون|هزار|تومان|ریال|دلار|یورو|تن)'
-        if "percent" in self.entities_to_anonymize:
-            patterns['percent'] = r'\d+(?:\.\d+)?\s*(?:درصد|%|درصدی)'
-        
-        original_entities = {}
-        for entity_type, pattern in patterns.items():
-            matches = list(re.finditer(pattern, original))
-            original_entities[entity_type] = [m.group().strip() for m in matches]
-        
-        for token, entity_type in all_tokens:
-            if entity_type in original_entities and original_entities[entity_type]:
-                token_num = int(token.split('-')[1]) - 1
-                
-                if token_num < len(original_entities[entity_type]):
-                    original_text = original_entities[entity_type][token_num]
-                    self.mapping_table[token] = original_text
-                    self.reverse_mapping[original_text] = token
-                else:
-                    original_text = original_entities[entity_type][-1]
-                    if token not in self.mapping_table:
-                        self.mapping_table[token] = original_text
-                        self.reverse_mapping[original_text] = token
-    
-    def analyze_with_llm(self, anonymized_text: str, analysis_prompt: str = None) -> str:
-        """استفاده از LLM یکپارچه"""
-        logger.info(f"🤖 {self.llm_provider.upper()} اجرای پرامپت...")
-        
-        if not analysis_prompt or not analysis_prompt.strip():
-            logger.info("⚠️  پرامپت خالی - بدون تحلیل")
-            return "⚠️ هیچ دستور تحلیل داده نشده است"
-        
-        # ✅ بررسی اینکه آیا مدل GPT-4 است
-        is_gpt4 = self.llm_model and any(x in self.llm_model.lower() for x in ['gpt-4', 'gpt4'])
-        
-        if is_gpt4:
-            # ✅ پرامپت ویژه GPT-4 با مثال‌های واقعی
-            logger.info("🎯 استفاده از پرامپت ویژه GPT-4")
-            return self._analyze_with_gpt4_prompt(anonymized_text, analysis_prompt)
-        else:
-            # پرامپت عادی برای GPT-5 و Grok
-            return self._analyze_with_standard_prompt(anonymized_text, analysis_prompt)
-    
-    def _analyze_with_gpt4_prompt(self, anonymized_text: str, analysis_prompt: str) -> str:
-        """پرامپت ویژه GPT-4 با few-shot examples"""
-        
-        # ✅ مثال‌های واقعی Few-Shot
-        few_shot_examples = """
-EXAMPLE 1 - CORRECT:
-Input: "company-01 فروش amount-01 داشت"
-Your output should be EXACTLY: "company-01 فروش amount-01 داشت"
-NOT: "company-01 فروش مبلغ amount-01 داشت"
-
-EXAMPLE 2 - CORRECT:
-Input: "amount-02 به amount-03 رسید"
-Your output should be EXACTLY: "amount-02 به amount-03 رسید"
-NOT: "مبلغ amount-02 به amount-03 رسید"
-
-EXAMPLE 3 - CORRECT:
-Input: "company-01 سود percent-01 داشت"
-Your output should be EXACTLY: "company-01 سود percent-01 داشت"
-NOT: "شرکت company-01 سود درصد percent-01 داشت"
-"""
-        
-        # لیست توکن‌های انتخابی
-        tokens_list = []
-        if "person" in self.entities_to_anonymize:
-            tokens_list.append("person-XX")
-        if "company" in self.entities_to_anonymize:
-            tokens_list.append("company-XX")
-        if "amount" in self.entities_to_anonymize:
-            tokens_list.append("amount-XX")
-        if "percent" in self.entities_to_anonymize:
-            tokens_list.append("percent-XX")
-        
-        tokens_str = ", ".join(tokens_list)
-        
-        # ✅ پرامپت انگلیسی برای GPT-4 (بهتر کار می‌کند)
-        combined_text = f"""You are processing anonymized Persian/Farsi text containing placeholder tokens.
-
-ANONYMIZED TEXT:
-{anonymized_text}
-
-USER REQUEST:
-{analysis_prompt}
-
-CRITICAL RULES:
-1. Use ONLY these exact tokens: {tokens_str}
-2. NEVER add words before/after tokens
-3. Keep the EXACT format: amount-01 (not "مبلغ amount-01" or "amount- 01")
-4. Do NOT create new tokens
-5. Preserve the exact structure
-
-{few_shot_examples}
-
-FORBIDDEN PATTERNS - NEVER USE:
-❌ "مبلغ amount-01" → ✅ Use: "amount-01"
-❌ "شرکت company-01" → ✅ Use: "company-01"  
-❌ "فروش به amount-02" → ✅ Use: "فروش amount-02"
-❌ "درصد percent-01" → ✅ Use: "percent-01"
-❌ "amount- 01" (space) → ✅ Use: "amount-01"
-
-Now process the text following these rules EXACTLY."""
-        
-        try:
-            # ✅ temperature خیلی پایین برای GPT-4
-            logger.info(f"🌡️ Temperature: 0.05 (GPT-4 ویژه)")
-            
-            response = self.llm_sender.send(
-                combined_text, 
-                lang='en',  # انگلیسی برای GPT-4
-                temperature=0.05,  # خیلی خیلی پایین
-                max_tokens=2000
-            )
-            
-            # ✅ دیباگ: نمایش خروجی خام LLM
-            logger.info("=" * 60)
-            logger.info("🔍 DEBUG - خروجی خام GPT-4:")
-            logger.info(response[:500] + "..." if len(response) > 500 else response)
-            logger.info("=" * 60)
-            
-            # ✅ پاکسازی قوی‌تر
-            cleaned_response = self._clean_llm_response(response)
-            
-            # ✅ دیباگ: نمایش خروجی بعد از clean
-            logger.info("=" * 60)
-            logger.info("🧹 DEBUG - خروجی بعد از clean:")
-            logger.info(cleaned_response[:500] + "..." if len(cleaned_response) > 500 else cleaned_response)
-            logger.info("=" * 60)
-            
-            logger.info(f"✅ GPT-4: {len(cleaned_response)} کاراکتر")
-            return cleaned_response
-            
-        except Exception as e:
-            logger.error(f"❌ GPT-4 Exception: {e}")
-            return f"❌ خطا در ارتباط با GPT-4: {str(e)}"
-    
-    def _analyze_with_standard_prompt(self, anonymized_text: str, analysis_prompt: str) -> str:
-        """پرامپت استاندارد برای GPT-5 و Grok"""
-        
-        tokens_instruction = []
-        examples = []
-        
-        if "person" in self.entities_to_anonymize:
-            tokens_instruction.append("person-XX")
-            examples.append("✅ صحیح: person-01 در جلسه حضور داشت\n❌ غلط: آقای person-01")
-        
-        if "company" in self.entities_to_anonymize:
-            tokens_instruction.append("company-XX")
-            examples.append("✅ صحیح: company-01 فعالیت کرد\n❌ غلط: شرکت company-01")
-        
-        if "amount" in self.entities_to_anonymize:
-            tokens_instruction.append("amount-XX")
-            examples.append("✅ صحیح: فروش amount-01 بود\n❌ غلط: فروش مبلغ amount-01")
-        
-        if "percent" in self.entities_to_anonymize:
-            tokens_instruction.append("percent-XX")
-            examples.append("✅ صحیح: رشد percent-01 داشت\n❌ غلط: رشد درصد percent-01")
-        
-        tokens_str = ", ".join(tokens_instruction)
-        examples_str = "\n".join(examples)
-        
-        combined_text = f"""متن ناشناس‌سازی شده:
-{anonymized_text}
-
-دستورات:
-{analysis_prompt}
-
-⚠️ قوانین مهم:
-1. فقط از کدهای ناشناس موجود استفاده کن: {tokens_str}
-2. هیچ کلمه‌ای قبل یا بعد از این کدها اضافه نکن
-3. کد جدید ایجاد نکن
-4. ساختار دقیق متن را حفظ کن
-
-مثال‌های صحیح و غلط:
-{examples_str}"""
-        
-        try:
-            temp_to_use = 0.2
-            logger.info(f"🌡️ Temperature: {temp_to_use}")
-            
-            response = self.llm_sender.send(
-                combined_text, 
-                lang='fa',
-                temperature=temp_to_use,
-                max_tokens=2000
-            )
-            
-            response = self._clean_llm_response(response)
-            
-            logger.info(f"✅ {self.llm_provider.upper()}: {len(response)} کاراکتر")
-            return response
-            
-        except Exception as e:
-            logger.error(f"❌ {self.llm_provider.upper()} Exception: {e}")
-            return f"❌ خطا در ارتباط با {self.llm_provider.upper()}: {str(e)}"
-    
-    def _clean_llm_response(self, text: str) -> str:
-        """پاکسازی کلمات اضافی که LLM ممکن است قبل از موجودیت‌ها اضافه کرده باشد"""
-        logger.info("🧹 پاکسازی کلمات اضافی...")
-        
-        cleaned = text
-        changes_made = 0
-        
-        # الگوهای کلمات اضافی برای هر نوع موجودیت
-        patterns = []
-        
-        if "person" in self.entities_to_anonymize:
-            patterns.extend([
-                (r'(?:آقای|خانم|شخص|فرد)\s+(person-\d+)', r'\1'),
-                (r'(person-\d+)\s+(?:نامدار|محترم|عزیز)', r'\1'),
-            ])
-        
-        if "company" in self.entities_to_anonymize:
-            patterns.extend([
-                (r'(?:شرکت|سازمان|گروه|هلدینگ|بانک|موسسه)\s+(company-\d+)', r'\1'),
-                (r'(company-\d+)\s+(?:محترم)', r'\1'),
-            ])
-        
-        if "amount" in self.entities_to_anonymize:
-            patterns.extend([
-                # ✅ الگوهای کامل برای amount - تمام حالات ممکن
-                # حالت 1: کلمات قبل از amount
-                (r'(?:مبلغ|رقم|عدد|قیمت|ارزش|مقدار)\s+(amount-\d+)', r'\1'),
-                (r'(?:فروش|درآمد|سود|زیان|هزینه|خرج)\s+(amount-\d+)', r'\1'),
-                (r'(?:دارایی|بدهی|سرمایه|پول|وام)\s+(amount-\d+)', r'\1'),
-                
-                # حالت 2: حروف اضافه قبل از amount
-                (r'\bبه\s+(amount-\d+)', r'\1'),
-                (r'\bبا\s+(amount-\d+)', r'\1'),
-                (r'\bاز\s+(amount-\d+)', r'\1'),
-                (r'\bتا\s+(amount-\d+)', r'\1'),
-                (r'\bدر\s+(amount-\d+)', r'\1'),
-                (r'\bبرای\s+(amount-\d+)', r'\1'),
-                
-                # حالت 3: واحدها بعد از amount (اگر نباید باشند)
-                (r'(amount-\d+)\s+(?:ریال|تومان|دلار|یورو)', r'\1'),
-                (r'(amount-\d+)\s+(?:میلیون|میلیارد|هزار|تریلیون)', r'\1'),
-                
-                # حالت 4: ترکیبات
-                (r'(?:به\s+مبلغ)\s+(amount-\d+)', r'\1'),
-                (r'(?:با\s+ارزش)\s+(amount-\d+)', r'\1'),
-                (r'(?:در\s+حد)\s+(amount-\d+)', r'\1'),
-                
-                # حالت 5: فعل + amount (بدون حرف اضافه)
-                (r'(?:رسید|رسیده|می\u200cرسد)\s+(amount-\d+)', r'\1'),
-                (r'(?:شد|شده|می\u200cشود)\s+(amount-\d+)', r'\1'),
-                (r'(?:بود|بوده|است)\s+(amount-\d+)', r'\1'),
-            ])
-        
-        if "percent" in self.entities_to_anonymize:
-            patterns.extend([
-                (r'(?:درصد|%)\s+(percent-\d+)', r'\1'),
-                (r'(percent-\d+)\s+(?:درصد|درصدی|%)', r'\1'),
-            ])
-        
-        # اعمال الگوها
-        for pattern, replacement in patterns:
-            new_text = re.sub(pattern, replacement, cleaned)
-            if new_text != cleaned:
-                count = len(re.findall(pattern, cleaned))
-                changes_made += count
-                cleaned = new_text
-                logger.info(f"  ✅ حذف '{pattern}': {count} مورد")
-        
-        if changes_made > 0:
-            logger.info(f"✅ {changes_made} کلمه اضافی حذف شد")
-        else:
-            logger.info("✅ کلمه اضافی یافت نشد")
-        
-        return cleaned
-    
-    def restore_text(self, anonymized_text: str) -> str:
-        """بازگردانی متن با ترتیب بهینه برای amount"""
-        logger.info("🔄 بازگردانی متن...")
-        
-        if not self.mapping_table:
-            logger.warning("⚠️ جدول نگاشت خالی است")
-            return anonymized_text
-        
-        logger.info(f"📋 تعداد موجودیت‌ها در mapping: {len(self.mapping_table)}")
-        
-        # ✅ STEP 1: normalize (hyphen یونیکد و جداسازی کلمات چسبیده)
-        restored = self._normalize_tokens(anonymized_text)
-        
-        # ✅ STEP 2: restore قوی مخصوص amount با regex (قبل از clean!)
-        # این کلیدی است - باید قبل از clean انجام شود
-        logger.info("🔥 بازگردانی amount با regex...")
-        amount_restored_count = 0
-        for placeholder, original in self.mapping_table.items():
-            if placeholder.startswith("amount-"):
-                # استخراج شماره
-                num = placeholder.split("-")[1]
-                # الگوی regex: amount [فاصله اختیاری] - [فاصله اختیاری] شماره
-                pattern = rf'amount\s*-\s*{num}'
-                matches = re.findall(pattern, restored)
-                if matches:
-                    restored = re.sub(pattern, original, restored)
-                    amount_restored_count += 1
-                    logger.info(f"✅ regex: {placeholder} → {original[:30]}...")
-        
-        if amount_restored_count > 0:
-            logger.info(f"✅ {amount_restored_count} amount با regex بازگردانی شد")
-        
-        # ✅ STEP 3: clean (حذف کلمات اضافی)
-        # حالا که amount ها restore شدن، می‌تونیم clean کنیم
-        restored = self._clean_for_restore(restored)
-        
-        # ✅ STEP 4: replace ساده برای بقیه (person, company, percent)
-        replacements_count = 0
-        for placeholder, original in sorted(self.mapping_table.items(), key=lambda x: len(x[0]), reverse=True):
-            # amount ها رو قبلاً restore کردیم
-            if placeholder.startswith("amount-"):
-                continue
-                
-            if placeholder in restored:
-                restored = restored.replace(placeholder, original)
-                replacements_count += 1
-                logger.info(f"✅ {placeholder} → {original[:30]}...")
-            else:
-                logger.warning(f"⚠️ {placeholder} در متن یافت نشد!")
-        
-        total_restored = amount_restored_count + replacements_count
-        logger.info(f"✅ بازگردانی کامل - {total_restored}/{len(self.mapping_table)} جایگزین شد")
-        
-        # ✅ STEP 5: fallback regex برای توکن‌های باقی‌مانده
-        if total_restored < len(self.mapping_table):
-            logger.info("🔍 تلاش برای یافتن توکن‌های گم‌شده با regex...")
-            restored = self._restore_with_regex(restored)
-        
-        # هشدار در صورت شکست کامل
-        if total_restored == 0 and len(self.mapping_table) > 0:
-            logger.error("❌ هیچ توکنی جایگزین ��شد! متن ورودی احتمالاً متفاوت است.")
-        
-        return restored
-    
-    def _clean_for_restore(self, text: str) -> str:
-        """پاکسازی خاص برای بازگردانی (شبیه _clean_llm_response اما سبک‌تر)"""
-        logger.info("🧹 پاکسازی قبل از بازگردانی...")
-        
-        cleaned = text
-        changes_made = 0
-        
-        patterns = []
-        
-        if "amount" in self.entities_to_anonymize:
-            patterns.extend([
-                (r'(?:مبلغ|رقم|عدد|قیمت|ارزش|فروش|درآمد|هزینه|سود|زیان)\s+(amount-\d+)', r'\1'),
-                (r'\bبه\s+(amount-\d+)', r'\1'),
-                (r'\bبا\s+(amount-\d+)', r'\1'),
-                (r'\bاز\s+(amount-\d+)', r'\1'),
-                (r'\bتا\s+(amount-\d+)', r'\1'),
-            ])
-        
-        for pattern, replacement in patterns:
-            new_text = re.sub(pattern, replacement, cleaned)
-            if new_text != cleaned:
-                changes_made += re.subn(pattern, replacement, cleaned)[1]
-                cleaned = new_text
-        
-        if changes_made > 0:
-            logger.info(f"✅ {changes_made} کلمه اضافی حذف شد")
-        
-        return cleaned
-    
-    def _restore_with_regex(self, text: str) -> str:
-        """بازگردانی با استفاده از regex برای پیدا کردن توکن‌های دارای کلمات اضافی"""
-        restored = text
-        
-        for placeholder, original in self.mapping_table.items():
-            # اگر قبلاً جایگزین شده، رد شو
-            if placeholder not in text:
-                # الگوی regex: کلمه اضافی (اختیاری) + توکن
-                # مثلاً: "فروش amount-01" یا "مبلغ amount-05"
-                entity_type = placeholder.split('-')[0]
-                entity_num = placeholder.split('-')[1]
-                
-                # الگوهای مختلف
-                patterns = [
-                    # کلمه فارسی + فاصله + توکن
-                    rf'[ء-ي]+\s+({entity_type}-{entity_num})\b',
-                    # توکن + فاصله + کلمه فارسی
-                    rf'\b({entity_type}-{entity_num})\s+[ء-ي]+',
-                    # فاصله اضافی داخل توکن
-                    rf'\b{entity_type}\s+-\s+{entity_num}\b',
-                ]
-                
-                for pattern in patterns:
-                    matches = list(re.finditer(pattern, restored))
-                    if matches:
-                        logger.info(f"✅ پیدا شد با regex: {pattern}")
-                        for match in matches:
-                            # جایگزینی کل عبارت با فقط original
-                            full_match = match.group(0)
-                            # اگر توکن داخل match هست، فقط اون رو جایگزین کن
-                            if placeholder in full_match:
-                                restored = restored.replace(full_match, full_match.replace(placeholder, original))
-                            else:
-                                # اگر فرمت توکن متفاوت بود
-                                restored = restored.replace(full_match, original)
-                            logger.info(f"✅ regex: {placeholder} → {original[:30]}...")
-                        break
-        
-        return restored
-    
-    def _normalize_tokens(self, text: str) -> str:
-        """نرمال‌سازی توکن‌ها - حذف فاصله‌های اضافی و hyphen یونیکد"""
-        logger.info("🧹 نرمال‌سازی توکن‌ها...")
-        
-        normalized = text
-        changes = 0
-        
-        # ✅ 1. نرمال‌سازی hyphen های یونیکد برای همه موجودیت‌ها
-        # این hyphen ها: ‐ ‑ ‒ – — − و hyphen معمولی -
-        unicode_hyphens = r'[\u2010\u2011\u2012\u2013\u2014\u2212\-]'
-        
-        for entity_type in self.entities_to_anonymize:
-            # تبدیل همه hyphen ها به - معمولی
-            pattern = rf'{entity_type}{unicode_hyphens}(\d+)'
-            replacement = rf'{entity_type}-\1'
-            count = len(re.findall(pattern, normalized))
-            if count > 0:
-                normalized = re.sub(pattern, replacement, normalized)
-                changes += count
-                logger.info(f"  ✅ {entity_type}: {count} hyphen یونیکد نرمال شد")
-        
-        # ✅ 2. حذف فاضله‌های اضافی داخل توکن
-        for entity_type in self.entities_to_anonymize:
-            pattern = rf'{entity_type}\s+-\s+(\d+)'
-            replacement = rf'{entity_type}-\1'
-            count = len(re.findall(pattern, normalized))
-            if count > 0:
-                normalized = re.sub(pattern, replacement, normalized)
-                changes += count
-                logger.info(f"  ✅ {entity_type}: {count} فاصله اضافی حذف شد")
-        
-        # ✅ 3. جدا کردن توکن‌ها از کلمات فارسی چسبیده (ویژه amount)
-        # مثال: amount-01در → amount-01 در
-        if "amount" in self.entities_to_anonymize:
-            pattern = r'(amount-\d+)([ء-ي])'
-            replacement = r'\1 \2'
-            before = normalized
-            normalized = re.sub(pattern, replacement, normalized)
-            if normalized != before:
-                count = len(re.findall(pattern, before))
-                changes += count
-                logger.info(f"  ✅ amount: {count} کلمه چسبیده جدا شد")
-        
-        # ✅ 4. جدا کردن توکن‌ها از نشانه‌گذاری (ویژه amount)
-        # مثال: amount-01، → amount-01 ،
-        if "amount" in self.entities_to_anonymize:
-            pattern = r'(amount-\d+)([،؛:.!?])'
-            replacement = r'\1 \2'
-            before = normalized
-            normalized = re.sub(pattern, replacement, normalized)
-            if normalized != before:
-                count = len(re.findall(pattern, before))
-                changes += count
-                logger.info(f"  ✅ amount: {count} نشانه‌گذاری جدا شد")
-        
-        if changes > 0:
-            logger.info(f"✅ مجموع {changes} تغییر نرمال‌سازی")
-        
-        return normalized
-    
-    def get_mapping_table_md(self) -> str:
-        """تبدیل جدول نگاشت به Markdown"""
-        if not self.mapping_table:
-            return "### 📋 جدول نگاشت\n\nهیچ موجودیتی شناسایی نشد"
-        
-        table = "### 📋 جدول نگاشت\n\n"
-        table += "| شناسه | متن اصلی |\n"
-        table += "|-------|----------|\n"
-        
-        for token, original in sorted(self.mapping_table.items()):
-            table += f"| **{token}** | {original} |\n"
-        
-        return table
-
-# متغیر سراسری
-anonymizer = None
-
-def process(
-    input_text: str, 
-    analysis_prompt: str, 
-    llm_provider: str, 
-    llm_model: str,
-    anonymize_all: bool,
-    anonymize_person: bool,
-    anonymize_company: bool,
-    anonymize_amount: bool,
-    anonymize_percent: bool
-):
-    """پردازش متن - 4 مرحله"""
-    global anonymizer
-    
-    if not input_text.strip():
-        return "", "", "", ""
-    
-    # ✅ ساخت لیست موجودیت‌های انتخابی
-    if anonymize_all:
-        entities = ["person", "company", "amount", "percent"]
-    else:
-        entities = []
-        if anonymize_person:
-            entities.append("person")
-        if anonymize_company:
-            entities.append("company")
-        if anonymize_amount:
-            entities.append("amount")
-        if anonymize_percent:
-            entities.append("percent")
-    
-    # اگه هیچی انتخاب نشده
-    if not entities:
-        return "", "❌ لطفاً حداقل یک موجودیت برای ناشناس‌سازی انتخاب کنید", "", ""
-    
-    deepinfra_key = os.getenv("DEEPINFRA_API_KEY")
-    
-    # ایجاد یا آپدیت anonymizer
-    if not anonymizer:
-        anonymizer = AnonymizerAdvanced(
-            deepinfra_key, 
-            llm_provider=llm_provider,
-            llm_model=llm_model,
-            entities_to_anonymize=entities
-        )
-    else:
-        anonymizer.set_llm_provider(llm_provider, llm_model, entities)
-        anonymizer.mapping_table = {}
-        anonymizer.reverse_mapping = {}
-    
-    try:
-        logger.info("=" * 70)
-        logger.info(f"🚀 شروع پردازش - LLM: {llm_provider} ({llm_model})")
-        logger.info(f"🎯 موجودیت‌های انتخابی: {', '.join(entities)}")
-        logger.info("=" * 70)
-        
-        # مرحله 1: ناشناس‌سازی
-        logger.info("🔐 مرحله 1: ناشناس‌سازی (DeepInfra - Qwen3-14B)...")
-        anonymized_text, _ = anonymizer.anonymize_with_deepinfra(input_text)
-        logger.info(f"✅ ناشناس‌سازی: {len(anonymized_text)} کاراکتر")
-        
-        # ✅ دیباگ: بررسی توکن‌های موجود در متن ناشناس
-        logger.info("=" * 70)
-        logger.info("🔍 DEBUG - توکن‌های موجود در متن ناشناس:")
-        for entity_type in entities:
-            tokens_found = re.findall(f'{entity_type}-\\d+', anonymized_text)
-            unique_tokens = sorted(set(tokens_found))
-            logger.info(f"  {entity_type}: {unique_tokens}")
-        logger.info("=" * 70)
-        
-        # مرحله 2: LLM (فقط اگر analysis_prompt داده شده باشد)
-        has_analysis = analysis_prompt and analysis_prompt.strip()
-        
-        if has_analysis:
-            logger.info(f"🤖 مرحله 2: {llm_provider.upper()}...")
-            llm_response = anonymizer.analyze_with_llm(anonymized_text, analysis_prompt)
-            logger.info(f"✅ {llm_provider.upper()}: {len(llm_response)} کاراکتر")
-        else:
-            logger.info("⚠️ مرحله 2: بدون تحلیل LLM (پرامپت خالی)")
-            llm_response = "⚠️ هیچ دستور تحلیل داده نشده است"
-        
-        # مرحله 3: بازگردانی
-        logger.info("🔄 مرحله 3: بازگردانی...")
-        
-        # ✅ اصلاح: اگر تحلیل انجام نشده، متن ناشناس اصلی رو restore کن
-        if has_analysis:
-            # اگر LLM تحلیل کرده، خروجی LLM رو restore کن
-            restored_text = anonymizer.restore_text(llm_response)
-        else:
-            # اگر تحلیل نشده، متن ناشناس اصلی رو restore کن
-            restored_text = anonymizer.restore_text(anonymized_text)
-        
-        logger.info("✅ بازگردانی کامل")
-        
-        # مرحله 4: جدول نگاشت
-        logger.info("📋 مرحله 4: جدول نگاشت...")
-        mapping_str = anonymizer.get_mapping_table_md()
-        logger.info(f"✅ {len(anonymizer.mapping_table)} موجودیت")
-        
-        logger.info("=" * 70)
-        logger.info("✅ تمام مراحل کامل!")
-        logger.info("=" * 70)
-        
-        return restored_text, llm_response, anonymized_text, mapping_str
-        
-    except Exception as e:
-        logger.error(f"❌ خطا: {str(e)}", exc_info=True)
-        return "", f"❌ خطا: {str(e)}", "", ""
-
-def clear_all():
-    """پاک کردن همه"""
-    return "", "", "", "", "", "", True, False, False, False, False
-
-# Gradio Interface
-css_rtl = """
-.input-box { 
-    direction: rtl; 
-    text-align: right; 
-}
-.textbox textarea { 
-    direction: rtl; 
-    text-align: right; 
-    font-family: 'Tahoma', serif; 
-}
-.thick-divider {
-    border-top: 2px solid #333;
-    margin: 10px 0;
-}
-.compact-group {
-    margin: 0;
-    padding: 0;
-}
-.compact-checkbox label {
-    padding: 5px 10px !important;
-    margin: 3px 0 !important;
-    font-size: 0.95em !important;
-}
-"""
-
-with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.themes.Soft(), css=css_rtl) as app:
-    
-    gr.Markdown("# 🔐 پلتفرم امن چت با مدل‌های متنوع و ناشناس‌سازی داده‌ها", elem_classes="input-box")
-    
-    # ردیف اول: تنظیمات مدل و انتخاب موجودیت‌ها
-    with gr.Row():
-        # سمت راست: تنظیمات مدل
-        with gr.Column(scale=1):
-            with gr.Group():
-                gr.Markdown("### ⚙️ تنظیمات مدل", elem_classes="input-box")
-                
-                llm_provider = gr.Dropdown(
-                    choices=["chatgpt", "grok", "deepinfra"],
-                    value="chatgpt",
-                    label="🤖 انتخاب مدل زبانی",
-                    interactive=True
-                )
-                
-                llm_model = gr.Dropdown(
-                    choices=AVAILABLE_MODELS["chatgpt"],
-                    value="gpt-4o-mini",
-                    label="📦 انتخاب نسخه مدل",
-                    interactive=True
-                )
-        
-        # سمت چپ: انتخاب موجودیت‌ها
-        with gr.Column(scale=1):
-            with gr.Group():
-                gr.Markdown("### 🎯 انتخاب موجودیت‌ها", elem_classes="input-box")
-                
-                anonymize_all = gr.Checkbox(
-                    label="✅ همه موجودیت‌ها",
-                    value=True,
-                    elem_classes="input-box compact-checkbox"
-                )
-                
-                anonymize_person = gr.Checkbox(
-                    label="👤 اسامی اشخاص",
-                    value=False,
-                    elem_classes="input-box compact-checkbox"
-                )
-                
-                anonymize_company = gr.Checkbox(
-                    label="🏢 نام شرکت‌ها",
-                    value=False,
-                    elem_classes="input-box compact-checkbox"
-                )
-                
-                anonymize_amount = gr.Checkbox(
-                    label="💰 ارقام مالی",
-                    value=False,
-                    elem_classes="input-box compact-checkbox"
-                )
-                
-                anonymize_percent = gr.Checkbox(
-                    label="📊 درصدها",
-                    value=False,
-                    elem_classes="input-box compact-checkbox"
-                )
-    
-    # خط جداکننده پررنگ
-    gr.Markdown("---", elem_classes="thick-divider")
-    
-    # ردیف دوم: دستورات پردازش و متن ورودی
-    with gr.Row():
-        # سمت راست: دستورات پردازش
-        with gr.Column(scale=1):
-            gr.Markdown("### 📋 دستورات پردازش", elem_classes="input-box")
-            
-            analysis_prompt = gr.Textbox(
-                lines=22,
-                placeholder="مثال: این متن را خلاصه کن\nیا: نکات کلیدی را استخراج کن",
-                label="📋 دستورات LLM (اختیاری)",
-                elem_classes="textbox"
-            )
-        
-        # سمت چپ: متن ورودی
-        with gr.Column(scale=1):
-            gr.Markdown("### 📝 متن ورودی", elem_classes="input-box")
-            
-            input_text = gr.Textbox(
-                lines=22,
-                placeholder="متن مالی/خبری را وارد کنید...",
-                label="",
-                elem_classes="textbox"
-            )
-    
-    # دکمه‌های پردازش و پاک کردن
-    with gr.Row():
-        process_btn = gr.Button(
-            "▶️ پردازش",
-            variant="primary",
-            size="lg",
-            scale=2
-        )
-        
-        clear_btn = gr.Button(
-            "🗑️ پاک کردن",
-            variant="stop",
-            size="lg",
-            scale=1
-        )
-    
-    # نتایج
-    gr.Markdown("## 📊 نتایج پردازش", elem_classes="input-box")
-    
-    with gr.Row():
-        with gr.Column(scale=1):
-            restored_text = gr.Textbox(
-                lines=12,
-                label="✅ متن بازگردانی شده",
-                interactive=False,
-                elem_classes="textbox"
-            )
-        
-        with gr.Column(scale=1):
-            llm_analysis = gr.Textbox(
-                lines=12,
-                label="🤖 تحلیل LLM",
-                interactive=False,
-                elem_classes="textbox"
-            )
-        
-        with gr.Column(scale=1):
-            anonymized_text = gr.Textbox(
-                lines=12,
-                label="🔒 متن ناشناس‌شده",
-                interactive=False,
-                elem_classes="textbox"
-            )
-    
-    mapping_table = gr.Markdown(
-        value="### 📋 جدول نگاشت\n\nهنوز پردازشی انجام نشده",
-        label="📋 جدول نگاشت",
-        elem_classes="input-box"
-    )
-    
-    
-    # Event Handler برای تغییر provider
-    def handle_provider_change(provider):
-        models = AVAILABLE_MODELS.get(provider, [])
-        default_model = models[0] if models else None
-        return gr.update(choices=models, value=default_model)
-    
-    llm_provider.change(
-        fn=handle_provider_change,
-        inputs=[llm_provider],
-        outputs=[llm_model]
-    )
-    
-    def handle_select_all(select_all):
-        if select_all:
-            return (
-                gr.update(value=False, interactive=False),
-                gr.update(value=False, interactive=False),
-                gr.update(value=False, interactive=False),
-                gr.update(value=False, interactive=False)
-            )
-        else:
-            return (
-                gr.update(value=False, interactive=True),
-                gr.update(value=False, interactive=True),
-                gr.update(value=False, interactive=True),
-                gr.update(value=False, interactive=True)
-            )
-    
-    anonymize_all.change(
-        fn=handle_select_all,
-        inputs=[anonymize_all],
-        outputs=[anonymize_person, anonymize_company, anonymize_amount, anonymize_percent]
-    )
-    
-    # پردازش
-    process_btn.click(
-        fn=process,
-        inputs=[
-            input_text, 
-            analysis_prompt, 
-            llm_provider, 
-            llm_model,
-            anonymize_all,
-            anonymize_person,
-            anonymize_company,
-            anonymize_amount,
-            anonymize_percent
-        ],
-        outputs=[restored_text, llm_analysis, anonymized_text, mapping_table]
-    )
-    
-    # پاک کردن
-    clear_btn.click(
-        fn=clear_all,
-        outputs=[
-            input_text, 
-            analysis_prompt,
-            restored_text, 
-            llm_analysis, 
-            anonymized_text, 
-            mapping_table,
-            anonymize_all,
-            anonymize_person,
-            anonymize_company,
-            anonymize_amount,
-            anonymize_percent
-        ]
-    )
-
-if __name__ == "__main__":
-    print("=" * 70)
-    print("🚀 سیستم ناشناس‌سازی متون در حال راه‌اندازی...")
-    print("=" * 70)
-    print("\n📋 نحوه استفاده:\n")
-    print("1. API Keyها را در Hugging Face Secrets تنظیم کنید:")
-    print("   - DEEPINFRA_API_KEY (ضروری برای ناشناس‌سازی - Qwen3-14B)")
-    print("   - OPENAI_API_KEY (برای ChatGPT)")
-    print("   - XAI_API_KEY (برای Grok)")
-    print("   - DEEPINFRA_API_KEY (برای DeepInfra به عنوان LLM تحلیل)")
-    print("2. http://localhost:7860 را باز کنید")
-    print("3. مدل زبانی (ChatGPT/Grok) و نسخه مدل را انتخاب کنید")
-    print("4. موجودیت‌های مورد نظر برای ناشناس‌سازی را انتخاب کنید")
-    print("5. متن و دستورات پردازش را وارد کنید")
-    print("6. 'پردازش' را کلیک کنید\n")
-    print("🔐 تمام API Keyها از Hugging Face Secrets خوانده می‌شوند")
-    print("📦 مدل‌های پشتیبانی شده:")
-    print("   • ناشناس‌سازی: DeepInfra Qwen/Qwen3-14B")
-    print("   • ChatGPT: gpt-5.1, gpt-5, gpt-4.1, gpt-4o, gpt-4o-mini")
-    print("   • Grok: grok-4-0709, grok-3, grok-3-mini")
-    print("   • DeepInfra: Qwen/Qwen3-14B, Qwen/Qwen3-32B, Qwen/Qwen2.5-72B-Instruct")
-    print("=" * 70 + "\n")
-    
-    app.launch(
-        server_name="0.0.0.0",
-        server_port=7860,
-        share=False,
-        show_error=True
-    )

app_qwen3_14b.py

@@ -1,695 +0,0 @@
-import gradio as gr
-import re
-import os
-import requests
-import json
-import logging
-from typing import Dict, List, Tuple, Optional
-from llm_sender_unified import create_llm_sender
-
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-# ─────────────────────────────────────────────────────────────
-# مدل‌های موجود — برای تحلیل LLM
-# ─────────────────────────────────────────────────────────────
-AVAILABLE_MODELS = {
-    "chatgpt":   ["gpt-5.1", "gpt-5", "gpt-4.1", "gpt-4o", "gpt-4o-mini", "gpt-4-turbo"],
-    "grok":      ["grok-4-0709", "grok-3", "grok-3-mini", "grok-2-1212"],
-    "deepinfra": [
-        "Qwen/Qwen3-14B", "Qwen/Qwen3-32B", "Qwen/Qwen3-30B-A3B",
-        "Qwen/Qwen2.5-72B-Instruct", "Qwen/Qwen2.5-14B-Instruct",
-    ],
-}
-
-ANON_MODEL   = "Qwen/Qwen3-14B"
-ANON_API_URL = "https://api.deepinfra.com/v1/openai/chat/completions"
-
-# ─────────────────────────────────────────────────────────────
-# SYSTEM PROMPT — برگرفته از نسخه بنچمارک ۹۰٪+
-# ترکیب با قابلیت JSON output برای single call
-# Thinking mode فعال — همان چیزی که دقت بالا می‌داد
-# ─────────────────────────────────────────────────────────────
-ANON_SYSTEM_PROMPT = """شما یک «ناشناس‌ساز متون مالی/خبری فارسی» هستید. وظیفه‌تان جایگزینی اسامی خاص و مقادیر عددی با شناسه‌های بی‌معناست.
-
-قبل از دادن پاسخ نهایی، ابتدا در تگ <thinking> گام‌به‌گام تحلیل کنید:
-1. موجودیت‌های موجود در متن را شناسایی کنید (شرکت، شخص، مبلغ، درصد)
-2. ترتیب ظهور آن‌ها را مشخص کنید
-3. نام‌های مختصر/تکرار را به همان توکن اول نسبت دهید
-4. سپس JSON نهایی را بدهید
-
-### قوانین اندیس‌گذاری:
-- شرکت‌ها: company-01, company-02, ... (بر اساس ترتیب ظهور)
-- اشخاص: person-01, person-02, ...
-- اعداد/مبالغ: amount-01, amount-02, ...
-- درصدها: percent-01, percent-02, ...
-- هر بار که همان موجودیت تکرار می‌شود → همان توکن قبلی
-- فقط: company, person, amount, percent  ❌ ممنوع: bank-01, sazman-01, group-XX
-
-### تشخیص شرکت‌ها:
-- با پیشوند: شرکت، بانک، سازمان، گروه، هلدینگ، صندوق، بیمه، پتروشیمی، ملی، سرمایه‌گذاری
-- بدون پیشوند (نام‌های تجاری): ایران خودرو، سایپا، تاپیکو، پارسیان → company-XX
-- نام مختصر = همان توکن: «شرکت پتروشیمی بوعلی سینا» = «بوعلی» → هر دو company-01
-- نام در پرانتز = همان توکن: «شرکت X (Y)» → company-01، و «Y» بعداً → company-01
-- حسابرس/بازرس قانونی هم company-XX است: «وانیا نیک تدبیر» → company-XX
-- کلمات عمومی ناشناس نشوند: «بانک‌های کشور»، «این بانک»، «12 بانک کشور»، «سه شرکت»
-
-### قوانین amount (مبلغ + واحد = یک موجودیت):
-✅ «100 میلیون دلار» → amount-01   ❌ «amount-01 دلار»
-✅ «283 ریال» → amount-01           ❌ «amount-01 ریال»
-✅ «41.5 همت» → amount-01
-✅ «1,429,349 میلیون ریال» → amount-01
-
-### قوانین percent (عدد + درصد = یک موجودیت):
-✅ «80 درصد» → percent-01          ❌ «percent-01 درصد»
-✅ «14%» → percent-01
-✅ «منفی 345 درصد» → percent-01    ❌ «منفی percent-01»
-✅ «37 درصدی» → percent-01
-
-### بازه‌ها (یک توکن برای کل بازه):
-✅ «50 الی 70 درصد» → percent-01   ❌ «percent-01 الی percent-02»
-✅ «40–60٪» → percent-01           ❌ «percent-01–percent-02»
-✅ «12 تا 18 ماه» → amount-01      ❌ «amount-01 تا amount-02»
-✅ «یک تا 1.5 میلیون تن» → amount-01
-
-### موارد که باید حفظ شوند (ناشناس نشوند):
-- تاریخ: «30 آذر 1403»، «1403/04/12»، «1404/04/29»
-- مکان: تهران، اصفهان، ایران، خوزستان
-- زمان: «راس ساعت 10:00»، «روز سه شنبه»، «مردادماه»
-- دوره زمانی: «۹ ماهه»، «سال مالی منتهی به»، «سه‌ماهه نخست»
-- عناوین شغلی: مدیرعامل، رئیس کل، بازرس قانونی، حسابرس
-- کلمات عمومی: «19 بانکی»، «12 بانک کشور»، «سه شرکت»، «بانک‌های مورد بررسی»
-- نماد بورسی → با company-XX جایگزین شود (همان شرکت مربوطه)
-
-### فرمت خروجی نهایی (بعد از thinking):
-{
-  "anonymized": "متن ناشناس شده اینجا",
-  "mapping": {"company-01": "نام کامل", "amount-01": "عدد+واحد", ...}
-}"""
-
-
-# ─────────────────────────────────────────────────────────────
-# few-shot examples — از باگ‌های واقعی شناسایی‌شده
-# ─────────────────────────────────────────────────────────────
-FEW_SHOT_EXAMPLES = """
-=== EXAMPLES ===
-
-EXAMPLE 1 — نام مختصر + نام در پرانتز + تکرار:
-INPUT:  شرکت گروه توسعه مالی مهر آیندگان (ومهان) رشد 14 درصدی داشت. سرمایه‌گذاری‌های ومهان به 16 هزار و 495 میلیارد تومان رسید.
-OUTPUT json:
-{"anonymized": "company-01 رشد percent-01 داشت. سرمایه‌گذاری‌های company-01 به amount-01 رسید.", "mapping": {"company-01": "شرکت گروه توسعه مالی مهر آیندگان (ومهان)", "percent-01": "14 درصد", "amount-01": "16 هزار و 495 میلیارد تومان"}}
-KEY: «ومهان» = company-01 (same token, NOT company-02)
-
-EXAMPLE 2 — نام کوتاه متفاوت برای شرکت‌های متفاوت:
-INPUT:  مجمع شرکت پتروشیمی بوعلی سینا برگزار شد و وانیا نیک تدبیر بازرس شد. هزینه بوعلی 100 میلیون دلار بود. تحلیل شپنا (شرکت پالایش نفت اصفهان) نشان می‌دهد EPS به 936 ریال برسد.
-OUTPUT json:
-{"anonymized": "مجمع company-01 برگزار شد و company-02 بازرس شد. هزینه company-01 amount-01 بود. تحلیل company-03 نشان می‌دهد EPS به amount-02 برسد.", "mapping": {"company-01": "شرکت پتروشیمی بوعلی سینا", "company-02": "وانیا نیک تدبیر", "amount-01": "100 میلیون دلار", "company-03": "شرکت پالایش نفت اصفهان", "amount-02": "936 ریال"}}
-KEY: «بوعلی» = company-01. «شپنا» = company-03 (شرکت پالایش نفت اصفهان، موجودیت جداگانه از بوعلی)
-
-EXAMPLE 3 — کلمات عمومی ناشناس نشوند + بانک‌های مشخص:
-INPUT:  دو بانک ملت و پاسارگاد سود 157 و 155 هزار میلیارد ریال داشتند. مجموع بانک‌های مورد بررسی زیان 1388 هزار میلیارد ریال داشتند که 10 درصد افزایش یافت. 12 بانک کشور زیان 336 هزار میلیارد تومانی رقم زدند.
-OUTPUT json:
-{"anonymized": "دو company-01 و company-02 سود amount-01 و amount-02 داشتند. مجموع بانک‌های مورد بررسی زیان amount-03 داشتند که percent-01 افزایش یافت. 12 بانک کشور زیان amount-04 رقم زدند.", "mapping": {"company-01": "بانک ملت", "company-02": "بانک پاسارگاد", "amount-01": "157 هزار میلیارد ریال", "amount-02": "155 هزار میلیارد ریال", "amount-03": "1388 هزار میلیارد ریال", "percent-01": "10 درصد", "amount-04": "336 هزار میلیارد تومانی"}}
-KEY: «بانک‌های مورد بررسی» و «12 بانک کشور» = generic → ناشناس نشوند
-
-EXAMPLE 4 — نام چندکلمه‌ای با مکان + بازه درصد:
-INPUT:  شرکت فولاد مبارکه اصفهان با شرکت ملی نفت ایران قرارداد امضا کرد. شرکت فاما سرمایه را از 8,700 میلیارد ریال به 12,500 میلیارد ریال افزایش می‌دهد. سهم سودهای ارزی 40 الی 60 درصد است.
-OUTPUT json:
-{"anonymized": "company-01 با company-02 قرارداد امضا کرد. company-03 سرمایه را از amount-01 به amount-02 افزایش می‌دهد. سهم سودهای ارزی percent-01 است.", "mapping": {"company-01": "شرکت فولاد مبارکه اصفهان", "company-02": "شرکت ملی نفت ایران", "company-03": "شرکت فاما", "amount-01": "8,700 میلیارد ریال", "amount-02": "12,500 میلیارد ریال", "percent-01": "40 الی 60 درصد"}}
-KEY: «اصفهان» داخل company-01. «شرکت فاما» = company-03. بازه «40 الی 60 درصد» = یک توکن percent-01
-
-EXAMPLE 5 — چند شرکت هم‌نام + مبالغ کوچک + درصد با %:
-INPUT:  شرکت ��یمه پارسیان از شرکت سرمایه گذاری پارسیان 1,429,349 میلیون ریال سود شناسایی کرد که 89 ریال برای هر سهم است. جواد شکرخواه مدیرعامل بانک پارسیان گفت سود 41.5 همت شد و 99.99 درصد سهام در اختیار است.
-OUTPUT json:
-{"anonymized": "company-01 از company-02 amount-01 سود شناسایی کرد که amount-02 برای هر سهم است. person-01 مدیرعامل company-03 گفت سود amount-03 شد و percent-01 سهام در اختیار است.", "mapping": {"company-01": "شرکت بیمه پارسیان", "company-02": "شرکت سرمایه گذاری پارسیان", "amount-01": "1,429,349 میلیون ریال", "amount-02": "89 ریال", "person-01": "جواد شکرخواه", "company-03": "بانک پارسیان", "amount-03": "41.5 همت", "percent-01": "99.99 درصد"}}
-KEY: واحد داخل توکن. مبالغ کوچک ریال هم ناشناس می‌شوند.
-
-EXAMPLE 6 — نام مختصر + پادرو + تیپیکو + شپنا:
-INPUT:  شرکت سرمایه‌گذاری دارویی تأمین (تیپیکو) درآمد 681,667 میلیارد ریال داشت. صورت‌های مالی شرکت آسان پادرو 6 میلیارد تومان زیان نشان داد. پادرو 30 میلیارد تومان درآمد کسب کرد. شپنا EPS 936 ریال گزارش داد.
-OUTPUT json:
-{"anonymized": "company-01 درآمد amount-01 داشت. صورت‌های مالی company-02 amount-02 زیان نشان داد. company-02 amount-03 درآمد کسب کرد. company-03 EPS amount-04 گزارش داد.", "mapping": {"company-01": "شرکت سرمایه‌گذاری دارویی تأمین (تیپیکو)", "amount-01": "681,667 میلیارد ریال", "company-02": "شرکت آسان پادرو", "amount-02": "6 میلیارد تومان", "amount-03": "30 میلیارد تومان", "company-03": "شرکت پالایش نفت اصفهان", "amount-04": "936 ریال"}}
-KEY: «تیپیکو» = company-01. «پادرو» = company-02 (همان شرکت آسان پادرو). «شپنا» = company-03 (شرکت پالایش نفت اصفهان)
-
-=== END EXAMPLES ===
-"""
-
-
-# ─────────────────────────────────────────────────────────────
-# ساخت prompt
-# ─────────────────────────────────────────────────────────────
-
-def build_single_call_prompt(text: str, entities: list) -> str:
-    """
-    یک prompt = یک call
-    Thinking mode فعال — برای دقت بالا (نسخه ۹۰٪+)
-    """
-    active = []
-    if "company" in entities: active.append("company-XX (همه سازمان‌ها)")
-    if "person"  in entities: active.append("person-XX (نام اشخاص)")
-    if "amount"  in entities: active.append("amount-XX (اعداد+واحد)")
-    if "percent" in entities: active.append("percent-XX (درصدها)")
-
-    mapping_hints = []
-    if "person"  in entities: mapping_hints.append('"person-XX": "نام کامل"')
-    if "company" in entities: mapping_hints.append('"company-XX": "نام کامل سازمان"')
-    if "amount"  in entities: mapping_hints.append('"amount-XX": "عدد + واحد کامل"')
-    if "percent" in entities: mapping_hints.append('"percent-XX": "عدد + درصد/% کامل"')
-
-    return f"""{FEW_SHOT_EXAMPLES}
-
-موجودیت‌های فعال: {' | '.join(active)}
-
-متن زیر را ناشناس کن. ابتدا در <thinking> تحلیل کن، سپس JSON نهایی بده:
-
-فرمت خروجی نهایی (بعد از </thinking>):
-{{
-  "anonymized": "متن ناشناس شده",
-  "mapping": {{ {", ".join(mapping_hints)} }}
-}}
-
-متن:
-{text}"""
-
-
-def build_analysis_prompt(anonymized_text: str, analysis_prompt: str, entities: list) -> str:
-    tokens = []
-    if "person"  in entities: tokens.append("person-XX")
-    if "company" in entities: tokens.append("company-XX")
-    if "amount"  in entities: tokens.append("amount-XX")
-    if "percent" in entities: tokens.append("percent-XX")
-
-    return f"""متن ناشناس‌سازی شده:
-{anonymized_text}
-
-دستورات:
-{analysis_prompt}
-
-قوانین:
-- فقط از توکن‌های موجود استفاده کن: {', '.join(tokens)}
-- هیچ کلمه‌ای قبل/بعد از توکن‌ها اضافه نکن
-- توکن جدید ایجاد نکن"""
-
-
-# ─────────────────────────────────────────────────────────────
-# توابع کمکی
-# ─────────────────────────────────────────────────────────────
-
-def strip_thinking(text: str) -> str:
-    """
-    حذف بلوک‌های think/thinking از خروجی
-    thinking mode فعال است — برای دقت استفاده می‌شود ولی در خروجی نهایی نمی‌آید
-    """
-    if not text:
-        return text
-    # تگ‌های Qwen3 thinking
-    text = re.sub(r"<think>.*?</think>", "", text, flags=re.DOTALL)
-    # تگ‌های نسخه قدیمی
-    text = re.sub(r"<thinking>.*?</thinking>", "", text, flags=re.DOTALL)
-    return text.strip()
-
-
-def parse_json_response(raw: str) -> dict:
-    """parse JSON مقاوم — thinking block + markdown fence"""
-    raw = strip_thinking(raw)
-    raw = re.sub(r"```(?:json)?", "", raw).replace("```", "").strip()
-    start = raw.find("{")
-    end   = raw.rfind("}") + 1
-    if start == -1 or end == 0:
-        raise ValueError("JSON یافت نشد")
-    return json.loads(raw[start:end])
-
-
-def post_deepinfra(prompt: str, system: str, max_tokens: int = 6000) -> str:
-    """
-    DeepInfra Qwen3-14B
-    Thinking mode فعال — برای دقت بالا
-    max_tokens بالاتر برای فضای thinking
-    """
-    api_key = os.getenv("DEEPINFRA_API_KEY")
-    if not api_key:
-        raise ValueError("DEEPINFRA_API_KEY موجود نیست")
-
-    resp = requests.post(
-        ANON_API_URL,
-        headers={
-            "Authorization": f"Bearer {api_key}",
-            "Content-Type":  "application/json"
-        },
-        json={
-            "model":       ANON_MODEL,
-            "messages":    [
-                {"role": "system", "content": system},
-                {"role": "user",   "content": prompt}
-            ],
-            "max_tokens":  max_tokens,
-            "temperature": 0.3,   # همان مقدار نسخه ۹۰٪+
-            "top_p":       0.9,
-            # thinking mode فعال — chat_template_kwargs را حذف کردیم
-        },
-        timeout=120   # بیشتر برای thinking
-    )
-
-    if resp.status_code != 200:
-        raise Exception(f"DeepInfra {resp.status_code}: {resp.text[:300]}")
-
-    content = resp.json()["choices"][0]["message"]["content"]
-    # لاگ thinking برای debug
-    if "<think>" in content or "<thinking>" in content:
-        thinking = re.search(r"<think(?:ing)?>(.*?)</think(?:ing)?>", content, re.DOTALL)
-        if thinking:
-            logger.info(f"🧠 Thinking ({len(thinking.group(1))} chars)...")
-
-    return strip_thinking(content)
-
-
-# ─────────────────────────────────────────────────────────────
-# کلاس اصلی
-# ─────────────────────────────────────────────────────────────
-class AnonymizerAdvanced:
-
-    def __init__(
-        self,
-        llm_provider: str = "chatgpt",
-        llm_model:    str = None,
-        entities_to_anonymize: List[str] = None
-    ):
-        self.llm_provider = llm_provider
-        self.llm_model    = llm_model
-        self.entities_to_anonymize = entities_to_anonymize or ["person", "company", "amount", "percent"]
-        self.mapping_table:   Dict[str, str] = {}
-        self.reverse_mapping: Dict[str, str] = {}
-        self._create_llm_sender()
-        logger.info(f"✅ Anonymizer — {llm_provider}")
-
-    # ── LLM sender (تحلیل) ──────────────────────────────────
-
-    def _create_llm_sender(self):
-        try:
-            key_map = {
-                "chatgpt":   os.getenv("OPENAI_API_KEY"),
-                "grok":      os.getenv("XAI_API_KEY"),
-                "deepinfra": os.getenv("DEEPINFRA_API_KEY"),
-            }
-            self.llm_sender = create_llm_sender(
-                provider=self.llm_provider,
-                api_key=key_map.get(self.llm_provider),
-                model=self.llm_model
-            )
-            logger.info(f"✅ LLM Sender: {self.llm_provider} — {self.llm_sender.model}")
-        except Exception as e:
-            logger.error(f"❌ LLM Sender خطا: {e}")
-            self.llm_sender = create_llm_sender("chatgpt")
-
-    def set_llm_provider(self, provider: str, model: str = None, entities: List[str] = None):
-        self.llm_provider = provider
-        self.llm_model    = model
-        if entities is not None:
-            self.entities_to_anonymize = entities
-        self._create_llm_sender()
-
-    # ── ناشناس‌سازی — thinking فعال، یک call ──────────────
-
-    def anonymize(self, text: str) -> Tuple[str, Dict]:
-        """
-        Qwen3-14B با thinking mode فعال
-        همان ترکیبی که بنچمارک ۹۰٪+ داد
-        یک API call → anonymized + mapping در JSON
-        """
-        logger.info("🧠 Qwen3-14B (thinking ON | single-call)...")
-
-        if not self.entities_to_anonymize:
-            return text, {}
-
-        prompt = build_single_call_prompt(text, self.entities_to_anonymize)
-
-        try:
-            raw = post_deepinfra(prompt, ANON_SYSTEM_PROMPT, max_tokens=6000)
-            logger.info(f"✅ پاسخ: {len(raw)} کاراکتر")
-
-            result = parse_json_response(raw)
-            anonymized_text    = result.get("anonymized", "")
-            self.mapping_table = result.get("mapping", {})
-
-            self._clean_orphan_tokens(anonymized_text)
-            self._fix_mapping()
-            self.reverse_mapping = {v: k for k, v in self.mapping_table.items()}
-
-            for etype in self.entities_to_anonymize:
-                found = sorted(set(re.findall(rf'{etype}-\d+', anonymized_text)))
-                if found:
-                    logger.info(f"  {etype}: {found}")
-
-            logger.info(f"✅ mapping: {len(self.mapping_table)} موجودیت")
-            return anonymized_text, self.mapping_table
-
-        except json.JSONDecodeError as e:
-            logger.warning(f"⚠️ JSON خطا: {e} — fallback")
-            return self._anonymize_fallback(text)
-        except Exception as e:
-            logger.error(f"❌ Exception: {e}")
-            raise
-
-    def _anonymize_fallback(self, text: str) -> Tuple[str, Dict]:
-        """Fallback: دو call — اگر JSON parse شکست خورد"""
-        logger.info("🔄 fallback: دو call...")
-
-        rules_fa = (
-            "متن زیر را ناشناس کن.\n"
-            "- company-XX: نام کامل سازمان (بانک/شرکت/بیمه/پتروشیمی/...) — نام مختصر = همان توکن\n"
-            "- person-XX: نام کامل اشخاص\n"
-            "- amount-XX: عدد + واحد با هم\n"
-            "- percent-XX: عدد + درصد با هم (بازه هم یک توکن)\n"
-            "کلمات عمومی را دست نزن. فقط متن ناشناس شده."
-        )
-
-        prompt1 = f"{FEW_SHOT_EXAMPLES}\n{rules_fa}\n\nمتن:\n{text}"
-        anonymized_text = post_deepinfra(prompt1, ANON_SYSTEM_PROMPT, max_tokens=4096)
-
-        hints = []
-        if "person"  in self.entities_to_anonymize: hints.append('"person-XX": "نام کامل"')
-        if "company" in self.entities_to_anonymize: hints.append('"company-XX": "نام کامل سازمان"')
-        if "amount"  in self.entities_to_anonymize: hints.append('"amount-XX": "عدد+واحد"')
-        if "percent" in self.entities_to_anonymize: hints.append('"percent-XX": "عدد+درصد"')
-
-        prompt2 = (
-            f"متن اصلی: {text}\n"
-            f"متن ناشناس: {anonymized_text}\n\n"
-            f"فقط JSON mapping:\n{{ {', '.join(hints)} }}"
-        )
-
-        try:
-            raw2 = post_deepinfra(prompt2, "Output ONLY valid JSON. No explanation.", max_tokens=2048)
-            self.mapping_table = parse_json_response(raw2)
-        except Exception:
-            self._extract_mapping_fallback(text, anonymized_text)
-
-        self._clean_orphan_tokens(anonymized_text)
-        self._fix_mapping()
-        self.reverse_mapping = {v: k for k, v in self.mapping_table.items()}
-        return anonymized_text, self.mapping_table
-
-    # ── پاک‌سازی mapping ────────────────────────────────────
-
-    def _clean_orphan_tokens(self, anonymized_text: str):
-        to_remove = [t for t in self.mapping_table if t not in anonymized_text]
-        for t in to_remove:
-            logger.info(f"  🗑️ توکن اضافی: {t}")
-            del self.mapping_table[t]
-
-    def _fix_mapping(self):
-        """اطمینان از صحت مقادیر — فقط percent بدون واحد"""
-        for token, value in list(self.mapping_table.items()):
-            val = str(value).strip()
-            if token.startswith("percent-") and not re.search(r"(درصد|%|٪|درصدی)", val):
-                self.mapping_table[token] = f"{val} درصد"
-                logger.info(f"  اصلاح {token}: '{val}' → '{val} درصد'")
-
-    # ── fallback mapping با regex ────────────────────────────
-
-    def _extract_mapping_fallback(self, original: str, anonymized: str):
-        pats: Dict[str, str] = {}
-        if "person"  in self.entities_to_anonymize:
-            pats["person"]  = r'(?<![ء-یa-zA-Z])[ء-ی]+\s+[ء-ی]+(?:\s+[ء-ی]+)*(?![ء-یa-zA-Z])'
-        if "company" in self.entities_to_anonymize:
-            pats["company"] = (
-                r'(?:(?:شرکت|بانک|سازمان|گروه|هلدینگ|صندوق|بیمه|پتروشیمی|ملی|سرمایه\s*گذاری)\s+)'
-                r'[ء-ی][ء-ی\s]+(?:\([ء-یa-zA-Z۰-۹]+\))?'
-            )
-        if "amount"  in self.entities_to_anonymize:
-            pats["amount"]  = r'[\d۰-۹][,،\d۰-۹]*(?:\.\d+)?\s*(?:هزار\s+و\s+\d+|هزار|میلیون|میلیارد|همت)?\s*(?:میلیارد|میلیون|هزار|تومان|ریال|دلار|دستگاه|تن)?'
-        if "percent" in self.entities_to_anonymize:
-            pats["percent"] = r'[\d۰-۹]+(?:\.\d+)?\s*(?:الی|تا)?\s*(?:[\d۰-۹]+(?:\.\d+)?\s*)?(?:درصد|%|٪|درصدی)'
-
-        orig_entities = {
-            etype: [m.strip() for m in re.findall(pat, original) if m.strip()]
-            for etype, pat in pats.items()
-        }
-
-        for etype in self.entities_to_anonymize:
-            tokens = sorted(set(re.findall(rf'{etype}-(\d+)', anonymized)), key=int)
-            values = orig_entities.get(etype, [])
-            for tok_num in tokens:
-                token = f"{etype}-{tok_num}"
-                idx   = int(tok_num) - 1
-                self.mapping_table[token] = values[idx] if idx < len(values) else (values[-1] if values else token)
-
-        self.reverse_mapping = {v: k for k, v in self.mapping_table.items()}
-        logger.info(f"✅ Fallback mapping: {len(self.mapping_table)} موجودیت")
-
-    # ── تحلیل LLM ───────────────────────────────────────────
-
-    def analyze_with_llm(self, anonymized_text: str, analysis_prompt: str = None) -> str:
-        logger.info(f"🤖 {self.llm_provider.upper()} تحلیل...")
-
-        if not analysis_prompt or not analysis_prompt.strip():
-            return "⚠️ هیچ دستور تحلیل داده نشده است"
-
-        prompt = build_analysis_prompt(anonymized_text, analysis_prompt, self.entities_to_anonymize)
-        try:
-            response = self.llm_sender.send(prompt, lang="fa", temperature=0.2, max_tokens=2000)
-            logger.info(f"✅ {self.llm_provider.upper()}: {len(response)} کاراکتر")
-            return response
-        except Exception as e:
-            logger.error(f"❌ {self.llm_provider.upper()} Exception: {e}")
-            return f"❌ خطا: {str(e)}"
-
-    # ── بازگردانی ────────────────────────────────────────────
-
-    def restore_text(self, anonymized_text: str) -> str:
-        logger.info("🔄 بازگردانی...")
-
-        if not self.mapping_table:
-            return anonymized_text
-
-        restored = self._normalize_tokens(anonymized_text)
-        count = 0
-
-        for placeholder, original in sorted(
-            self.mapping_table.items(), key=lambda x: len(x[0]), reverse=True
-        ):
-            if placeholder in restored:
-                restored = restored.replace(placeholder, original)
-                count += 1
-                logger.info(f"  ✅ {placeholder} → {original[:40]}")
-            else:
-                logger.warning(f"  ⚠️ {placeholder} یافت نشد")
-
-        logger.info(f"✅ {count}/{len(self.mapping_table)} بازگردانی شد")
-
-        if count < len(self.mapping_table):
-            restored = self._restore_with_regex(restored)
-
-        return restored
-
-    def _normalize_tokens(self, text: str) -> str:
-        normalized = text
-        unicode_hyphens = r'[\u2010\u2011\u2012\u2013\u2014\u2212]'
-        for etype in self.entities_to_anonymize:
-            normalized = re.sub(rf'{etype}{unicode_hyphens}(\d+)', rf'{etype}-\1', normalized)
-            normalized = re.sub(rf'{etype}\s+-\s+(\d+)',            rf'{etype}-\1', normalized)
-            normalized = re.sub(rf'({etype}-\d+)([ء-ی])',           r'\1 \2',       normalized)
-            normalized = re.sub(rf'({etype}-\d+)([،؛:.!?])',        r'\1 \2',       normalized)
-        return normalized
-
-    def _restore_with_regex(self, text: str) -> str:
-        restored = text
-        for placeholder, original in self.mapping_table.items():
-            if placeholder not in restored:
-                continue
-            etype, num = placeholder.split("-")
-            if re.search(rf'{etype}\s*-\s*{num}', restored):
-                restored = re.sub(rf'{etype}\s*-\s*{num}', original, restored)
-                logger.info(f"  ✅ regex: {placeholder} → {original[:40]}")
-        return restored
-
-    def get_mapping_table_md(self) -> str:
-        if not self.mapping_table:
-            return "### 📋 جدول نگاشت\n\nهیچ موجودیتی شناسایی نشد"
-        table = "### 📋 جدول نگاشت\n\n| شناسه | متن اصلی |\n|-------|----------|\n"
-        for token, original in sorted(self.mapping_table.items()):
-            table += f"| **{token}** | {original} |\n"
-        return table
-
-
-# ─────────────────────────────────────────────────────────────
-# متغیر سراسری
-# ─────────────────────────────────────────────────────────────
-anonymizer: Optional[AnonymizerAdvanced] = None
-
-
-# ──────────────���──────────────────────────────────────────────
-# تابع اصلی
-# ─────────────────────────────────────────────────────────────
-def process(
-    input_text: str,
-    analysis_prompt: str,
-    llm_provider: str,
-    llm_model: str,
-    anonymize_all: bool,
-    anonymize_person: bool,
-    anonymize_company: bool,
-    anonymize_amount: bool,
-    anonymize_percent: bool
-):
-    global anonymizer
-
-    if not input_text.strip():
-        return "", "", "", ""
-
-    entities = ["person", "company", "amount", "percent"] if anonymize_all else [
-        e for e, flag in [
-            ("person",  anonymize_person),
-            ("company", anonymize_company),
-            ("amount",  anonymize_amount),
-            ("percent", anonymize_percent),
-        ] if flag
-    ]
-
-    if not entities:
-        return "", "❌ لطفاً حداقل یک موجودیت انتخاب کنید", "", ""
-
-    if not anonymizer:
-        anonymizer = AnonymizerAdvanced(
-            llm_provider=llm_provider,
-            llm_model=llm_model,
-            entities_to_anonymize=entities
-        )
-    else:
-        anonymizer.set_llm_provider(llm_provider, llm_model, entities)
-        anonymizer.mapping_table   = {}
-        anonymizer.reverse_mapping = {}
-
-    try:
-        logger.info("=" * 60)
-        logger.info(f"🧠 Qwen3-14B (thinking ON | single-call)")
-        logger.info(f"🤖 تحلیل: {llm_provider} ({llm_model})")
-        logger.info(f"🎯 موجودیت‌ها: {entities}")
-        logger.info("=" * 60)
-
-        anon_text, _ = anonymizer.anonymize(input_text)
-
-        has_analysis = bool(analysis_prompt and analysis_prompt.strip())
-        llm_response = anonymizer.analyze_with_llm(anon_text, analysis_prompt) if has_analysis \
-                       else "⚠️ هیچ دستور تحلیل داده نشده است"
-
-        source   = llm_response if has_analysis else anon_text
-        restored = anonymizer.restore_text(source)
-
-        return restored, llm_response, anon_text, anonymizer.get_mapping_table_md()
-
-    except Exception as e:
-        logger.error(f"❌ خطا: {e}", exc_info=True)
-        return "", f"❌ خطا: {str(e)}", "", ""
-
-
-def clear_all():
-    return "", "", "", "", "", "", True, False, False, False, False
-
-
-# ─────────────────────────────────────────────────────────────
-# رابط کاربری Gradio
-# ─────────────────────────────────────────────────────────────
-css_rtl = """
-.textbox textarea { direction: rtl; text-align: right; font-family: 'Tahoma', serif; }
-.input-box { direction: rtl; text-align: right; }
-.compact-checkbox label { padding: 5px 10px !important; font-size: 0.95em !important; }
-"""
-
-with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.themes.Soft(), css=css_rtl) as app:
-
-    gr.Markdown(
-        "# 🔐 پلتفرم ناشناس‌سازی متون فارسی\n"
-        "> 🧠 **Qwen3-14B** با thinking mode — دقت بالا (بنچمارک ۹۰٪+)",
-        elem_classes="input-box"
-    )
-
-    with gr.Row():
-        with gr.Column(scale=1):
-            with gr.Group():
-                gr.Markdown("### ⚙️ مدل تحلیل", elem_classes="input-box")
-                llm_provider = gr.Dropdown(
-                    choices=["chatgpt", "grok", "deepinfra"],
-                    value="chatgpt", label="🤖 مدل زبانی تحلیل", interactive=True
-                )
-                llm_model = gr.Dropdown(
-                    choices=AVAILABLE_MODELS["chatgpt"],
-                    value="gpt-4o-mini", label="📦 نسخه مدل", interactive=True
-                )
-
-        with gr.Column(scale=1):
-            with gr.Group():
-                gr.Markdown("### 🎯 موجودیت‌های ناشناس‌سازی", elem_classes="input-box")
-                anonymize_all     = gr.Checkbox(label="✅ همه",          value=True,  elem_classes="compact-checkbox")
-                anonymize_person  = gr.Checkbox(label="👤 اشخاص",        value=False, elem_classes="compact-checkbox")
-                anonymize_company = gr.Checkbox(label="🏢 سازمان‌ها",    value=False, elem_classes="compact-checkbox")
-                anonymize_amount  = gr.Checkbox(label="💰 ارقام مالی",   value=False, elem_classes="compact-checkbox")
-                anonymize_percent = gr.Checkbox(label="📊 درصدها",        value=False, elem_classes="compact-checkbox")
-
-    gr.Markdown("---")
-
-    with gr.Row():
-        with gr.Column(scale=1):
-            gr.Markdown("### 📋 دستورات تحلیل (اخت��اری)", elem_classes="input-box")
-            analysis_prompt = gr.Textbox(
-                lines=20, placeholder="مثال: این متن را خلاصه کن",
-                label="", elem_classes="textbox"
-            )
-        with gr.Column(scale=1):
-            gr.Markdown("### 📝 متن ورودی", elem_classes="input-box")
-            input_text = gr.Textbox(
-                lines=20, placeholder="متن فارسی را وارد کنید...",
-                label="", elem_classes="textbox"
-            )
-
-    with gr.Row():
-        process_btn = gr.Button("▶️ پردازش", variant="primary", size="lg", scale=2)
-        clear_btn   = gr.Button("🗑️ پاک کردن", variant="stop",  size="lg", scale=1)
-
-    gr.Markdown("## 📊 نتایج", elem_classes="input-box")
-
-    with gr.Row():
-        restored_text     = gr.Textbox(lines=12, label="✅ متن بازگردانی شده", interactive=False, elem_classes="textbox")
-        llm_analysis      = gr.Textbox(lines=12, label="🤖 تحلیل LLM",         interactive=False, elem_classes="textbox")
-        anonymized_output = gr.Textbox(lines=12, label="🔒 متن ناشناس‌شده",    interactive=False, elem_classes="textbox")
-
-    mapping_table = gr.Markdown("### 📋 جدول نگاشت\n\nهنوز پردازشی انجام نشده", elem_classes="input-box")
-
-    def handle_provider_change(provider):
-        models = AVAILABLE_MODELS.get(provider, [])
-        return gr.update(choices=models, value=models[0] if models else None)
-
-    llm_provider.change(fn=handle_provider_change, inputs=[llm_provider], outputs=[llm_model])
-
-    def handle_select_all(select_all):
-        s = gr.update(value=False, interactive=not select_all)
-        return s, s, s, s
-
-    anonymize_all.change(
-        fn=handle_select_all, inputs=[anonymize_all],
-        outputs=[anonymize_person, anonymize_company, anonymize_amount, anonymize_percent]
-    )
-
-    process_btn.click(
-        fn=process,
-        inputs=[
-            input_text, analysis_prompt, llm_provider, llm_model,
-            anonymize_all, anonymize_person, anonymize_company, anonymize_amount, anonymize_percent
-        ],
-        outputs=[restored_text, llm_analysis, anonymized_output, mapping_table]
-    )
-
-    clear_btn.click(
-        fn=clear_all,
-        outputs=[
-            input_text, analysis_prompt, restored_text, llm_analysis,
-            anonymized_output, mapping_table,
-            anonymize_all, anonymize_person, anonymize_company, anonymize_amount, anonymize_percent
-        ]
-    )
-
-
-if __name__ == "__main__":
-    print("=" * 60)
-    print("🧠 Qwen3-14B | thinking ON | single-call | بنچمارک ۹۰٪+")
-    print("=" * 60)
-    app.launch(server_name="0.0.0.0", server_port=7860, share=False, show_error=True)

llm_sender_unified-llama.py

@@ -1,334 +0,0 @@
-"""
-🤖 LLM Sender Unified Module
-ماژول یکپارچه برای ارسال به ChatGPT و Grok
-✨ با پشتیبانی از GPT-5 models و رفع مشکل temperature
-"""
-
-import requests
-import os
-import logging
-from typing import Optional
-import time
-from abc import ABC, abstractmethod
-
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-
-class LLMSender(ABC):
-    """کلاس پایه برای ارسال به مدل‌های مختلف LLM"""
-    
-    def __init__(self, api_key: Optional[str] = None, model: str = None):
-        self.api_key = api_key
-        self.model = model
-        self.base_url = ""
-        
-    @abstractmethod
-    def get_default_model(self) -> str:
-        """مدل پیش‌فرض"""
-        pass
-    
-    @abstractmethod
-    def get_base_url(self) -> str:
-        """URL پایه API"""
-        pass
-    
-    def set_api_key(self, api_key: str):
-        """تنظیم کلید API"""
-        self.api_key = api_key
-        logger.info("✅ کلید API تنظیم شد")
-    
-    def set_model(self, model: str):
-        """تغییر مدل"""
-        self.model = model
-        logger.info(f"✅ مدل تغییر یافت به: {model}")
-    
-    def _uses_max_completion_tokens(self) -> bool:
-        """بررسی اینکه آیا مدل از max_completion_tokens استفاده می‌کند"""
-        models_with_completion_tokens = [
-            'gpt-5',        # تمام مدل‌های GPT-5
-            'gpt-5.1'       # GPT-5.1
-        ]
-        return any(self.model.startswith(prefix) for prefix in models_with_completion_tokens)
-    
-    def _requires_default_temperature(self) -> bool:
-        """بررسی اینکه آیا مدل فقط temperature=1 را قبول می‌کند"""
-        models_requiring_default_temp = [
-            'gpt-5',        # تمام مدل‌های GPT-5
-            'o1'            # تمام مدل‌های O1
-        ]
-        return any(self.model.startswith(prefix) for prefix in models_requiring_default_temp)
-    
-    def send_simple(self, text: str, lang: str = 'fa') -> str:
-        """ارسال ساده بدون system message سفارشی"""
-        system_msg = (
-            "شما یک تحلیلگر متخصص هستید. متن حاوی کدهای ناشناس است. "
-            "به درخواست‌ها با دقت و حرفه‌ای پاسخ دهید."
-            if lang == 'fa' 
-            else "You are a professional analyst. The text contains anonymous codes. "
-                 "Answer requests accurately and professionally."
-        )
-        
-        return self.send(text, system_msg=system_msg, lang=lang)
-    
-    def send(
-        self,
-        text: str,
-        system_msg: Optional[str] = None,
-        max_tokens: int = 2000,
-        temperature: float = 0.2,  # ✅ کاهش از 0.7 به 0.2 برای دقت بیشتر
-        timeout: int = 60,
-        lang: str = 'fa',
-        retry_count: int = 3
-    ) -> str:
-        """ارسال متن به LLM با کنترل کامل"""
-        try:
-            # بررسی اولیه
-            if not text or not text.strip():
-                error_msg = "متن خالی است!" if lang == 'fa' else "Text is empty!"
-                logger.error(f"❌ {error_msg}")
-                return f"❌ {error_msg}"
-            
-            if not self.api_key:
-                error_msg = "کلید API تنظیم نشده است!" if lang == 'fa' else "API Key not configured!"
-                logger.error(f"❌ {error_msg}")
-                return f"❌ {error_msg}"
-            
-            # تنظیم system message پیش‌فرض
-            if system_msg is None:
-                system_msg = (
-                    "شما یک تحلیلگر مالی حرفه‌ای هستید. متن حاوی کدهای ناشناس است. "
-                    "به سوالات با دقت پاسخ دهید."
-                    if lang == 'fa'
-                    else "You are a professional financial analyst. The text contains anonymous codes. "
-                         "Answer questions accurately."
-                )
-            
-            # تهیه headers
-            headers = {
-                "Authorization": f"Bearer {self.api_key}",
-                "Content-Type": "application/json"
-            }
-            
-            # ✨ تنظیم temperature مناسب
-            if self._requires_default_temperature():
-                actual_temperature = 1.0
-                if temperature != 1.0:
-                    logger.info(f"⚠️ مدل {self.model} فقط temperature=1 را قبول می‌کند")
-            else:
-                actual_temperature = temperature
-            
-            # ساخت request body
-            data = {
-                "model": self.model,
-                "messages": [
-                    {"role": "system", "content": system_msg},
-                    {"role": "user", "content": text}
-                ],
-                "temperature": actual_temperature
-            }
-            
-            # ✨ انتخاب پارامتر مناسب برای max tokens
-            if self._uses_max_completion_tokens():
-                data["max_completion_tokens"] = max_tokens
-            else:
-                data["max_tokens"] = max_tokens
-            
-            # ارسال با retry mechanism
-            for attempt in range(retry_count):
-                try:
-                    logger.info(f"📤 ارسال درخواست به {self.__class__.__name__} (تلاش {attempt + 1}/{retry_count})...")
-                    
-                    response = requests.post(
-                        self.base_url,
-                        headers=headers,
-                        json=data,
-                        timeout=timeout
-                    )
-                    
-                    # پردازش پاسخ موفق
-                    if response.status_code == 200:
-                        result = response.json()
-                        llm_response = result['choices'][0]['message']['content']
-                        logger.info("✅ پاسخ دریافت شد")
-                        return llm_response
-                    
-                    # پردازش خطاهای مختلف
-                    elif response.status_code == 429:  # Rate limiting
-                        wait_time = 5 * (attempt + 1)
-                        logger.warning(f"⚠️  Rate limit | صبر: {wait_time} ثانیه")
-                        if attempt < retry_count - 1:
-                            time.sleep(wait_time)
-                            continue
-                        else:
-                            return (
-                                "❌ سهمیه API تمام شده است. لطفاً بعداً تلاش کنید."
-                                if lang == 'fa'
-                                else "❌ API quota exceeded. Please try later."
-                            )
-                    
-                    elif response.status_code == 401:
-                        return (
-                            "❌ کلید API نامعتبر است!"
-                            if lang == 'fa'
-                            else "❌ Invalid API key!"
-                        )
-                    
-                    elif response.status_code in [502, 503, 504]:  # Server errors
-                        wait_time = 2 * (attempt + 1)
-                        logger.warning(f"⚠️  Server error {response.status_code} | صبر: {wait_time} ثانیه")
-                        if attempt < retry_count - 1:
-                            time.sleep(wait_time)
-                            continue
-                        else:
-                            return (
-                                f"❌ خطای سرور: {response.status_code}"
-                                if lang == 'fa'
-                                else f"❌ Server error: {response.status_code}"
-                            )
-                    
-                    else:
-                        # خطای دیگر
-                        try:
-                            error_data = response.json() if response.content else {}
-                            if isinstance(error_data, dict):
-                                error_msg = error_data.get('error', {}).get('message', response.text)
-                            else:
-                                error_msg = str(error_data)
-                        except:
-                            error_msg = response.text[:200]
-                        
-                        logger.error(f"❌ API Error: {error_msg}")
-                        return f"❌ API Error: {error_msg}"
-                
-                except requests.exceptions.Timeout:
-                    logger.warning("⚠️  Timeout | صبر: 3 ثانیه و تلاش مجدد")
-                    if attempt < retry_count - 1:
-                        time.sleep(3)
-                        continue
-                    else:
-                        return (
-                            "❌ خطای اتصال: timeout"
-                            if lang == 'fa'
-                            else "❌ Connection error: timeout"
-                        )
-                
-                except requests.exceptions.ConnectionError as e:
-                    logger.warning("⚠️  Connection error | صبر: 2 ثانیه و تلاش مجدد")
-                    if attempt < retry_count - 1:
-                        time.sleep(2)
-                        continue
-                    else:
-                        return (
-                            f"❌ خطای اتصال: {str(e)}"
-                            if lang == 'fa'
-                            else f"❌ Connection error: {str(e)}"
-                        )
-        
-        except Exception as e:
-            logger.error(f"❌ خطای غیرمنتظره: {str(e)}")
-            return (
-                f"❌ خطا در ارتباط با LLM: {str(e)}"
-                if lang == 'fa'
-                else f"❌ Error connecting to LLM: {str(e)}"
-            )
-
-
-class ChatGPTSender(LLMSender):
-    """کلاس برای ارسال به ChatGPT"""
-    
-    def __init__(self, api_key: Optional[str] = None, model: str = "gpt-4o-mini"):
-        raw_key = api_key or os.getenv("OPENAI_API_KEY", "")
-        cleaned_key = raw_key.strip() if raw_key else ""
-        
-        super().__init__(cleaned_key, model)
-        self.base_url = self.get_base_url()
-        
-        if not self.api_key:
-            logger.warning("⚠️  کلید OpenAI API تنظیم نشده است!")
-    
-    def get_default_model(self) -> str:
-        return "gpt-4o-mini"
-    
-    def get_base_url(self) -> str:
-        return "https://api.openai.com/v1/chat/completions"
-
-
-class GrokSender(LLMSender):
-    """کلاس برای ارسال به Grok (xAI)"""
-    
-    def __init__(self, api_key: Optional[str] = None, model: str = "grok-beta"):
-        raw_key = api_key or os.getenv("XAI_API_KEY", "")
-        cleaned_key = raw_key.strip() if raw_key else ""
-        
-        super().__init__(cleaned_key, model)
-        self.base_url = self.get_base_url()
-        
-        if not self.api_key:
-            logger.warning("⚠️  کلید xAI API تنظیم نشده است!")
-    
-    def get_default_model(self) -> str:
-        return "grok-beta"
-    
-    def get_base_url(self) -> str:
-        return "https://api.x.ai/v1/chat/completions"
-
-
-def create_llm_sender(
-    provider: str = "chatgpt",
-    api_key: Optional[str] = None,
-    model: Optional[str] = None
-) -> LLMSender:
-    """ایجاد LLM sender بر اساس provider"""
-    provider = provider.lower()
-    
-    if provider == "chatgpt":
-        if model is None:
-            model = "gpt-4o-mini"
-        return ChatGPTSender(api_key=api_key, model=model)
-    
-    elif provider == "grok":
-        if model is None:
-            model = "grok-beta"
-        return GrokSender(api_key=api_key, model=model)
-    
-    else:
-        raise ValueError(f"Provider نامعتبر: {provider}")
-
-
-# ✅ مدل‌های موجود (اصلاح شده)
-AVAILABLE_MODELS = {
-    "chatgpt": [
-        "gpt-5.1",          # ✅ بهترین GPT-5
-        "gpt-5",            # ✅ GPT-5 پایه
-        "gpt-4.1",
-        "gpt-4o-mini",
-        "gpt-4o",
-        "gpt-4-turbo",
-        "gpt-3.5-turbo"
-    ],
-    "grok": [
-        "grok-3-mini",
-        "grok-3",
-        "grok-2-1212"
-    ]
-}
-
-
-if __name__ == "__main__":
-    print("=" * 60)
-    print("🤖 LLM Sender - نسخه اصلاح شده")
-    print("✨ رفع مشکل temperature برای GPT-5")
-    print("=" * 60)
-    
-    # تست
-    print("\n🧪 تست مدل‌ها:")
-    test_models = ['gpt-5', 'gpt-5.1', 'gpt-4o']
-    for model in test_models:
-        sender = create_llm_sender("chatgpt", model=model)
-        uses_completion = sender._uses_max_completion_tokens()
-        requires_default_temp = sender._requires_default_temperature()
-        
-        print(f"\n  مدل: {model}")
-        print(f"    • max_tokens: {'max_completion_tokens' if uses_completion else 'max_tokens'}")
-        print(f"    • temperature: {'1.0 (default only)' if requires_default_temp else '0.7 (custom)'}")

llm_sender_unified.py

@@ -150,9 +150,6 @@ class LLMSender(ABC):
                     if response.status_code == 200:
                         result = response.json()
                         llm_response = result['choices'][0]['message']['content']
-                        # ✅ حذف بلوک‌های thinking برای DeepInfra/Qwen3
-                        if isinstance(self, DeepInfraSender):
-                            llm_response = DeepInfraSender.strip_thinking(llm_response)
                         logger.info("✅ پاسخ دریافت شد")
                         return llm_response
                     
@@ -277,40 +274,6 @@ class GrokSender(LLMSender):
         return "https://api.x.ai/v1/chat/completions"
 
 
-class DeepInfraSender(LLMSender):
-    """کلاس برای ارسال به DeepInfra"""
-    
-    def __init__(self, api_key: Optional[str] = None, model: str = "Qwen/Qwen3-14B"):
-        raw_key = api_key or os.getenv("DEEPINFRA_API_KEY", "")
-        cleaned_key = raw_key.strip() if raw_key else ""
-        
-        super().__init__(cleaned_key, model)
-        self.base_url = self.get_base_url()
-        
-        if not self.api_key:
-            logger.warning("⚠️  کلید DeepInfra API تنظیم نشده است!")
-    
-    def get_default_model(self) -> str:
-        return "Qwen/Qwen3-14B"
-    
-    def get_base_url(self) -> str:
-        return "https://api.deepinfra.com/v1/openai/chat/completions"
-    
-    def _uses_max_completion_tokens(self) -> bool:
-        return False
-    
-    def _requires_default_temperature(self) -> bool:
-        return False
-
-    @staticmethod
-    def strip_thinking(text: str) -> str:
-        """✅ حذف بلوک‌های <think>...</think> که Qwen3 تولید می‌کند"""
-        if not text:
-            return text
-        cleaned = re.sub(r"<think>.*?</think>", "", text, flags=re.DOTALL)
-        return cleaned.strip()
-
-
 def create_llm_sender(
     provider: str = "chatgpt",
     api_key: Optional[str] = None,
@@ -329,20 +292,15 @@ def create_llm_sender(
             model = "grok-beta"
         return GrokSender(api_key=api_key, model=model)
     
-    elif provider == "deepinfra":
-        if model is None:
-            model = "Qwen/Qwen3-14B"
-        return DeepInfraSender(api_key=api_key, model=model)
-    
     else:
         raise ValueError(f"Provider نامعتبر: {provider}")
 
 
-# ✅ مدل‌های موجود (به‌روزرسانی شده با DeepInfra)
+# ✅ مدل‌های موجود (اصلاح شده)
 AVAILABLE_MODELS = {
     "chatgpt": [
-        "gpt-5.1",
-        "gpt-5",
+        "gpt-5.1",          # ✅ بهترین GPT-5
+        "gpt-5",            # ✅ GPT-5 پایه
         "gpt-4.1",
         "gpt-4o-mini",
         "gpt-4o",
@@ -353,13 +311,6 @@ AVAILABLE_MODELS = {
         "grok-3-mini",
         "grok-3",
         "grok-2-1212"
-    ],
-    "deepinfra": [
-        "Qwen/Qwen3-14B",
-        "Qwen/Qwen3-32B",
-        "Qwen/Qwen3-30B-A3B",
-        "Qwen/Qwen2.5-72B-Instruct",
-        "Qwen/Qwen2.5-14B-Instruct",
     ]
 }