Delete app.py

app.py

@@ -1,345 +0,0 @@
-import gradio as gr
-import re
-import os
-import requests
-import logging
-from typing import Dict, List, Tuple
-
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-class AnonymizerComplete:
-    """ناشناس‌ساز کامل با ChatGPT Integration"""
-    
-    def __init__(self, cerebras_key: str = None, gpt_key: str = None):
-        self.cerebras_key = cerebras_key or os.getenv("CEREBRAS_API_KEY")
-        self.gpt_key = gpt_key or os.getenv("OPENAI_API_KEY")
-        self.mapping_table = {}
-        
-        logger.info("✅ Anonymizer Complete مقداردهی شد")
-    
-    def anonymize_with_regex(self, text: str) -> Tuple[str, Dict]:
-        """ناشناس‌سازی ساده با Regex"""
-        logger.info("🔍 شروع ناشناس‌سازی Regex...")
-        
-        anonymized = text
-        mapping = {}
-        counters = {'person': 0, 'company': 0, 'amount': 0, 'percent': 0}
-        
-        # الگوهای Regex
-        patterns = {
-            'person': r'\b[ء-ي]+\s+[ء-ي]+(?:\s+[ء-ي]+)*\b',
-            'amount': r'\d+\s*(?:میلیارد|میلیون|هزار|تومان|ریال|دلار|تن)',
-            'percent': r'\d+\s*(?:درصد|%|درصدی)',
-            'company': r'(?:شرکت|بانک|سازمان|گروه|هلدینگ)\s+[ء-ي]+(?:\s+[ء-ي]+)*',
-        }
-        
-        # ناشناس‌سازی
-        for entity_type, pattern in patterns.items():
-            matches = re.finditer(pattern, anonymized)
-            for match in matches:
-                text_match = match.group()
-                key = text_match.lower()
-                
-                if key not in mapping:
-                    counters[entity_type] += 1
-                    placeholder = f"{entity_type}-{counters[entity_type]:02d}"
-                    mapping[key] = placeholder
-                    anonymized = anonymized.replace(text_match, placeholder, 1)
-        
-        logger.info(f"✅ {sum(counters.values())} موجودیت ناشناس شد")
-        self.mapping_table = {v: {'original': k, 'type': 'unknown'} for k, v in mapping.items()}
-        
-        return anonymized, mapping
-    
-    def anonymize_with_cerebras(self, text: str) -> Tuple[str, Dict]:
-        """ناشناس‌سازی با Cerebras API"""
-        logger.info("🔄 فراخوانی Cerebras API...")
-        
-        if not self.cerebras_key:
-            logger.warning("⚠️ Cerebras API Key نیست - استفاده از Regex")
-            return self.anonymize_with_regex(text)
-        
-        try:
-            response = requests.post(
-                "https://api.cerebras.ai/v1/chat/completions",
-                headers={
-                    "Authorization": f"Bearer {self.cerebras_key}",
-                    "Content-Type": "application/json"
-                },
-                json={
-                    "model": "llama-3.3-70b",
-                    "messages": [
-                        {
-                            "role": "system",
-                            "content": "شما ناشناس‌ساز متون هستید. اسامی → person-01، شرکت‌ها → company-01، مقادیر → amount-01، درصدها → percent-01"
-                        },
-                        {
-                            "role": "user",
-                            "content": f"ناشناس کنید:\n{text}"
-                        }
-                    ],
-                    "max_tokens": 4096,
-                    "temperature": 0.1
-                },
-                timeout=60
-            )
-            
-            if response.status_code == 200:
-                anonymized_text = response.json()['choices'][0]['message']['content'].strip()
-                logger.info("✅ ناشناس‌سازی کامل شد")
-                return anonymized_text, {}
-            else:
-                logger.error(f"❌ Cerebras Error: {response.text}")
-                return self.anonymize_with_regex(text)
-                
-        except Exception as e:
-            logger.error(f"❌ Cerebras Exception: {e}")
-            return self.anonymize_with_regex(text)
-    
-    def analyze_with_gpt(self, anonymized_text: str) -> str:
-        """تحلیل متن ناشناس‌شده با ChatGPT"""
-        logger.info("🤖 فراخوانی ChatGPT...")
-        
-        if not self.gpt_key:
-            logger.warning("⚠️ GPT API Key نیست")
-            return "❌ API Key موجود نیست"
-        
-        try:
-            prompt = f"""متن مالی ناشناس‌شده زیر را تحلیل و خلاصه کنید:
-
-متن:
-{anonymized_text}
-
-لطفاً:
-1. خلاصه‌ای مختصر ارائه دهید
-2. نکات اصلی را مشخص کنید
-3. تمام توکن‌های ناشناس (person-01، company-01 و غیره) را حفظ کنید
-4. تنها اطلاعات موجود در متن را بیان کنید"""
-            
-            response = requests.post(
-                "https://api.openai.com/v1/chat/completions",
-                headers={
-                    "Authorization": f"Bearer {self.gpt_key}",
-                    "Content-Type": "application/json"
-                },
-                json={
-                    "model": "gpt-4o-mini",
-                    "messages": [
-                        {
-                            "role": "system",
-                            "content": "شما دستیار تحلیل متون مالی فارسی هستید."
-                        },
-                        {
-                            "role": "user",
-                            "content": prompt
-                        }
-                    ],
-                    "max_tokens": 1500,
-                    "temperature": 0.7
-                },
-                timeout=60
-            )
-            
-            if response.status_code == 200:
-                gpt_response = response.json()['choices'][0]['message']['content']
-                logger.info("✅ تحلیل GPT کامل شد")
-                return gpt_response
-            else:
-                logger.error(f"❌ GPT Error: {response.text}")
-                return f"❌ خطای GPT: {response.status_code}"
-                
-        except Exception as e:
-            logger.error(f"❌ GPT Exception: {e}")
-            return f"❌ خطا: {str(e)}"
-    
-    def get_mapping_table_str(self) -> str:
-        """تبدیل جدول نگاشت به string"""
-        if not self.mapping_table:
-            return "### 📋 جدول نگاشت\nخالی است"
-        
-        table = "### 📋 جدول نگاشت\n\n"
-        table += "| ID | نوع | متن اصلی |\n"
-        table += "|----|----|----------|\n"
-        
-        for token, info in sorted(self.mapping_table.items()):
-            entity_type = info.get('type', 'نامشخص')
-            original = info.get('original', '')
-            table += f"| {token} | {entity_type} | {original} |\n"
-        
-        return table
-
-# متغیر سراسری
-anonymizer = None
-
-def process(input_text: str, api_choice: str = "regex", analyze_gpt: bool = False):
-    """پردازش متن (5 مرحله)"""
-    global anonymizer
-    
-    if not input_text.strip():
-        return "", "", "", ""
-    
-    # مقداردهی
-    cerebras_key = os.getenv("CEREBRAS_API_KEY")
-    gpt_key = os.getenv("OPENAI_API_KEY")
-    
-    if not anonymizer:
-        anonymizer = AnonymizerComplete(cerebras_key, gpt_key)
-    
-    try:
-        logger.info("=" * 60)
-        logger.info("🚀 شروع پردازش...")
-        logger.info("=" * 60)
-        
-        # ============================================
-        # مرحله 1: ناشناس‌سازی
-        # ============================================
-        logger.info("مرحله 1️⃣: ناشناس‌سازی...")
-        
-        if api_choice == "cerebras" and cerebras_key:
-            anonymized_text, _ = anonymizer.anonymize_with_cerebras(input_text)
-        else:
-            anonymized_text, _ = anonymizer.anonymize_with_regex(input_text)
-        
-        if not anonymized_text or anonymized_text == input_text:
-            logger.warning("⚠️ متن تغییری نکرد - شاید موجودیتی نیست")
-        
-        logger.info(f"✅ ناشناس‌سازی کامل: {len(input_text)} → {len(anonymized_text)}")
-        
-        # ============================================
-        # مرحله 2: جدول نگاشت
-        # ============================================
-        logger.info("مرحله 2️⃣: ایجاد جدول نگاشت...")
-        mapping_str = anonymizer.get_mapping_table_str()
-        logger.info(f"✅ {len(anonymizer.mapping_table)} موجودیت نگاشت شد")
-        
-        # ============================================
-        # مرحله 3 و 4: تحلیل GPT
-        # ============================================
-        gpt_response = ""
-        
-        if analyze_gpt and gpt_key:
-            logger.info("مرحله 3️⃣: ارسال به ChatGPT...")
-            gpt_response = anonymizer.analyze_with_gpt(anonymized_text)
-            logger.info(f"✅ تحلیل دریافت شد: {len(gpt_response)} کاراکتر")
-        else:
-            logger.info("⏭️ تحلیل GPT غیرفعال است")
-        
-        # ============================================
-        # خلاصه
-        # ============================================
-        logger.info("=" * 60)
-        logger.info("✅ پردازش کامل!")
-        logger.info(f"   متن ورودی: {len(input_text)} کاراکتر")
-        logger.info(f"   متن ناشناس: {len(anonymized_text)} کاراکتر")
-        logger.info(f"   موجودیت‌ها: {len(anonymizer.mapping_table)}")
-        logger.info(f"   تحلیل GPT: {len(gpt_response)} کاراکتر")
-        logger.info("=" * 60)
-        
-        return input_text, anonymized_text, mapping_str, gpt_response
-        
-    except Exception as e:
-        logger.error(f"❌ خطا عمومی: {str(e)}", exc_info=True)
-        return input_text, "", "", f"❌ خطا: {str(e)}"
-
-def clear():
-    """پاک کردن"""
-    return "", "", "", ""
-
-# Gradio Interface
-css_rtl = """
-#input_text textarea { direction: rtl; text-align: right; }
-#anonymized_text textarea { direction: rtl; text-align: right; }
-#mapping_table textarea { direction: rtl; text-align: right; }
-#gpt_analysis textarea { direction: rtl; text-align: right; }
-"""
-
-with gr.Blocks(title="سیستم ناشناس‌سازی متون", theme=gr.themes.Soft(), css=css_rtl) as app:
-    
-    gr.Markdown("# 🔐 سیستم ناشناس‌سازی متون مالی فارسی (کامل)")
-    gr.Markdown("""
-    ### ✨ ویژگی‌ها:
-    1️⃣ ناشناس‌سازی دقیق با Entity Linking  
-    2️⃣ جدول نگاشت کامل  
-    3️⃣ تحلیل هوشمند با ChatGPT  
-    4️⃣ دو روش: Cerebras API یا Regex
-    """)
-    
-    with gr.Row():
-        with gr.Column(scale=2):
-            input_text = gr.Textbox(
-                lines=10,
-                placeholder="متن مالی/خبری را وارد کنید...",
-                label="📝 متن ورودی",
-                elem_id="input_text"
-            )
-        
-        with gr.Column(scale=1):
-            gr.HTML("<div style='text-align: center; margin-bottom: 10px;'></div>")
-            
-            api_choice = gr.Radio(
-                ["cerebras", "regex"],
-                value="regex",
-                label="🔧 انتخاب روش"
-            )
-            
-            analyze_gpt = gr.Checkbox(
-                value=False,
-                label="🤖 تحلیل با ChatGPT"
-            )
-            
-            gr.Markdown("---")
-            process_btn = gr.Button("▶️ پردازش", variant="primary", size="lg")
-            clear_btn = gr.Button("🗑️ پاک کردن", variant="stop", size="lg")
-    
-    # نتایج
-    with gr.Tabs():
-        with gr.TabItem("📄 متن ناشناس‌شده"):
-            anonymized_text = gr.Textbox(
-                lines=10,
-                label="🔒 متن ناشناس‌شده",
-                interactive=False,
-                elem_id="anonymized_text"
-            )
-        
-        with gr.TabItem("📋 جدول نگاشت"):
-            mapping_table = gr.Textbox(
-                lines=10,
-                label="📋 جدول نگاشت",
-                interactive=False,
-                elem_id="mapping_table"
-            )
-        
-        with gr.TabItem("🤖 تحلیل ChatGPT"):
-            gpt_analysis = gr.Textbox(
-                lines=10,
-                label="🤖 تحلیل و خلاصه",
-                interactive=False,
-                elem_id="gpt_analysis"
-            )
-    
-    # Event handlers
-    process_btn.click(
-        fn=process,
-        inputs=[input_text, api_choice, analyze_gpt],
-        outputs=[input_text, anonymized_text, mapping_table, gpt_analysis]
-    )
-    
-    clear_btn.click(
-        fn=clear,
-        outputs=[input_text, anonymized_text, mapping_table, gpt_analysis]
-    )
-
-if __name__ == "__main__":
-    print("🚀 سیستم ناشناس‌سازی متون در حال راه‌اندازی...")
-    print("\n📋 نحوه استفاده:")
-    print("1. CEREBRAS_API_KEY را تنظیم کنید (اختیاری)")
-    print("2. OPENAI_API_KEY را تنظیم کنید (برای ChatGPT)")
-    print("3. http://localhost:7860 را باز کنید\n")
-    
-    app.launch(
-        server_name="0.0.0.0",
-        server_port=7860,
-        share=False,
-        show_error=True
-    )