Upload huggingface_setup (2).py

huggingface_setup (2).py

@@ -0,0 +1,550 @@
+# =====================================
+# فایل: app.py (کد اصلی برای HF Spaces)
+# =====================================
+
+import requests
+import json
+import gradio as gr
+from typing import Dict, Any
+import os
+from dataclasses import dataclass
+
+@dataclass
+class GroqConfig:
+    """تنظیمات Groq API"""
+    api_key: str
+    base_url: str = "https://api.groq.com/openai/v1"
+    model: str = "llama-3.1-8b-instant" 
+    max_tokens: int = 1000
+    temperature: float = 0.1
+
+class GroqAnonymizer:
+    """سیستم ناشناس‌سازی با استفاده از Groq"""
+    
+    def __init__(self, api_key: str = None):
+        # در HF Spaces از متغیر محیطی کلید را بخوان
+        if api_key is None:
+            api_key = os.getenv("GROQ_API_KEY")
+            if not api_key:
+                raise ValueError("کلید API در متغیرهای محیطی یافت نشد. لطفاً GROQ_API_KEY را تنظیم کنید.")
+        
+        self.config = GroqConfig(api_key=api_key)
+        self.system_prompt = self._create_system_prompt()
+    
+    def _create_system_prompt(self) -> str:
+        """ایجاد دستورالعمل سیستمی برای Groq"""
+        return """شما یک سیستم ناشناس‌سازی متن فارسی هستید.
+
+وظیفه: تشخیص و جایگزینی موجودیت‌های حساس:
+
+1. نام شرکت‌ها → company-01, company-02, ...
+2. نام افراد → person-01, person-02, ...  
+3. مبالغ و اعداد → amount-01, amount-02, ...
+4. درصدها → percent-01, percent-02, ...
+
+نکات:
+- همان موجودیت = همان شماره
+- پیشوندها (دکتر، آقا) را حفظ کنید
+- فقط متن ناشناس‌سازی شده را برگردانید، بدون JSON یا توضیح اضافی
+
+مثال:
+ورودی: احمد رضایی مدیرعامل شرکت پارس 100 میلیون تومان درآمد دارد
+خروجی: person-01 مدیرعامل company-01 amount-01 درآمد دارد"""
+
+    def _make_api_request(self, text: str) -> Dict[str, Any]:
+        """ارسال درخواست به Groq API"""
+        headers = {
+            "Authorization": f"Bearer {self.config.api_key}",
+            "Content-Type": "application/json"
+        }
+        
+        payload = {
+            "messages": [
+                {
+                    "role": "system",
+                    "content": self.system_prompt
+                },
+                {
+                    "role": "user", 
+                    "content": text
+                }
+            ],
+            "model": self.config.model,
+            "temperature": self.config.temperature,
+            "max_tokens": self.config.max_tokens
+        }
+        
+        try:
+            print(f"DEBUG: Sending request to {self.config.base_url}/chat/completions")
+            print(f"DEBUG: Model: {self.config.model}")
+            print(f"DEBUG: Text length: {len(text)}")
+            
+            response = requests.post(
+                f"{self.config.base_url}/chat/completions",
+                headers=headers,
+                json=payload,
+                timeout=30
+            )
+            
+            print(f"DEBUG: Response status: {response.status_code}")
+            
+            if response.status_code != 200:
+                print(f"DEBUG: Error response: {response.text}")
+                
+            response.raise_for_status()
+            return response.json()
+            
+        except requests.exceptions.RequestException as e:
+            print(f"DEBUG: Request exception: {str(e)}")
+            raise Exception(f"خطا در ارتباط با Groq API: {str(e)}")
+    
+    def anonymize_text(self, text: str) -> Dict[str, Any]:
+        """ناشناس‌سازی متن با استفاده از Groq"""
+        if not text.strip():
+            return {
+                "success": False,
+                "error": "متن ورودی خالی است"
+            }
+        
+        try:
+            response = self._make_api_request(text)
+            
+            if "choices" not in response or not response["choices"]:
+                return {
+                    "success": False,
+                    "error": "پاسخ نامعتبر از API"
+                }
+            
+            content = response["choices"][0]["message"]["content"]
+            
+            # پاک کردن markdown اگر وجود دارد
+            if "```" in content:
+                lines = content.split('\n')
+                clean_lines = []
+                skip = False
+                for line in lines:
+                    if line.strip().startswith('```'):
+                        skip = not skip
+                        continue
+                    if not skip:
+                        clean_lines.append(line)
+                content = '\n'.join(clean_lines)
+            
+            # حذف خطوط اضافی و فضاهای خالی
+            content = content.strip()
+            
+            return {
+                "success": True,
+                "anonymized_text": content,
+                "entities": [],  # در حالت ساده entities نداریم
+                "statistics": self._count_entities(content),
+                "usage": response.get("usage", {})
+            }
+                
+        except Exception as e:
+            return {
+                "success": False,
+                "error": f"خطا در پردازش: {str(e)}"
+            }
+    
+    def _count_entities(self, text: str) -> Dict[str, int]:
+        """شمارش موجودیت‌ها در متن ناشناس‌سازی شده"""
+        import re
+        
+        company_count = len(re.findall(r'company-\d+', text))
+        person_count = len(re.findall(r'person-\d+', text))
+        amount_count = len(re.findall(r'amount-\d+', text))
+        percent_count = len(re.findall(r'percent-\d+', text))
+        group_count = len(re.findall(r'group-\d+', text))
+        
+        return {
+            "company": company_count,
+            "person": person_count,
+            "amount": amount_count,
+            "percent": percent_count,
+            "group": group_count
+        }
+
+def create_interface():
+    """ایجاد رابط کاربری برای Hugging Face Spaces"""
+    
+    # بررسی وجود کلید API
+    api_key_available = bool(os.getenv("GROQ_API_KEY"))
+    
+    # CSS سفارشی
+    custom_css = """
+    .gradio-container {
+        font-family: 'Tahoma', 'Arial', sans-serif !important;
+        direction: rtl;
+        max-width: 1200px;
+        margin: 0 auto;
+    }
+    .result-box {
+        background-color: #f0f8ff;
+        border: 1px solid #ddd;
+        border-radius: 8px;
+        padding: 15px;
+        font-family: 'Tahoma', monospace;
+        line-height: 1.6;
+    }
+    .warning-box {
+        background-color: #fff3cd;
+        border: 1px solid #ffeaa7;
+        border-radius: 8px;
+        padding: 10px;
+        color: #856404;
+    }
+    .success-box {
+        background-color: #d4edda;
+        border: 1px solid #c3e6cb;
+        border-radius: 8px;
+        padding: 10px;
+        color: #155724;
+    }
+    """
+    
+    with gr.Blocks(css=custom_css, title="ناشناس‌سازی متن فارسی", theme=gr.themes.Soft()) as interface:
+        
+        # عنوان
+        gr.Markdown("""
+        # 🔒 سیستم ناشناس‌سازی متن فارسی
+        ### قدرت‌گرفته از Groq AI برای تشخیص و حفاظت از اطلاعات حساس
+        
+        این سیستم قادر است نام افراد، شرکت‌ها، مبالغ مالی و درصدها را به صورت هوشمند تشخیص و ناشناس‌سازی کند.
+        """)
+        
+        # ورود کلید API اگر در secrets موجود نباشد
+        if not api_key_available:
+            gr.Markdown("""
+            <div class="warning-box">
+            ⚠️ <strong>کلید API در متغیرهای محیطی یافت نشد</strong><br>
+            لطفاً کلید Groq API خود را در زیر وارد کنید یا در Settings > Secrets تنظیم کنید
+            </div>
+            """)
+            
+            api_key_input = gr.Textbox(
+                label="🔑 کلید Groq API",
+                placeholder="gsk_...",
+                type="password",
+                value=""
+            )
+        else:
+            gr.Markdown("""
+            <div class="success-box">
+            ✅ <strong>سیستم آماده است</strong> - کلید API تنظیم شده
+            </div>
+            """)
+            api_key_input = gr.Textbox(visible=False)
+        
+        with gr.Row():
+            with gr.Column(scale=1):
+                input_text = gr.Textbox(
+                    label="📝 متن ورودی",
+                    placeholder="متن خود را اینجا وارد کنید...",
+                    lines=10,
+                    max_lines=20
+                )
+                
+                with gr.Row():
+                    anonymize_btn = gr.Button(
+                        "🔒 ناشناس‌سازی متن", 
+                        variant="primary", 
+                        size="lg"
+                    )
+                    clear_btn = gr.Button(
+                        "🗑️ پاک کردن", 
+                        variant="secondary"
+                    )
+            
+            with gr.Column(scale=1):
+                output_text = gr.Textbox(
+                    label="🎯 متن ناشناس‌سازی شده",
+                    lines=10,
+                    max_lines=20,
+                    elem_classes=["result-box"]
+                )
+                
+                # دکمه کپی
+                copy_btn = gr.Button(
+                    "📋 کپی متن",
+                    variant="secondary",
+                    size="sm"
+                )
+        
+        # متن برای کپی
+        copy_output = gr.Textbox(
+            label="📋 متن برای کپی (Ctrl+A و Ctrl+C)",
+            lines=3,
+            max_lines=10,
+            visible=False,
+            interactive=True
+        )
+        
+        with gr.Row():
+            with gr.Column():
+                statistics_output = gr.Markdown(label="📊 آمار تشخیص")
+            with gr.Column():
+                usage_output = gr.Markdown(label="⚡ اطلاعات پردازش")
+        
+        entities_output = gr.Markdown(label="📋 جزئیات تغییرات")
+        
+        def process_text(text: str, api_key_manual: str = ""):
+            """پردازش متن"""
+            # تعیین کلید API - اولویت با manual input
+            final_api_key = api_key_manual.strip() if api_key_manual.strip() else os.getenv("GROQ_API_KEY")
+            
+            if not final_api_key:
+                return (
+                    "",
+                    "❌ کلید API وارد نشده است. لطفاً در فیلد بالا وارد کنید یا در Settings تنظیم کنید.",
+                    "",
+                    ""
+                )
+            
+            if not text.strip():
+                return (
+                    "",
+                    "❌ لطفاً متن ورودی را وارد کنید",
+                    "",
+                    ""
+                )
+            
+            try:
+                anonymizer = GroqAnonymizer(api_key=final_api_key)
+                result = anonymizer.anonymize_text(text)
+                
+                if not result["success"]:
+                    return (
+                        "",
+                        f"❌ خطا: {result['error']}",
+                        "",
+                        ""
+                    )
+                
+                # آمار
+                stats = result.get("statistics", {})
+                stats_md = "📊 **آمار تشخیص:**\n\n"
+                total = sum(stats.values()) if stats else 0
+                stats_md += f"🔢 **کل موارد:** {total}\n\n"
+                
+                type_names = {
+                    'company': 'شرکت‌ها',
+                    'person': 'افراد',
+                    'group': 'گروه‌ها', 
+                    'amount': 'مبالغ',
+                    'percent': 'درصدها'
+                }
+                
+                if stats:
+                    for key, value in stats.items():
+                        if value > 0:
+                            name = type_names.get(key, key)
+                            stats_md += f"• {name}: **{value}** مورد\n"
+                
+                # اطلاعات پردازش
+                usage = result.get("usage", {})
+                usage_md = "⚡ **اطلاعات پردازش:**\n\n"
+                if usage:
+                    usage_md += f"• مدل: Llama 3.1\n"
+                    usage_md += f"• Token های ورودی: {usage.get('prompt_tokens', 'نامشخص')}\n"
+                    usage_md += f"• Token های خروجی: {usage.get('completion_tokens', 'نامشخص')}\n"
+                else:
+                    usage_md += "✅ پردازش با موفقیت انجام شد"
+                
+                # جزئیات موجودیت‌ها
+                entities = result.get("entities", [])
+                entities_md = "📋 **جزئیات تغییرات:**\n\n"
+                
+                if entities:
+                    for i, entity in enumerate(entities, 1):
+                        entities_md += f"**{i}.** *{entity.get('type', 'نامشخص')}*\n"
+                        entities_md += f"   • اصل: `{entity.get('original', '')}`\n"
+                        entities_md += f"   • جایگزین: `{entity.get('anonymized', '')}`\n\n"
+                else:
+                    entities_md += "هیچ تغییری انجام نشده یا جزئیات در دسترس نیست"
+                
+                return (
+                    result["anonymized_text"],
+                    stats_md,
+                    usage_md,
+                    entities_md
+                )
+                
+            except Exception as e:
+                return (
+                    "",
+                    f"❌ خطای غیرمنتظره: {str(e)}",
+                    "",
+                    ""
+                )
+        
+        def copy_text(text_to_copy):
+            """تابع کپی متن"""
+            if not text_to_copy.strip():
+                return gr.Textbox(visible=False), "⚠️ متنی برای کپی وجود ندارد"
+            
+            # نمایش textbox با محتوای قابل کپی
+            return gr.Textbox(value=text_to_copy, visible=True), "✅ متن در کادر زیر آماده کپی است (Ctrl+A سپس Ctrl+C)"
+        
+        def clear_all():
+            """پاک کردن تمام فیلدها"""
+            return "", "", "", "", "", gr.Textbox(visible=False)
+        
+        # اتصال رویدادها
+        anonymize_btn.click(
+            fn=process_text,
+            inputs=[input_text, api_key_input],
+            outputs=[output_text, statistics_output, usage_output, entities_output]
+        )
+        
+        clear_btn.click(
+            fn=clear_all,
+            outputs=[input_text, output_text, statistics_output, usage_output, entities_output, copy_output]
+        )
+        
+        # مثال‌های نمونه
+        gr.Examples(
+            examples=[
+                ["ایران خودرو در اسفندماه سال 1402 حدود 23 هزار و 296 میلیارد تومان درآمد کسب کرد که در مقایسه با بهمن 4.58 درصد افزایش داشت."],
+                ["مهدی اخوان بهابادی، مدیرعامل همراه اول، اعلام کرد درآمد عملیاتی شرکت با رشد 37 درصدی به 70 هزار و 677 میلیارد تومان رسیده است."],
+                ["بانک پاسارگاد با شناسایی سود خالص 155 هزار میلیارد ریالی در رده دوم سودآورترین بانک‌های کشور قرار گرفت."],
+                ["شرکت سرمایه‌گذاری دارویی تأمین (تیپیکو) گزارش فعالیت هیئت‌مدیره خود را برای سال مالی منتهی به 31 اردیبهشت 1404 منتشر کرد."]
+            ],
+            inputs=input_text,
+            label="📚 مثال‌های آزمایشی"
+        )
+        
+        # راهنمای استفاده
+        gr.Markdown("""
+        ---
+        ### 🎯 **ویژگی‌ها:**
+        - 🏢 تشخیص نام شرکت‌ها و سازمان‌ها
+        - 👤 تشخیص نام افراد با پیشوندهای مختلف
+        - 💰 تشخیص مبالغ مالی و اعداد
+        - 📊 تشخیص درصدها با فرمت‌های مختلف
+        - 🏗️ تشخیص نام گروه‌ها
+        
+        ### 📝 **نحوه کار:**
+        1. متن خود را در کادر ورودی وارد کنید
+        2. دکمه "ناشناس‌سازی متن" را کلیک کنید
+        3. نتیجه را در کادر خروجی مشاهده کنید
+        4. آمار و جزئیات تغییرات را بررسی کنید
+        
+        ### ⚠️ **توجه:**
+        - این سیستم برای متون فارسی بهینه‌سازی شده است
+        - حداکثر طول متن ورودی حدود 1000 کلمه توصیه می‌شود
+        - اطلاعات شما پس از پردازش حذف می‌شوند
+        """)
+    
+    return interface
+
+# اجرای برنامه
+if __name__ == "__main__":
+    interface = create_interface()
+    interface.launch()
+
+# =====================================
+# فایل: requirements.txt
+# =====================================
+"""
+gradio==4.0.0
+requests==2.31.0
+"""
+
+# =====================================
+# فایل: README.md  
+# =====================================
+"""
+---
+title: Persian Text Anonymizer
+emoji: 🔒
+colorFrom: blue
+colorTo: purple
+sdk: gradio
+sdk_version: 4.0.0
+app_file: app.py
+pinned: false
+license: mit
+---
+
+# 🔒 سیستم ناشناس‌سازی متن فارسی
+
+سیستم هوشمند برای تشخیص و ناشناس‌سازی اطلاعات حساس در متون فارسی با استفاده از مدل‌های زبانی پیشرفته.
+
+## ویژگی‌ها
+
+- 🏢 **تشخیص شرکت‌ها**: نام شرکت‌ها، بانک‌ها، موسسات
+- 👤 **تشخیص افراد**: نام اشخاص با پیشوندهای مختلف
+- 💰 **تشخیص مبالغ**: اعداد، مبالغ مالی، واحدهای اندازه‌گیری  
+- 📊 **تشخیص درصدها**: انواع فرمت‌های درصد
+- 🏗️ **تشخیص گروه‌ها**: نام گروه‌ها و هلدینگ‌ها
+
+## تنظیمات
+
+برای استفاده از این برنامه، نیاز به تنظیم متغیر محیطی `GROQ_API_KEY` دارید.
+
+## مثال استفاده
+
+```python
+from app import GroqAnonymizer
+
+anonymizer = GroqAnonymizer()
+result = anonymizer.anonymize_text("احمد رضایی مدیرعامل شرکت پارس 100 میلیون تومان درآمد دارد.")
+print(result["anonymized_text"])
+# خروجی: "person-01 مدیرعامل company-01 amount-01 درآمد دارد."
+```
+
+## تکنولوژی
+
+- **Groq API**: برای پردازش هوشمند متن
+- **Gradio**: برای رابط کاربری وب
+- **Llama 3.1**: مدل زبانی پیشرفته
+
+## مجوز
+
+MIT License
+"""
+
+# =====================================
+# فایل: .gitignore
+# =====================================
+"""
+__pycache__/
+*.py[cod]
+*$py.class
+*.so
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+.DS_Store
+.vscode/
+.idea/
+*.swp
+*.swo
+
+gradio_cached_examples/
+flagged/
+"""