import requests import json import gradio as gr from typing import Dict, Any, List, Generator import os from dataclasses import dataclass import re import pandas as pd import time from datetime import datetime import threading from queue import Queue import io @dataclass class CerebrasConfig: """تنظیمات Cerebras API""" api_key: str base_url: str = "https://api.cerebras.ai/v1" model: str = "llama-3.3-70b" max_tokens: int = 2000 temperature: float = 0.1 @dataclass class RateLimitConfig: """تنظیمات محدودیت نرخ درخواست برای Cerebras""" # محدودیت‌های Cerebras Free Tier requests_per_minute: int = 25 # حداکثر درخواست در دقیقه (کمتر از 30 برای امنیت) tokens_per_minute: int = 60000 # حداکثر توکن در دقیقه min_delay_between_requests: float = 3.0 # حداقل تأخیر بین درخواست‌ها (ثانیه) - افزایش از 2 به 3 max_retries: int = 7 # حداکثر تلاش مجدد - افزایش از 5 به 7 initial_backoff: float = 10.0 # تأخیر اولیه برای backoff (ثانیه) - افزایش از 5 به 10 max_backoff: float = 180.0 # حداکثر تأخیر backoff (ثانیه) - افزایش از 120 به 180 backoff_multiplier: float = 2.0 # ضریب افزایش تأخیر class RateLimiter: """مدیریت محدودیت نرخ درخواست""" def __init__(self, config: RateLimitConfig): self.config = config self.request_times: List[float] = [] self.lock = threading.Lock() self.consecutive_failures = 0 def wait_if_needed(self) -> float: """انتظار تا زمان مجاز ارسال درخواست بعدی""" with self.lock: now = time.time() # پاک کردن درخواست‌های قدیمی‌تر از 1 دقیقه self.request_times = [t for t in self.request_times if now - t < 60] # محاسبه زمان انتظار wait_time = 0.0 # اگر به محدودیت درخواست در دقیقه رسیده‌ایم if len(self.request_times) >= self.config.requests_per_minute: oldest_request = min(self.request_times) wait_time = max(wait_time, 60 - (now - oldest_request) + 1) # حداقل تأخیر بین درخواست‌ها if self.request_times: time_since_last = now - max(self.request_times) if time_since_last < self.config.min_delay_between_requests: wait_time = max(wait_time, self.config.min_delay_between_requests - time_since_last) # افزایش تأخیر در صورت خطاهای متوالی if self.consecutive_failures > 0: failure_wait = min( self.config.initial_backoff * (self.config.backoff_multiplier ** self.consecutive_failures), self.config.max_backoff ) wait_time = max(wait_time, failure_wait) if wait_time > 0: time.sleep(wait_time) self.request_times.append(time.time()) return wait_time def report_success(self): """گزارش موفقیت درخواست""" with self.lock: self.consecutive_failures = 0 def report_failure(self, is_rate_limit: bool = False): """گزارش شکست درخواست""" with self.lock: if is_rate_limit: self.consecutive_failures += 1 else: # برای خطاهای غیر rate limit، کمتر افزایش می‌دهیم self.consecutive_failures = min(self.consecutive_failures + 0.5, 3) def get_estimated_wait_time(self) -> float: """تخمین زمان انتظار برای درخواست بعدی""" with self.lock: now = time.time() self.request_times = [t for t in self.request_times if now - t < 60] if len(self.request_times) >= self.config.requests_per_minute: oldest_request = min(self.request_times) return max(0, 60 - (now - oldest_request) + 1) return self.config.min_delay_between_requests class AdvancedCerebrasAnonymizer: """سیستم پیشرفته ناشناس‌سازی متون مالی/خبری فارسی""" def __init__(self, api_key: str = None, rate_limit_config: RateLimitConfig = None): if api_key is None: api_key = os.getenv("CEREBRAS_API_KEY") if not api_key: raise ValueError("کلید API یافت نشد") self.config = CerebrasConfig(api_key=api_key) self.rate_limit_config = rate_limit_config or RateLimitConfig() self.rate_limiter = RateLimiter(self.rate_limit_config) self.system_prompt = self._create_advanced_system_prompt() def _create_advanced_system_prompt(self) -> str: """ایجاد دستورالعمل سیستمی پیشرفته برای Cerebras""" return """شما یک «ناشناس‌ساز متون مالی/خبری فارسی» هستید. وظیفه‌تان جایگزینی اسامی خاص و مقادیر عددی با شناسه‌های بی‌معناست. ## **قوانین اندیس‌گذاری - CRITICAL** ### **1. ترتیب شماره‌گذاری الزامی:** - شرکت‌ها: company-01, company-02, company-03, ... (پیوسته و بدون گپ) - اشخاص: person-01, person-02, person-03, ... (پیوسته و بدون گپ) - اعداد/مبالغ: amount-01, amount-02, amount-03, ... (پیوسته و بدون گپ) - درصدها: percent-01, percent-02, percent-03, ... (پیوسته و بدون گپ) ### **2. ثبات شناسه‌ها در متن:** - اگر "همراه اول" اول‌بار company-01 شد، در تمام متن همان باشد - اگر "مهدی احمدی" اول‌بار person-01 شد، در تمام متن همان باشد ## **⚠️ قوانین حیاتی برای واحدها و مبالغ:** ### **قانون 1: مبالغ کامل را یکجا جایگزین کن (بدون واحد)** - "23 هزار و 296 میلیارد تومان" → `amount-01` ✅ - "23 هزار و 296 میلیارد تومان" → `amount-01 تومان` ❌ - "500 میلیون دلار" → `amount-01` ✅ - "6 میلیارد تومان" → `amount-01` ✅ - "681,667 میلیارد ریال" → `amount-01` ✅ ### **قانون 2: پسوندهای صفتی (-ی) را حفظ کن** - "155 هزار میلیارد ریالی" → `amount-01 ریالی` ✅ - "2700 میلیارد تومانی" → `amount-01 تومانی` ✅ - "37 درصدی" → `percent-01` ✅ (پسوند در درصد حذف می‌شود) ### **قانون 3: کلمه "درصد" را حذف کن** - "4.58 درصد" → `percent-01` ✅ - "4.58 درصد" → `percent-01 درصد` ❌ - "75 درصد" → `percent-01` ✅ - "منفی 345 درصد" → `منفی percent-01` ✅ ### **قانون 4: "درصدی" را به percent تبدیل کن** - "37 درصدی" → `percent-01` ✅ - "رشد 14 درصدی" → `رشد percent-01` ✅ ## **⚠️ موارد حفظ شده (CRITICAL):** ### **1. سامانه کدال - حفظ شود!** - "سامانه کدال" → `سامانه کدال` ✅ (تغییر نکند!) - "سامانه کدال" → `company-XX` ❌ (اشتباه!) ### **2. تاریخ‌ها و سال‌ها** - "سال 1402" → `سال 1402` ✅ - "سال 1402" → `سال amount-01` ❌ - "1404/04/29" → `1404/04/29` ✅ - "30 آذر 1403" → `30 آذر 1403` ✅ - "پاییز ۱۴۰۱" → `پاییز ۱۴۰۱` ✅ ### **3. دوره‌های زمانی** - "۵ ماهه سال" → حفظ شود ✅ - "سه‌ماهه نخست" → حفظ شود ✅ - "۹ ماهه" → حفظ شود ✅ ### **4. عناوین شغلی و نقش‌ها** - "مدیرعامل"، "رئیس هیئت‌مدیره"، "بازرس قانونی" → حفظ شوند ✅ ### **5. کلمات عمومی بدون نام خاص** - "سه شرکت دارویی" → حفظ شود ✅ (company نشود) - "چند بانک" → حفظ شود ✅ - "12 بانک کشور" → حفظ شود ✅ - "سه خودروساز بزرگ" → حفظ شود ✅ ## **تشخیص صحیح انواع موجودیت‌ها:** ### **شرکت/سازمان (company-XX):** - نام‌های خاص شرکت: ایران خودرو، بانک ملی، همراه اول، پتروشیمی بوعلی سینا - سازمان‌های دولتی: سازمان تامین اجتماعی، وزارت نفت، سازمان بورس - گروه‌ها: "گروه همراه اول" → company-XX ✅ (نه group-XX) - بازرس/حسابرس: "شرکت وانیا نیک تدبیر" (بازرس) → company-XX ✅ ### **شخص (person-XX):** - نام و نام‌خانوادگی اشخاص حقیقی - مثال: مهدی اخوان بهابادی، فرج‌اله قدمی ### **مبلغ/عدد (amount-XX):** - مبالغ مالی: "23 هزار میلیارد تومان" → amount-01 - تعداد: "537 هزار و 736 دستگاه" → amount-01 - اعداد اعشاری: "73.7 میلیون نفر" → amount-01 - ⚠️ سال‌ها amount نیستند! ### **درصد (percent-XX):** - "4.58 درصد" → percent-01 - "75 درصد" → percent-01 - "37 درصدی" → percent-01 - "منفی 345 درصد" → منفی percent-01 ## **مثال‌های صحیح:** ### **مثال 1:** **ورودی:** ایران خودرو در اسفندماه سال 1402 حدود 23 هزار و 296 میلیارد تومان درآمد کسب کرد که در مقایسه با بهمن 4.58 درصد افزایش داشت. **خروجی:** company-01 در اسفندماه سال 1402 حدود amount-01 درآمد کسب کرد که در مقایسه با بهمن percent-01 افزایش داشت. ⚠️ توجه: "تومان" و "درصد" حذف شدند، "سال 1402" حفظ شد. ### **مثال 2:** **ورودی:** بانک پاسارگاد با شناسایی سود خالص 155 هزار میلیارد ریالی در رده دوم قرار گرفت. **خروجی:** company-01 با شناسایی سود خالص amount-01 ریالی در رده دوم قرار گرفت. ⚠️ توجه: "ریالی" (با پسوند صفتی) حفظ شد. ### **مثال 3:** **ورودی:** شرکت تیپیکو گزارش خود را در سامانه کدال منتشر کرد. **خروجی:** company-01 گزارش خود را در سامانه کدال منتشر کرد. ⚠️ توجه: "سامانه کدال" حفظ شد (company نشد). ### **مثال 4:** **ورودی:** رشد 14 درصدی سرمایه‌گذاری‌ها به 5000 میلیارد تومان رسید. **خروجی:** رشد percent-01 سرمایه‌گذاری‌ها به amount-01 رسید. ⚠️ توجه: "درصدی" و "تومان" حذف شدند. ### **مثال 5:** **ورودی:** زیان خالص 2700 میلیارد تومانی در سه‌ماهه نخست 1404 گزارش کرد. **خروجی:** زیان خالص amount-01 تومانی در سه‌ماهه نخست 1404 گزارش کرد. ⚠️ توجه: "تومانی" (پسوند صفتی) حفظ شد، "سه‌ماهه نخست 1404" حفظ شد. ### **مثال 6:** **ورودی:** سازمان تامین اجتماعی دارای سه شرکت دارویی است. **خروجی:** company-01 دارای سه شرکت دارویی است. ⚠️ توجه: "سه شرکت دارویی" کلمه عمومی است و حفظ شد. ## **خلاصه قوانین:** 1. مبالغ کامل → amount-XX (بدون واحد) 2. پسوند صفتی (-ی) → حفظ شود (amount-01 ریالی، amount-01 تومانی) 3. درصد/درصدی → percent-XX (بدون کلمه درصد) 4. سامانه کدال → حفظ شود 5. سال‌ها/تاریخ‌ها → حفظ شوند 6. کلمات عمومی → حفظ شوند 7. گروه‌ها → company-XX **فقط متن ناشناس‌شده را برگردان - هیچ توضیح اضافی نیاز نیست.** """ def _make_api_request_with_retry(self, text: str) -> Dict[str, Any]: """ارسال درخواست به Cerebras API با مدیریت rate limit و retry""" headers = { "Authorization": f"Bearer {self.config.api_key}", "Content-Type": "application/json" } payload = { "messages": [ {"role": "system", "content": self.system_prompt}, {"role": "user", "content": text} ], "model": self.config.model, "temperature": self.config.temperature, "max_tokens": self.config.max_tokens } last_error = None for attempt in range(self.rate_limit_config.max_retries): # انتظار قبل از ارسال درخواست wait_time = self.rate_limiter.wait_if_needed() try: response = requests.post( f"{self.config.base_url}/chat/completions", headers=headers, json=payload, timeout=30 # کاهش از 60 به 30 ثانیه ) # بررسی خطای احراز هویت (401) if response.status_code == 401: raise Exception("❌ کلید API نامعتبر است! لطفاً کلید صحیح وارد کنید.") # بررسی خطای rate limit (429) if response.status_code == 429: self.rate_limiter.report_failure(is_rate_limit=True) # استخراج زمان انتظار از هدر (اگر موجود باشد) retry_after = response.headers.get('Retry-After') if retry_after: wait_seconds = int(retry_after) else: # محاسبه exponential backoff wait_seconds = min( self.rate_limit_config.initial_backoff * (self.rate_limit_config.backoff_multiplier ** attempt), self.rate_limit_config.max_backoff ) last_error = f"محدودیت نرخ درخواست (429). تلاش {attempt + 1}/{self.rate_limit_config.max_retries}. انتظار {wait_seconds:.1f} ثانیه..." time.sleep(wait_seconds) continue response.raise_for_status() self.rate_limiter.report_success() return response.json() except requests.exceptions.Timeout: self.rate_limiter.report_failure(is_rate_limit=False) last_error = f"خطای timeout. تلاش {attempt + 1}/{self.rate_limit_config.max_retries}" time.sleep(5) # انتظار کمتر برای timeout except requests.exceptions.ConnectionError: last_error = f"❌ خطای اتصال به سرور Cerebras. اینترنت را بررسی کنید." time.sleep(5) except requests.exceptions.RequestException as e: self.rate_limiter.report_failure(is_rate_limit=False) last_error = f"خطای شبکه: {str(e)}. تلاش {attempt + 1}/{self.rate_limit_config.max_retries}" time.sleep(self.rate_limit_config.initial_backoff) raise Exception(f"ناموفق پس از {self.rate_limit_config.max_retries} تلاش. آخرین خطا: {last_error}") def anonymize_text(self, text: str) -> Dict[str, Any]: """ناشناس‌سازی متن با استفاده از Cerebras""" if not text or not text.strip(): return { "success": False, "error": "متن ورودی خالی است", "anonymized_text": "" } try: response = self._make_api_request_with_retry(text) if "choices" not in response or not response["choices"]: return { "success": False, "error": "پاسخ نامعتبر از API", "anonymized_text": "" } content = response["choices"][0]["message"]["content"] content = self._clean_markdown(content) content = content.strip() analysis = self._analyze_anonymized_text(content) return { "success": True, "anonymized_text": content, "entities": analysis["entities"], "statistics": analysis["statistics"], "usage": response.get("usage", {}) } except Exception as e: return { "success": False, "error": f"خطا در پردازش: {str(e)}", "anonymized_text": "" } def _clean_markdown(self, content: str) -> str: """پاک کردن markdown از پاسخ""" if "```" in content: lines = content.split('\n') clean_lines = [] skip = False for line in lines: if line.strip().startswith('```'): skip = not skip continue if not skip: clean_lines.append(line) content = '\n'.join(clean_lines) return content def _analyze_anonymized_text(self, text: str) -> Dict[str, Any]: """تحلیل متن ناشناس‌سازی شده""" companies = re.findall(r'company-(\d+)', text) persons = re.findall(r'person-(\d+)', text) amounts = re.findall(r'amount-(\d+)', text) percents = re.findall(r'percent-(\d+)', text) statistics = { "company": len(set(companies)), "person": len(set(persons)), "amount": len(set(amounts)), "percent": len(set(percents)), "total_replacements": len(companies) + len(persons) + len(amounts) + len(percents) } entities = { "companies": sorted(list(set(companies)), key=lambda x: int(x)), "persons": sorted(list(set(persons)), key=lambda x: int(x)), "amounts": sorted(list(set(amounts)), key=lambda x: int(x)), "percents": sorted(list(set(percents)), key=lambda x: int(x)) } return { "statistics": statistics, "entities": entities } class BatchProcessor: """پردازشگر دسته‌ای فایل‌های CSV""" def __init__(self, api_key: str, rate_limit_config: RateLimitConfig = None): self.api_key = api_key self.rate_limit_config = rate_limit_config or RateLimitConfig() self.anonymizer = None self.is_cancelled = False self.current_progress = 0 self.total_rows = 0 self.processed_rows = 0 self.failed_rows = 0 self.start_time = None def cancel(self): """لغو پردازش""" self.is_cancelled = True def reset(self): """بازنشانی وضعیت""" self.is_cancelled = False self.current_progress = 0 self.total_rows = 0 self.processed_rows = 0 self.failed_rows = 0 self.start_time = None def process_csv( self, file_path: str, text_column: str, output_column: str = "anonymized_text", progress_callback=None ) -> Generator[Dict[str, Any], None, None]: """پردازش فایل CSV به صورت streaming""" self.reset() self.start_time = time.time() # خواندن فایل CSV try: df = pd.read_csv(file_path, encoding='utf-8') except UnicodeDecodeError: try: df = pd.read_csv(file_path, encoding='utf-8-sig') except: df = pd.read_csv(file_path, encoding='cp1256') if text_column not in df.columns: yield { "type": "error", "message": f"ستون '{text_column}' در فایل یافت نشد. ستون‌های موجود: {list(df.columns)}" } return self.total_rows = len(df) # اول پیام شروع را نشان بده yield { "type": "info", "message": f"🔄 در حال آماده‌سازی برای پردازش {self.total_rows} ردیف...", "total": self.total_rows } # ایجاد anonymizer try: self.anonymizer = AdvancedCerebrasAnonymizer( api_key=self.api_key, rate_limit_config=self.rate_limit_config ) except Exception as e: yield { "type": "error", "message": f"❌ خطا در ایجاد Anonymizer: {str(e)}" } return # تست اتصال اولیه با متن کوتاه yield { "type": "info", "message": "🔄 در حال تست اتصال به API...", "total": self.total_rows } try: test_result = self.anonymizer.anonymize_text("تست: بانک ملی") if not test_result["success"]: yield { "type": "error", "message": f"❌ خطا در اتصال به API: {test_result.get('error', 'نامشخص')}" } return except Exception as e: yield { "type": "error", "message": f"❌ خطا در اتصال به API: {str(e)}" } return yield { "type": "info", "message": f"✅ اتصال برقرار! شروع پردازش {self.total_rows} ردیف...", "total": self.total_rows } # ایجاد ستون خروجی df[output_column] = "" df["anonymization_status"] = "" df["entities_found"] = "" yield { "type": "info", "message": f"🚀 شروع پردازش {self.total_rows} ردیف...", "total": self.total_rows } results = [] for idx, row in df.iterrows(): if self.is_cancelled: yield { "type": "cancelled", "message": "پردازش توسط کاربر لغو شد", "processed": self.processed_rows, "failed": self.failed_rows } break text = str(row[text_column]) if pd.notna(row[text_column]) else "" if not text.strip(): df.at[idx, output_column] = "" df.at[idx, "anonymization_status"] = "خالی" df.at[idx, "entities_found"] = "" self.processed_rows += 1 continue # پردازش متن result = self.anonymizer.anonymize_text(text) if result["success"]: df.at[idx, output_column] = result["anonymized_text"] df.at[idx, "anonymization_status"] = "موفق" stats = result.get("statistics", {}) entities_summary = f"شرکت:{stats.get('company',0)} | شخص:{stats.get('person',0)} | مبلغ:{stats.get('amount',0)} | درصد:{stats.get('percent',0)}" df.at[idx, "entities_found"] = entities_summary self.processed_rows += 1 else: df.at[idx, output_column] = f"خطا: {result.get('error', 'نامشخص')}" df.at[idx, "anonymization_status"] = "ناموفق" df.at[idx, "entities_found"] = "" self.failed_rows += 1 # محاسبه پیشرفت و زمان باقیمانده self.current_progress = (idx + 1) / self.total_rows * 100 elapsed = time.time() - self.start_time avg_time_per_row = elapsed / (idx + 1) remaining_rows = self.total_rows - (idx + 1) estimated_remaining = avg_time_per_row * remaining_rows # تخمین زمان انتظار بعدی next_wait = self.anonymizer.rate_limiter.get_estimated_wait_time() yield { "type": "progress", "current": idx + 1, "total": self.total_rows, "progress": self.current_progress, "processed": self.processed_rows, "failed": self.failed_rows, "elapsed": elapsed, "estimated_remaining": estimated_remaining, "next_wait": next_wait, "last_result": result } # ذخیره نتیجه نهایی if not self.is_cancelled: output_path = file_path.replace('.csv', '_anonymized.csv') if output_path == file_path: output_path = file_path + '_anonymized.csv' df.to_csv(output_path, index=False, encoding='utf-8-sig') total_time = time.time() - self.start_time yield { "type": "complete", "message": "✅ پردازش با موفقیت تکمیل شد!", "output_path": output_path, "total": self.total_rows, "processed": self.processed_rows, "failed": self.failed_rows, "total_time": total_time, "dataframe": df } def create_batch_interface(): """ایجاد رابط کاربری برای پردازش دسته‌ای""" api_key_available = bool(os.getenv("CEREBRAS_API_KEY")) custom_css = """ .gradio-container { font-family: 'Tahoma', 'Arial', sans-serif !important; direction: rtl; max-width: 1400px; margin: 0 auto; } .progress-bar { background-color: #e9ecef; border-radius: 10px; height: 30px; overflow: hidden; } .progress-fill { background: linear-gradient(90deg, #28a745, #20c997); height: 100%; transition: width 0.3s ease; } .stats-card { background-color: #f8f9fa; border-radius: 10px; padding: 15px; margin: 10px 0; border: 1px solid #dee2e6; } .warning-box { background-color: #fff3cd; border: 2px solid #ffeaa7; border-radius: 12px; padding: 15px; color: #856404; margin: 10px 0; } .success-box { background-color: #d4edda; border: 2px solid #c3e6cb; border-radius: 12px; padding: 15px; color: #155724; margin: 10px 0; } .info-box { background-color: #d1ecf1; border: 2px solid #bee5eb; border-radius: 12px; padding: 15px; color: #0c5460; margin: 10px 0; } """ # متغیرهای سراسری برای مدیریت پردازش batch_processor = {"instance": None} with gr.Blocks(css=custom_css, title="پردازش دسته‌ای ناشناس‌سازی با Cerebras", theme=gr.themes.Soft()) as interface: gr.Markdown(""" # 🔒 سیستم پردازش دسته‌ای ناشناس‌سازی متون فارسی ### ⚡ قدرت‌گرفته از Cerebras AI با مدیریت هوشمند Rate Limit """) with gr.Tabs(): # تب پردازش تکی with gr.Tab("📝 پردازش تکی"): if api_key_available: gr.Markdown('
✅ سیستم آماده است - کلید API تنظیم شده
') single_api_key = gr.Textbox(visible=False, value="") else: gr.Markdown('
⚠️ کلید API تنظیم نشده - لطفاً کلید خود را وارد کنید
') single_api_key = gr.Textbox(label="🔑 کلید Cerebras API", placeholder="csk-...", type="password") with gr.Row(): with gr.Column(): single_input = gr.Textbox(label="📝 متن ورودی", placeholder="متن خود را وارد کنید...", lines=10) single_btn = gr.Button("🔒 ناشناس‌سازی", variant="primary") with gr.Column(): single_output = gr.Textbox(label="🎯 متن ناشناس‌سازی شده", lines=10) single_stats = gr.Markdown() # تب پردازش دسته‌ای with gr.Tab("📁 پردازش دسته‌ای CSV"): gr.Markdown("""
📌 راهنمای پردازش دسته‌ای:
1. فایل CSV خود را آپلود کنید
2. ستون حاوی متن را انتخاب کنید
3. تنظیمات Rate Limit را بررسی کنید
4. پردازش را شروع کنید

⚠️ نکته مهم: برای جلوگیری از خطای 429، تأخیر بین درخواست‌ها به صورت خودکار مدیریت می‌شود.
""") if not api_key_available: batch_api_key = gr.Textbox(label="🔑 کلید Cerebras API", placeholder="csk-...", type="password") else: batch_api_key = gr.Textbox(visible=False, value="") with gr.Row(): with gr.Column(scale=2): csv_file = gr.File(label="📂 فایل CSV", file_types=[".csv"]) with gr.Row(): text_column = gr.Dropdown( label="📑 ستون متن", choices=[], interactive=True, info="ستون حاوی متن برای ناشناس‌سازی" ) output_column = gr.Textbox( label="📤 نام ستون خروجی", value="anonymized_text", info="نام ستون برای ذخیره نتایج" ) with gr.Column(scale=1): gr.Markdown("### ⚙️ تنظیمات Rate Limit") delay_between_requests = gr.Slider( label="⏱️ حداقل تأخیر بین درخواست‌ها (ثانیه)", minimum=1.0, maximum=10.0, value=2.5, step=0.5, info="افزایش این مقدار از خطای 429 جلوگیری می‌کند" ) requests_per_minute = gr.Slider( label="📊 حداکثر درخواست در دقیقه", minimum=5, maximum=30, value=20, step=1, info="محدودیت Cerebras Free: 30 درخواست/دقیقه" ) max_retries = gr.Slider( label="🔄 حداکثر تلاش مجدد", minimum=1, maximum=10, value=5, step=1, info="تعداد تلاش در صورت خطای 429" ) with gr.Row(): start_btn = gr.Button("🚀 شروع پردازش", variant="primary", size="lg") cancel_btn = gr.Button("⏹️ لغو پردازش", variant="stop", size="lg") # نمایش پیشرفت progress_bar = gr.Slider( label="📊 پیشرفت کلی", minimum=0, maximum=100, value=0, interactive=False ) with gr.Row(): with gr.Column(): progress_text = gr.Markdown("### 📈 وضعیت پردازش\nدر انتظار شروع...") with gr.Column(): time_stats = gr.Markdown("### ⏱️ زمان‌بندی\nدر انتظار شروع...") # لاگ پردازش process_log = gr.Textbox( label="📋 لاگ پردازش", lines=8, max_lines=15, interactive=False ) # نمایش نمونه نتایج with gr.Accordion("👁️ پیش‌نمایش نتایج", open=False): preview_table = gr.Dataframe( label="نمونه نتایج", headers=["متن اصلی", "متن ناشناس‌شده", "وضعیت"], interactive=False ) # دانلود نتیجه output_file = gr.File(label="📥 دانلود فایل خروجی", visible=False) # تب تنظیمات with gr.Tab("⚙️ تنظیمات و راهنما"): gr.Markdown(""" ## 📖 راهنمای محدودیت‌های Cerebras API ### 🔒 محدودیت‌های Free Tier: | پارامتر | مقدار | |---------|--------| | درخواست در دقیقه | 30 | | توکن در دقیقه | 60,000 | | توکن در روز | 1,000,000 | ### ⚡ نکات بهینه‌سازی: 1. **تأخیر بین درخواست‌ها:** حداقل 2 ثانیه بین هر درخواست 2. **Exponential Backoff:** در صورت خطای 429، تأخیر به صورت نمایی افزایش می‌یابد 3. **Retry Logic:** سیستم تا 5 بار تلاش مجدد می‌کند ### 🎯 پیشنهادات: - برای فایل‌های بزرگ (>100 ردیف)، تأخیر را روی 3 ثانیه تنظیم کنید - اگر خطای 429 زیاد دیدید، تأخیر را افزایش دهید - در ساعات شلوغ، محدودیت‌ها ممکن است سخت‌تر شوند ### 📊 فرمت فایل CSV: - **Encoding:** UTF-8 یا UTF-8-BOM پیشنهاد می‌شود - **ستون‌ها:** حداقل یک ستون حاوی متن فارسی - **حجم:** بدون محدودیت (اما پردازش فایل‌های بزرگ زمان‌بر است) """) # توابع def update_columns(file): """بروزرسانی لیست ستون‌ها بعد از آپلود فایل""" if file is None: return gr.update(choices=[], value=None) try: df = pd.read_csv(file.name, encoding='utf-8', nrows=5) except: try: df = pd.read_csv(file.name, encoding='utf-8-sig', nrows=5) except: df = pd.read_csv(file.name, encoding='cp1256', nrows=5) columns = list(df.columns) return gr.update(choices=columns, value=columns[0] if columns else None) def process_single_text(text, api_key): """پردازش متن تکی""" if not text.strip(): return "", "⚠️ متن ورودی خالی است" key = api_key if api_key else os.getenv("CEREBRAS_API_KEY") if not key: return "", "❌ کلید API وارد نشده است" try: anonymizer = AdvancedCerebrasAnonymizer(api_key=key) result = anonymizer.anonymize_text(text) if result["success"]: stats = result.get("statistics", {}) stats_md = f""" ### ✅ پردازش موفق - 🏢 شرکت‌ها: {stats.get('company', 0)} - 👤 اشخاص: {stats.get('person', 0)} - 💰 مبالغ: {stats.get('amount', 0)} - 📊 درصدها: {stats.get('percent', 0)} """ return result["anonymized_text"], stats_md else: return "", f"❌ خطا: {result.get('error', 'نامشخص')}" except Exception as e: return "", f"❌ خطا: {str(e)}" def start_batch_processing( file, text_col, output_col, delay, rpm, retries, api_key ): """شروع پردازش دسته‌ای""" if file is None: yield ( 0, "### ❌ خطا\nفایل انتخاب نشده است", "", "", None, gr.update(visible=False) ) return key = api_key if api_key else os.getenv("CEREBRAS_API_KEY") if not key: yield ( 0, "### ❌ خطا\nکلید API وارد نشده است", "", "", None, gr.update(visible=False) ) return # تنظیم rate limit rate_config = RateLimitConfig( requests_per_minute=int(rpm), min_delay_between_requests=float(delay), max_retries=int(retries) ) # ایجاد پردازشگر processor = BatchProcessor(api_key=key, rate_limit_config=rate_config) batch_processor["instance"] = processor log_lines = [] preview_data = [] # پردازش for update in processor.process_csv(file.name, text_col, output_col): update_type = update.get("type") if update_type == "error": log_lines.append(f"❌ {update['message']}") yield ( 0, f"### ❌ خطا\n{update['message']}", "", "\n".join(log_lines), None, gr.update(visible=False) ) return elif update_type == "info": log_lines.append(f"ℹ️ {update['message']}") # نمایش پیام info در UI yield ( 0, f"### ℹ️ {update['message']}", "", "\n".join(log_lines), None, gr.update(visible=False) ) elif update_type == "progress": progress = update["progress"] current = update["current"] total = update["total"] processed = update["processed"] failed = update["failed"] elapsed = update["elapsed"] remaining = update["estimated_remaining"] next_wait = update.get("next_wait", 0) progress_md = f""" ### 📈 وضعیت پردازش - **پردازش شده:** {current}/{total} ({progress:.1f}%) - **موفق:** {processed} ✅ - **ناموفق:** {failed} ❌ - **تأخیر بعدی:** {next_wait:.1f} ثانیه """ time_md = f""" ### ⏱️ زمان‌بندی - **سپری شده:** {elapsed/60:.1f} دقیقه - **تخمین باقیمانده:** {remaining/60:.1f} دقیقه - **سرعت:** {current/elapsed*60:.1f} ردیف/دقیقه """ # بروزرسانی لاگ هر 10 ردیف if current % 10 == 0 or current == total: log_lines.append(f"📊 پردازش {current}/{total} - موفق: {processed}, ناموفق: {failed}") # بروزرسانی پیش‌نمایش last_result = update.get("last_result", {}) if last_result.get("success"): preview_data.append([ "...", # متن اصلی خلاصه last_result.get("anonymized_text", "")[:100] + "...", "✅ موفق" ]) if len(preview_data) > 5: preview_data = preview_data[-5:] yield ( progress, progress_md, time_md, "\n".join(log_lines[-20:]), # فقط 20 خط آخر preview_data if preview_data else None, gr.update(visible=False) ) elif update_type == "cancelled": log_lines.append(f"⏹️ {update['message']}") yield ( 0, f"### ⏹️ لغو شد\nپردازش شده: {update['processed']}, ناموفق: {update['failed']}", "", "\n".join(log_lines), preview_data if preview_data else None, gr.update(visible=False) ) return elif update_type == "complete": total_time = update["total_time"] log_lines.append(f"✅ {update['message']}") log_lines.append(f"📁 فایل خروجی: {update['output_path']}") progress_md = f""" ### ✅ پردازش تکمیل شد! - **کل ردیف‌ها:** {update['total']} - **موفق:** {update['processed']} ✅ - **ناموفق:** {update['failed']} ❌ - **زمان کل:** {total_time/60:.1f} دقیقه """ time_md = f""" ### 📊 آمار نهایی - **سرعت میانگین:** {update['total']/total_time*60:.1f} ردیف/دقیقه - **نرخ موفقیت:** {update['processed']/update['total']*100:.1f}% """ yield ( 100, progress_md, time_md, "\n".join(log_lines), preview_data if preview_data else None, gr.update(value=update['output_path'], visible=True) ) def cancel_processing(): """لغو پردازش""" if batch_processor["instance"]: batch_processor["instance"].cancel() return "⏹️ درخواست لغو ارسال شد..." # اتصال رویدادها csv_file.change( fn=update_columns, inputs=[csv_file], outputs=[text_column] ) single_btn.click( fn=process_single_text, inputs=[single_input, single_api_key], outputs=[single_output, single_stats] ) start_btn.click( fn=start_batch_processing, inputs=[ csv_file, text_column, output_column, delay_between_requests, requests_per_minute, max_retries, batch_api_key ], outputs=[ progress_bar, progress_text, time_stats, process_log, preview_table, output_file ] ) cancel_btn.click( fn=cancel_processing, outputs=[process_log] ) return interface # اجرای برنامه if __name__ == "__main__": interface = create_batch_interface() interface.launch( server_name="0.0.0.0", server_port=7860, share=True, show_error=True )