Update main.py

main.py

@@ -12,15 +12,14 @@ import nltk
 import emoji
 from urllib.parse import urlparse, parse_qs
 from nltk.corpus import stopwords
-import logging # جديد
-from concurrent.futures import ThreadPoolExecutor # جديد
-from fake_useragent import UserAgent # جديد
-import random # جديد
+import logging
+from concurrent.futures import ThreadPoolExecutor
+from fake_useragent import UserAgent
+import random
 import io
 import base64
-import random # لاستخدام أخذ العينات العشوائية للتعليقات
-from urllib.parse import urlparse, parse_qs
 import math
+import time # تم إضافة هذه المكتبة للتحكم في التأخير
 
 # --- إعدادات NLTK و Logging ---
 # ضبط مسار بيانات NLTK ليطابق Dockerfile
@@ -78,8 +77,6 @@ selected_user_agent = get_desktop_user_agent()
 
 headers = {'User-Agent': selected_user_agent}
 
-
-
 ydl_opts_video_info = {
     'quiet': True,
     'skip_download': True,
@@ -103,10 +100,7 @@ def extract_video_id(url):
         return parse_qs(urlparse(url).query).get('v', [None])[0]
     return None
 
-
-# # --- تنظيف التعليقات ---
-# arabic_stopwords = set(stopwords.words('arabic'))
-
+# --- تنظيف التعليقات ---
 def preprocess_text(text):
     if not isinstance(text, str):
         return ""
@@ -130,6 +124,9 @@ def process_single_video2(video_url, loaded_quality_model, loaded_sentiment_pipe
         return None
 
     try:
+        # إضافة تأخير عشوائي قبل كل طلب معلومات فيديو
+        time.sleep(random.uniform(1, 3)) # تأخير بين 1 و 3 ثوانٍ
+
         with yt_dlp.YoutubeDL(ydl_opts_video_info) as ydl:
             info_dict = ydl.extract_info(video_url, download=False)
 
@@ -149,6 +146,9 @@ def process_single_video2(video_url, loaded_quality_model, loaded_sentiment_pipe
             upload_date = info_dict.get('upload_date', 'Unknown')
             publish_year = int(upload_date[:4]) if upload_date != 'Unknown' else datetime.now().year
 
+        # إضافة تأخير عشوائي قبل كل طلب جلب تعليقات
+        time.sleep(random.uniform(1, 3)) # تأخير بين 1 و 3 ثوانٍ
+        
         # --- جلب التعليقات ---
         sampled_comments = []
         try:
@@ -216,13 +216,7 @@ def process_single_video2(video_url, loaded_quality_model, loaded_sentiment_pipe
         logging.error(f"حدث خطأ في الفيديو {video_url}: {e}")
         return None
 
-# دالة FastAPI الأصلية التي ستستدعيها Gradio
-# قم بإزالة @app.post إذا لم تعد هذه نقطة نهاية API
-# ولكن بما أنك تستخدم هذا الملف كجزء من تطبيق FastAPI، فلا تزل @app.post.
-# بدلاً من ذلك، سنعدل كيفية استدعاء tqdm في هذه الدالة.
-# async def evaluate_youtube_playlist_individually_same_method2(youtube_url, max_comments_per_video=50, max_workers=3):
-# بما أننا نستدعيها من Gradio، يمكننا تمرير المعلمات مباشرة دون الحاجة لـ Pydantic BaseModel
-@app.post("/evaluate_youtube_playlist_individually_same_method2/") # أبقِ على هذا إذا كان لا يزال FastAPI API
+@app.post("/evaluate_youtube_playlist_individually_same_method2/")
 async def evaluate_youtube_playlist_individually_same_method2(youtube_url: str, max_comments_per_video: int = 50, max_workers: int = 3):
     """
     تقييم قائمة تشغيل يوتيوب باستخدام نظام مركب (نسخة 2)
@@ -230,7 +224,6 @@ async def evaluate_youtube_playlist_individually_same_method2(youtube_url: str,
 
     if loaded_quality_model is None or loaded_sentiment_pipeline is None:
         logging.error("لم يتم تحميل النماذج المطلوبة.")
-        # تغيير الاستجابة لتكون متناسقة مع Gradio
         return {"error": "لم يتم تحميل النماذج المطلوبة."}
 
     video_links = []
@@ -252,7 +245,6 @@ async def evaluate_youtube_playlist_individually_same_method2(youtube_url: str,
 
     # --- معالجة الفيديوهات بالتوازي ---
     with ThreadPoolExecutor(max_workers=max_workers) as executor:
-        # تمت إزالة tqdm هنا لتجنب المشاكل في بيئات غير تفاعلية
         futures = [
             executor.submit(
                 process_single_video2,
@@ -267,9 +259,11 @@ async def evaluate_youtube_playlist_individually_same_method2(youtube_url: str,
             result = future.result()
             if result:
                 individual_results.append(result)
+            # تأخير إضافي بين معالجة نتائج الفيديوهات (اختياري)
+            time.sleep(random.uniform(0.5, 1.5)) # تأخير بين 0.5 و 1.5 ثانية
 
     # --- الإحصاء النهائي ---
-    num_good_videos = sum(1 for r in individual_results if r and r.get('quality') == 'جيد') # إضافة r and r.get('quality') للتحقق من عدم وجود None
+    num_good_videos = sum(1 for r in individual_results if r and r.get('quality') == 'جيد')
     total_positive_comments = sum(r.get('positive_comments', 0) for r in individual_results if r)
     total_negative_comments = sum(r.get('negative_comments', 0) for r in individual_results if r)
     total_classified_comments = total_positive_comments + total_negative_comments