Upload 4 files

app.py

@@ -0,0 +1,165 @@
+import gradio as gr
+import json
+import matplotlib.pyplot as plt # استيراد مكتبة Matplotlib لرسم المخططات
+import numpy as np # قد نحتاجه لبعض العمليات الحسابية البسيطة
+import matplotlib.font_manager as fm # استيراد font_manager للتحكم في الخطوط
+import arabic_reshaper # لاستعادة شكل الحروف العربية
+from bidi.algorithm import get_display # لضبط اتجاه النص RTL
+
+# استيراد الدالة الرئيسية لتقييم قائمة تشغيل YouTube من ملف main.py
+# تأكد أن ملف main.py موجود في نفس المجلد وأن النماذج (.pkl) متاحة له
+from main import evaluate_youtube_playlist_individually_same_method2
+
+# =======================================================
+# إعداد الخطوط لـ Matplotlib لدعم اللغة العربية
+# =======================================================
+# يجب التأكد من تثبيت خط عربي في بيئة Docker الخاصة بـ Hugging Face Space.
+# مثال على التثبيت في Dockerfile: RUN apt-get update && apt-get install -y fonts-noto-arabic
+# سنبحث عن خط Noto Sans Arabic، وإذا لم نجده، سيظل Matplotlib يستخدم الخط الافتراضي
+font_path = None
+# البحث عن خط Noto Sans Arabic أو Tajawal (يمكنك تغيير هذا بناءً على الخط الذي تفضله وتثبته)
+for font in fm.findSystemFonts(fontpaths=None):
+    if 'NotoSansArabic' in font or 'Tajawal' in font or 'Amiri' in font:
+        font_path = font
+        break
+
+if font_path:
+    # إضافة الخط العربي إلى قائمة الخطوط الافتراضية لـ Matplotlib
+    plt.rcParams['font.sans-serif'] = [fm.FontProperties(fname=font_path).get_name()] + plt.rcParams['font.sans-serif']
+    # تعطيل عرض علامة السالب كـ "صندوق" في بعض الخطوط
+    plt.rcParams['axes.unicode_minus'] = False 
+    # تعيين عائلة الخط الافتراضية
+    plt.rcParams['font.family'] = 'sans-serif'
+    print(f"تم تعيين الخط العربي لـ Matplotlib: {font_path}") # لغرض التصحيح في السجلات
+else:
+    print("تحذير: لم يتم العثور على خط عربي مناسب. قد لا يظهر النص العربي بشكل صحيح في المخطط.")
+    gr.Warning("تحذير: لم يتم العثور على خط عربي مناسب. قد لا يظهر النص العربي بشكل صحيح في المخطط.")
+
+
+async def evaluate_playlist_local(youtube_url: str, max_comments_per_video: int = 50, max_workers: int = 3):
+    """
+    تستدعي دالة تقييم قائمة تشغيل YouTube مباشرة من ملف main.py.
+    وتعيد النتائج النصية مجمعة في صندوق واحد، بالإضافة إلى مخطط Matplotlib يوضح نسب التعليقات.
+    """
+    error_message = ""
+    
+    # تهيئة المخرجات الافتراضية في حالة وجود خطأ أو عدم وجود رابط
+    default_text_output = "الرجاء إدخال رابط صحيح وتشغيل التقييم."
+    # إنشاء شكل Matplotlib فارغ لتجنب الأخطاء في حالة عدم وجود بيانات للمخطط
+    default_plot = plt.figure() 
+    plt.close(default_plot) # إغلاق الشكل الافتراضي لمنع عرضه غير الضروري
+
+    # التحقق من أن الرابط ليس فارغًا قبل المتابعة
+    if not youtube_url:
+        error_message = "الرجاء إدخال رابط قائمة تشغيل أو فيديو يوتيوب."
+        gr.Warning(error_message) # عرض تحذير للمستخدم في واجهة Gradio
+        return error_message, default_plot # إرجاع رسالة خطأ ومخطط فارغ
+
+    try:
+        # استدعاء الدالة الرئيسية لمعالجة قائمة التشغيل/الفيديو
+        result = await evaluate_youtube_playlist_individually_same_method2(
+            youtube_url=youtube_url,
+            max_comments_per_video=max_comments_per_video,
+            max_workers=max_workers
+        )
+
+        # التحقق مما إذا كانت الدالة قد أعادت خطأ
+        if "error" in result:
+            error_message = f"خطأ في المعالجة: {result['error']}"
+            gr.Error(error_message) # عرض الخطأ كرسالة خطأ حمراء في Gradio
+            return error_message, default_plot # إرجاع رسالة الخطأ ومخطط فارغ
+        
+        # استخراج النتائج المطلوبة من كائن JSON المُعاد
+        overall_quality = result.get("overall_quality", "غير متوفر")
+        composite_quality = result.get("composite_quality", "غير متوفر")
+        composite_score = result.get("composite_score", "غير متوفر")
+        percent_good_videos = result.get("percent_good_videos", "غير متوفر")
+        # التأكد من أن النسب عددية، وإلا سيتم تعيينها إلى 0.0
+        positive_ratio = result.get("positive_ratio", 0.0) 
+        negative_ratio = result.get("negative_ratio", 0.0) 
+
+        # =======================================================
+        # 1. إعداد النص الموحد ليتم عرضه في صندوق واحد (باستخدام Markdown للتنسيق)
+        # =======================================================
+        formatted_output_text = f"""
+        ## 📊 نتائج تقييم قائمة التشغيل:
+
+        - **الجودة العامة:** **{overall_quality}**
+        - **الجودة المركبة:** **{composite_quality}**
+        - **النقاط المركبة:** **{composite_score} / 100**
+        - **نسبة الفيديوهات الجيدة:** **{percent_good_videos}%**
+        - **نسبة التعليقات الإيجابية:** **{positive_ratio}%**
+        - **نسبة التعليقات السلبية:** **{negative_ratio}%**
+        """
+
+        # =======================================================
+        # 2. رسم المخطط باستخدام Matplotlib (مخطط دائري)
+        # =======================================================
+        # إنشاء شكل ومحاور للمخطط بحجم مناسب
+        fig, ax = plt.subplots(figsize=(6, 4)) 
+        
+        # النصوص العربية التي ستظهر على المخطط
+        labels_arabic = ['إيجابية', 'سلبية']
+        
+        # تطبيق arabic_reshaper و get_display على التسميات العربية
+        # هذا هو الجزء الذي يحل مشكلة قلب النص وتقطيعه
+        reshaped_labels = [get_display(arabic_reshaper.reshape(label)) for label in labels_arabic]
+        
+        sizes = [positive_ratio, negative_ratio] # قيم النسب المئوية
+        colors = ['#4CAF50', '#F44336'] # ألوان الشرائح (أخضر للإيجابي، أحمر للسلبي)
+        explode = (0.1, 0) # "تفجير" الشريحة الإيجابية قليلاً لإبرازها (اختياري)
+
+        # رسم المخطط الدائري باستخدام التسميات المصححة
+        ax.pie(sizes, explode=explode, labels=reshaped_labels, colors=colors,
+               autopct='%1.1f%%', shadow=True, startangle=90, textprops={'fontsize': 12})
+        ax.axis('equal')  # يضمن أن يكون المخطط دائريًا متناسبًا.
+        
+        # تطبيق arabic_reshaper و get_display على عنوان المخطط
+        reshaped_title = get_display(arabic_reshaper.reshape('توزيع التعليقات'))
+        ax.set_title(reshaped_title, fontsize=14, pad=20) 
+
+        # إغلاق الشكل لمنع Matplotlib من عرضه تلقائيًا في الخلفية، Gradio سيتولى العرض.
+        plt.close(fig) 
+
+        # إرجاع النص المنسق والمخطط كناتجين للدالة
+        return formatted_output_text, fig 
+        
+    except Exception as e:
+        # التقاط أي أخطاء غير متوقعة أثناء المعالجة
+        error_message = f"حدث خطأ غير متوقع أثناء المعالجة: {e}"
+        gr.Error(error_message) # عرض رسالة الخطأ للمستخدم
+        return error_message, default_plot # إرجاع رسالة الخطأ ومخطط فارغ في حالة الفشل
+
+
+# بناء واجهة Gradio باستخدام gr.Blocks للتحكم في التخطيط
+with gr.Blocks(title="تقييم قائمة تشغيل يوتيوب") as demo:
+    # عنوان ووصف الواجهة
+    gr.Markdown("# 📊 تقييم جودة قائمة تشغيل يوتيوب")
+    gr.Markdown("أدخل رابط قائمة تشغيل أو فيديو يوتيوب لتقييم جودتها بناءً على التحليلات والمشاعر.")
+
+    # تقسيم الواجهة إلى صفين (Row) لأعمدة المدخلات والمخرجات
+    with gr.Row():
+        # العمود الأول للمدخلات
+        with gr.Column(scale=1): 
+            youtube_url_input = gr.Textbox(label="رابط قائمة تشغيل/فيديو يوتيوب", placeholder="الصق رابط يوتيوب هنا...", interactive=True)
+            max_comments_input = gr.Slider(minimum=10, maximum=200, value=50, step=10, label="الحد الأقصى للتعليقات لكل فيديو", interactive=True)
+            max_workers_input = gr.Slider(minimum=1, maximum=10, value=3, step=1, label="الحد الأقصى للعمال المتوازيين", interactive=True)
+            submit_button = gr.Button("🚀 تقييم قائمة التشغيل", variant="primary") # زر الإرسال الرئيسي
+
+        # العمود الثاني للمخرجات (بجعل scale=2 ليكون أكبر)
+        with gr.Column(scale=2): 
+            # صندوق نصي واحد لعرض جميع النتائج النصية المنسقة
+            output_text_box = gr.Markdown(label="النتائج النهائية للتقييم") 
+            # عنصر Gradio لعرض مخطط Matplotlib
+            output_plot = gr.Plot(label="توزيع التعليقات (إيجابية مقابل سلبية)")
+    
+    # ربط زر الإرسال بالدالة evaluate_playlist_local
+    # المدخلات هي عناصر واجهة المستخدم التي توفر البيانات للدالة
+    # المخرجات هي عناصر واجهة المستخدم التي ستعرض النتائج من الدالة
+    submit_button.click(
+        evaluate_playlist_local, 
+        inputs=[youtube_url_input, max_comments_input, max_workers_input],
+        outputs=[output_text_box, output_plot]
+    )
+# تشغيل واجهة Gradio
+demo.launch(debug=True)

cookies.txt

@@ -0,0 +1,26 @@
+# Netscape HTTP Cookie File
+# http://curl.haxx.se/rfc/cookie_spec.html
+# This is a generated file!  Do not edit.
+
+.youtube.com	TRUE	/	TRUE	1750605937	GPS	1
+.youtube.com	TRUE	/	FALSE	1785164314	HSID	ARry8BUK29EDrBoaF
+.youtube.com	TRUE	/	TRUE	1785164314	SSID	AjCzjJbJLISdFrbYI
+.youtube.com	TRUE	/	FALSE	1785164314	APISID	6dEVcNzrdyrSNj7H/AZnazb-bFpAgUEfQr
+.youtube.com	TRUE	/	TRUE	1785164314	SAPISID	2NjKZ3kQBu8bv0_e/AGFPUddDotSAN2vVx
+.youtube.com	TRUE	/	TRUE	1785164314	__Secure-1PAPISID	2NjKZ3kQBu8bv0_e/AGFPUddDotSAN2vVx
+.youtube.com	TRUE	/	TRUE	1785164314	__Secure-3PAPISID	2NjKZ3kQBu8bv0_e/AGFPUddDotSAN2vVx
+.youtube.com	TRUE	/	TRUE	1785164318	PREF	f6=40000000&tz=Europe.Moscow&f7=100
+.youtube.com	TRUE	/	TRUE	1782140314	__Secure-1PSIDTS	sidts-CjIB5H03PxuzW2Vf9c_jiy29lu5xxueOCAKa5jOwCuuVfnbo674ACoNTHkYWSlk4qT68_BAA
+.youtube.com	TRUE	/	TRUE	1782140314	__Secure-3PSIDTS	sidts-CjIB5H03PxuzW2Vf9c_jiy29lu5xxueOCAKa5jOwCuuVfnbo674ACoNTHkYWSlk4qT68_BAA
+.youtube.com	TRUE	/	FALSE	1785164314	SID	g.a000yQi382-L9qE4kH90yiuUmV1jpZ6Z6Rog3NDDErE979f6Xma13c5myG1NgMw2prvvipxaoQACgYKAVgSARASFQHGX2Mi6asQ6aBxFLddrOp89XzCrBoVAUF8yKrcaRQIUVME90wBCGnagMRV0076
+.youtube.com	TRUE	/	TRUE	1785164314	__Secure-1PSID	g.a000yQi382-L9qE4kH90yiuUmV1jpZ6Z6Rog3NDDErE979f6Xma1z4fcO3r7X4O2xuSsFhhmBgACgYKAVoSARASFQHGX2MigD_g3CbWmUoEQC6BefdschoVAUF8yKqSIIugdIVfv1ws8wER5vEQ0076
+.youtube.com	TRUE	/	TRUE	1785164314	__Secure-3PSID	g.a000yQi382-L9qE4kH90yiuUmV1jpZ6Z6Rog3NDDErE979f6Xma1OtS11r88WMywoxNuX4i1qgACgYKARYSARASFQHGX2MiWNoHv0DHjaZvOom_Qxa9-xoVAUF8yKqSWJtKrf0bKMuypA8yUvju0076
+.youtube.com	TRUE	/	TRUE	1785164314	LOGIN_INFO	AFmmF2swRQIgMksh9mqUXdjZrxKDFDpzhoCiqISm12xIKttEPuVO960CIQDeKRqJ9GdwTBTsNZ7F3nn29aZhXrAxa3zRxcHaz2Ezvw:QUQ3MjNmeU9WdHNNSzJJOVg0eFFZc3ZqcS1UYmZnMEJmemFsUTlBbEduR2hMMFNFWm53VldzV2xCQmswckhubnNtVng0YVpiYVNSTHRORU41YTlaOVJxNmVpUElUVmt1WTJOUndBVnFpWkdMWnlDNFVhUV9qTTlGS0dFa0ItdFZVcGlqU2xLdVdFS1J3Vy1RcElmTXlyX3kyMk9TSE1tRzd3
+.youtube.com	TRUE	/	FALSE	1750604320	ST-1av3flt	session_logininfo=AFmmF2swRQIhAMYEHjGtEiunO3YTi-LK_XI8qU5-yfXTbmAB7g4RAZhMAiBpBVw881T2bnA2AtulKo3Y8QCteWBDie1xlh1JApeMpg%3AQUQ3MjNmd1Z1SlZrckJzZXZmaU9BM2ZuMXRlMEo2MC1pbWlMSUxBSWJONXBxNDM1dUFlS1ExM05qUkhsaHRGSDhLem1rQ215S1hPOGNTa3RHbmVVVXdQbWlSd1RSRk80cHhmdjdMTFdHV254dExudVFEeGx0Nl9IYmgwWjJuWWNtSXBNZ0tFSU84Y1BWM1Y3NzJvQ05RbGNQbFNxWWtISkRn
+.youtube.com	TRUE	/	FALSE	1782140316	SIDCC	AKEyXzU4Aq9nBSw7WT6Gn4zXKQJZ67dy8TtW3WWGGnhNLehzBAHV1j_p7Blb3P17lojScfzV2A
+.youtube.com	TRUE	/	TRUE	1782140316	__Secure-1PSIDCC	AKEyXzWoeWe0DYmTnNS5wJjaWJKHtHY06IM5gRfGPvL0qcYhho08TeoFe7xZIDDPvcCFy_cQ
+.youtube.com	TRUE	/	TRUE	1782140316	__Secure-3PSIDCC	AKEyXzVbdhRyt2HZyJly66JY8bUYKiA0Gqp0zg-AuUjPekDR1Wv2mA4c3Lhq0qIVymbsMTYUNA
+.youtube.com	TRUE	/	TRUE	0	YSC	VAkAySvY4Wk
+.youtube.com	TRUE	/	TRUE	1766156316	VISITOR_INFO1_LIVE	-gI4hoAZQFk
+.youtube.com	TRUE	/	TRUE	1766156316	VISITOR_PRIVACY_METADATA	CgJZRRIEGgAgMw%3D%3D
+.youtube.com	TRUE	/	TRUE	1766156144	__Secure-ROLLOUT_TOKEN	CKH-5NPA1ZGPxwEQmJHKzqSFjgMY64v50aSFjgM%3D

main.py

@@ -0,0 +1,297 @@
+from fastapi import FastAPI, HTTPException
+from pydantic import BaseModel
+import pickle
+import pandas as pd
+import numpy as np
+import yt_dlp
+from youtube_comment_downloader import YoutubeCommentDownloader
+from datetime import datetime
+import re
+import string
+import nltk
+import emoji
+from urllib.parse import urlparse, parse_qs
+from nltk.corpus import stopwords
+import logging
+from concurrent.futures import ThreadPoolExecutor
+from fake_useragent import UserAgent
+import random
+import io
+import base64
+import math
+import time
+
+# --- إعدادات NLTK و Logging ---
+nltk.data.path.append('/app/nltk_data')
+try:
+    nltk.download('stopwords', quiet=True)
+except Exception as e:
+    logging.error(f"Failed to download NLTK stopwords: {e}")
+
+arabic_stopwords = set(stopwords.words('arabic'))
+
+# --- إعداد التسجيل ---
+logging.basicConfig(
+    filename='youtube_scraper.log',
+    level=logging.INFO,
+    format='%(asctime)s - %(levelname)s - %(message)s'
+)
+
+app = FastAPI()
+
+# تحميل النماذج
+loaded_quality_model = None
+loaded_sentiment_pipeline = None
+
+try:
+    with open('models/final_youtube_quality_model.pkl', 'rb') as f:
+        loaded_quality_model = pickle.load(f)
+    logging.info("تم تحميل نموذج جودة الفيديو بنجاح.")
+except FileNotFoundError:
+    logging.error("خطأ: لم يتم العثور على ملف النموذج 'final_youtube_quality_model.pkl'.")
+except Exception as e:
+    logging.error(f"خطأ غير متوقع أثناء تحميل نموذج جودة الفيديو: {e}")
+
+try:
+    with open('models/best_sentiment_pipeline.pkl', 'rb') as f:
+        loaded_sentiment_pipeline = pickle.load(f)
+    logging.info("تم تحميل نموذج تصنيف المشاعر بنجاح.")
+except FileNotFoundError:
+    logging.error("خطأ: لم يتم العثور على ملف النموذج 'best_sentiment_pipeline.pkl'.")
+except Exception as e:
+    logging.error(f"خطأ غير متوقع أثناء تحميل نموذج تحليل المشاعر: {e}")
+
+# --- إعدادات User-Agent لـ yt-dlp ---
+ua = UserAgent()
+
+def get_desktop_user_agent():
+    while True:
+        candidate = random.choice([ua.chrome, ua.firefox, ua.safari])
+        if all(x not in candidate for x in ['Mobile', 'Android', 'iPhone', 'iPad']):
+            return candidate
+
+selected_user_agent = get_desktop_user_agent()
+
+headers = {'User-Agent': selected_user_agent}
+
+# تحديد مسار ملف الكوكيز داخل حاوية Docker
+COOKIES_FILE_PATH = 'cookies.txt' 
+
+ydl_opts_video_info = {
+    'quiet': True,
+    'skip_download': True,
+    'extract_flat': True,
+    'ignoreerrors': True,
+    'no_warnings': True,
+    'age_limit': 18,
+    'force_generic_extractor': False,
+    'http_headers': headers,
+    'cookiefile': COOKIES_FILE_PATH # سيبقى هذا الخيار لـ yt-dlp
+}
+
+# --- النموذج ---
+class PlaylistRequest(BaseModel):
+    playlist_url: str
+
+# --- دالة استخراج ID الفيديو ---
+def extract_video_id(url):
+    if 'youtu.be/' in url:
+        return url.split('/')[-1].split('?')[0]
+    elif 'watch?v=' in url:
+        return parse_qs(urlparse(url).query).get('v', [None])[0]
+    return None
+
+# --- تنظيف التعليقات ---
+def preprocess_text(text):
+    if not isinstance(text, str):
+        return ""
+    text = emoji.demojize(text)
+    text = re.sub(r'http\S+', '', text)
+    text = text.translate(str.maketrans('', '', string.punctuation + string.digits))
+    text = text.lower()
+    text = re.sub(r'\s+', ' ', text).strip()
+    text_tokens = text.split()
+    filtered_text = [word for word in text_tokens if word not in arabic_stopwords]
+    return ' '.join(filtered_text)
+
+
+# --- معالجة فيديو واحد فقط (نسخة 2) ---
+def process_single_video2(video_url, loaded_quality_model, loaded_sentiment_pipeline, max_comments_per_video=50):
+    # تم حذف cookies_file من هنا
+    downloader = YoutubeCommentDownloader() 
+
+    video_id = extract_video_id(video_url)
+    if not video_id:
+        logging.warning(f"رابط فيديو غير صالح: {video_url}. تم تجاهله.")
+        return None
+
+    try:
+        time.sleep(random.uniform(1, 3))
+
+        with yt_dlp.YoutubeDL(ydl_opts_video_info) as ydl:
+            info_dict = ydl.extract_info(video_url, download=False)
+
+            logging.info(f"[فيديو: {video_url}] تم استخراج البيانات: {info_dict.keys()}")
+
+            if not info_dict or info_dict.get('is_live', False) or info_dict.get('age_limit', 0) > 0:
+                logging.warning(f"لا يمكن معالجة الفيديو {video_id}: مباشر أو مقيد عمرًا. تم تجاهله.")
+                return None
+
+            views = info_dict.get('view_count', 0)
+            likes = info_dict.get('like_count', 0)
+
+            logging.info(f"[فيديو: {video_url}] المشاهدات: {views}, الإعجابات: {likes}")
+
+            upload_date = info_dict.get('upload_date', 'Unknown')
+            publish_year = int(upload_date[:4]) if upload_date != 'Unknown' else datetime.now().year
+
+        time.sleep(random.uniform(1, 3))
+        
+        sampled_comments = []
+        try:
+            for comment in downloader.get_comments_from_url(video_url):
+                if 'text' in comment:
+                    sampled_comments.append(comment['text'])
+                    if len(sampled_comments) >= max_comments_per_video:
+                        break
+        except Exception as e:
+            logging.warning(f"فشل في جلب التعليقات للفيديو {video_id}. السبب: {e}.")
+            sampled_comments = []
+
+        like_view_ratio = likes / views if views > 0 else 0.0
+        comment_view_ratio = len(sampled_comments) / views if views > 0 else 0.0
+        engagement_score = like_view_ratio + comment_view_ratio
+
+        positive_comments = 0
+        negative_comments = 0
+        overall_sentiment = "لا توجد تعليقات كافية"
+
+        if sampled_comments:
+            processed_comments = [preprocess_text(c) for c in sampled_comments]
+            sentiment_predictions = loaded_sentiment_pipeline.predict(processed_comments)
+            positive_comments = np.sum(sentiment_predictions == 1)
+            negative_comments = np.sum(sentiment_predictions == 0)
+
+            if positive_comments > negative_comments:
+                overall_sentiment = "إيجابي"
+            elif negative_comments > positive_comments:
+                overall_sentiment = "سلبي"
+            else:
+                overall_sentiment = "محايد"
+
+        input_df = pd.DataFrame([[views, likes, len(sampled_comments), 0, publish_year,
+                                  like_view_ratio, comment_view_ratio, engagement_score]],
+                                 columns=['views_count', 'likes_count', 'comments_count',
+                                          'video_duration_seconds', 'publish_year',
+                                          'like_view_ratio', 'comment_view_ratio', 'engagement_score'])
+
+        playlist_quality = "لم يتم التقييم"
+        try:
+            prediction_numeric = loaded_quality_model.predict(input_df)[0]
+            logging.info(f"[فيديو: {video_url}] نتيجة التنبؤ: {prediction_numeric}")
+            playlist_quality = "جيد" if prediction_numeric == 1 else "سيء"
+        except Exception as e:
+            playlist_quality = f"خطأ في التقييم: {e}"
+            logging.error(f"[فيديو: {video_url}] خطأ في تقييم الفيديو: {e}")
+
+        return {
+            "video_url": video_url,
+            "views": views,
+            "likes": likes,
+            "comments": len(sampled_comments),
+            "like_view_ratio": like_view_ratio,
+            "comment_view_ratio": comment_view_ratio,
+            "engagement_score": engagement_score,
+            "quality": playlist_quality,
+            "sentiment": overall_sentiment,
+            "positive_comments": positive_comments,
+            "negative_comments": negative_comments
+        }
+
+    except Exception as e:
+        logging.error(f"حدث خطأ في الفيديو {video_url}: {e}")
+        return None
+
+@app.post("/evaluate_youtube_playlist_individually_same_method2/")
+async def evaluate_youtube_playlist_individually_same_method2(youtube_url: str, max_comments_per_video: int = 50, max_workers: int = 3):
+    """
+    تقييم قائمة تشغيل يوتيوب باستخدام نظام مركب (نسخة 2)
+    """
+
+    if loaded_quality_model is None or loaded_sentiment_pipeline is None:
+        logging.error("لم يتم تحميل النماذج المطلوبة.")
+        return {"error": "لم يتم تحميل النماذج المطلوبة."}
+
+    video_links = []
+    try:
+        # خيار cookiefile لـ yt-dlp يبقى هنا
+        with yt_dlp.YoutubeDL({'extract_flat': True, 'quiet': True, 'playlist_items': '1:10', 'cookiefile': COOKIES_FILE_PATH}) as ydl:
+            playlist_info = ydl.extract_info(youtube_url, download=False)
+            if 'entries' in playlist_info:
+                for entry in playlist_info['entries'][:10]:
+                    if entry and 'url' in entry:
+                        video_links.append(entry['url'])
+            else:
+                logging.warning("لا توجد فيديوهات في هذه القائمة.")
+                return {"error": "لا توجد فيديوهات في هذه القائمة."}
+    except Exception as e:
+        logging.error(f"فشل في جلب روابط الفيديو: {e}")
+        return {"error": f"فشل في جلب روابط الفيديو: {e}"}
+
+    individual_results = []
+
+    with ThreadPoolExecutor(max_workers=max_workers) as executor:
+        futures = [
+            executor.submit(
+                process_single_video2,
+                video_url,
+                loaded_quality_model,
+                loaded_sentiment_pipeline,
+                max_comments_per_video
+            ) for video_url in video_links
+        ]
+
+        for future in futures:
+            result = future.result()
+            if result:
+                individual_results.append(result)
+            time.sleep(random.uniform(0.5, 1.5))
+
+    num_good_videos = sum(1 for r in individual_results if r and r.get('quality') == 'جيد')
+    total_positive_comments = sum(r.get('positive_comments', 0) for r in individual_results if r)
+    total_negative_comments = sum(r.get('negative_comments', 0) for r in individual_results if r)
+    total_classified_comments = total_positive_comments + total_negative_comments
+
+    total_videos = len(individual_results)
+    percent_good_videos = (num_good_videos / total_videos) * 100 if total_videos > 0 else 0
+
+    if percent_good_videos >= 70:
+        overall_quality = "جيد جداً"
+    elif percent_good_videos >= 50:
+        overall_quality = "جيد"
+    else:
+        overall_quality = "سيء"
+
+    WEIGHT_QUALITY = 0.6
+    WEIGHT_SENTIMENT = 0.4
+
+    positive_ratio = (total_positive_comments / total_classified_comments) * 100 if total_classified_comments > 0 else 0.0
+    composite_score = (WEIGHT_QUALITY * percent_good_videos) + (WEIGHT_SENTIMENT * positive_ratio)
+
+    if composite_score >= 75:
+        composite_quality = "جيد جداً"
+    elif composite_score >= 60:
+        composite_quality = "جيد"
+    elif composite_score >= 45:
+        composite_quality = "متوسط"
+    else:
+        composite_quality = "سيء"
+
+    return {
+        "overall_quality": overall_quality,
+        "composite_quality": composite_quality,
+        "composite_score": round(composite_score, 1),
+        "percent_good_videos": round(percent_good_videos, 1),
+        "positive_ratio": round(positive_ratio, 1),
+        "negative_ratio": round(100 - positive_ratio, 1),
+    }

requirements.txt

@@ -0,0 +1,19 @@
+fastapi
+uvicorn[standard]
+python-multipart
+yt-dlp
+youtube-comment-downloader
+nltk
+emoji
+pandas
+numpy
+# استخدم الإصدار الدقيق الذي دربت عليه النماذج
+scikit-learn==1.6.1
+gunicorn
+fake-useragent  # <--- جديد
+tqdm  
+gradio
+requests
+matplotlib 
+arabic-reshaper
+python-bidi