Update src/api/downloader.py

src/api/downloader.py

@@ -1,39 +1,169 @@
-import yt_dlp
 import logging
 import os
+import re
+import subprocess
+import tempfile
+import time
 from pathlib import Path
 
 logger = logging.getLogger(__name__)
 
-# مكان حفظ الصوت المؤقت
-_AUDIO_DIR = Path("/tmp/yt_audio")
+# --- إعدادات المسارات ---
+_AUDIO_DIR    = Path(tempfile.gettempdir()) / "yt_audio"
+_COOKIES_PATH = Path("/tmp/yt_cookies.txt")
+_POT_BASE_URL = "http://127.0.0.1:4416"
 
 class YouTubeDownloader:
+
     def __init__(self):
         _AUDIO_DIR.mkdir(parents=True, exist_ok=True)
+        self._write_cookies()
+
+        # قراءة مفاتيح الـ API من الـ Secrets
+        self._assemblyai_key = os.environ.get("ASSEMBLYAI_API_KEY", "").strip()
+        self._supadata_key   = os.environ.get("SUPADATA_API_KEY", "").strip()
+
+        logger.info("🚀 Pipeline Status Check:")
+        logger.info(f"  [1] YouTube Transcript API : ✅ Active")
+        logger.info(f"  [2] AssemblyAI             : {'✅ Key Set' if self._assemblyai_key else '❌ Key Missing'}")
+        logger.info(f"  [3] yt-dlp + POT Solver    : ✅ Active (Fallback)")
+
+    # ── المدخل الرئيسي (Public API) ───────────────────────────────────────────
+
+    def get_transcript(self, url: str) -> str:
+        """
+        المحرك الرئيسي لجلب النص. بيجرب 4 طرق ورا بعض لحد ما ينجح.
+        """
+        video_id = self._extract_video_id(url)
+        logger.info("=" * 55)
+        logger.info(f"🔍 Starting transcription pipeline for: {video_id}")
+
+        # الخطة (1) — الترجمة الجاهزة من يوتيوب (مجانية وسريعة)
+        result = self._try_transcript_api(video_id)
+        if result: return result
+
+        # الخطة (2) — AssemblyAI (المنقذ لتخطي حظر الـ IP)
+        # هنا بتبعت الرابط ليهم وهم بيحملوا الصوت على سيرفراتهم
+        result = self._try_assemblyai(url, video_id)
+        if result: return result
+
+        # الخطة (3) — التحميل المحلي باستخدام POT Solver (لو الـ IP فك حظره)
+        result = self._try_ytdlp_download(url, video_id)
+        if result: return result
+
+        # الخطة (4) — Supadata (احتياطي أخير)
+        result = self._try_supadata(url, video_id)
+        if result: return result
+
+        raise RuntimeError(f"❌ All strategies failed for video {video_id}. Check logs.")
+
+    # ── الخطة 1: الترجمة الرسمية ─────────────────────────────────────────────
+
+    def _try_transcript_api(self, video_id: str) -> str | None:
+        try:
+            from youtube_transcript_api import YouTubeTranscriptApi
+            entries = YouTubeTranscriptApi.get_transcript(video_id)
+            text = " ".join(e["text"] for e in entries).strip()
+            logger.info("✅ [1/Transcript-API] Success!")
+            return text
+        except Exception as e:
+            logger.warning(f"⚠️  [1/Transcript-API] Failed: {e}")
+            return None
+
+    # ── الخطة 2: AssemblyAI (الحل الجذري) ─────────────────────────────────────
+
+    def _try_assemblyai(self, url: str, video_id: str) -> str | None:
+        if not self._assemblyai_key:
+            return None
+        try:
+            import assemblyai as aai
+            aai.settings.api_key = self._assemblyai_key
+            logger.info(f"🚀 [2/AssemblyAI] Submitting URL to external infra...")
+
+            config = aai.TranscriptionConfig(language_detection=True, punctuate=True)
+            transcriber = aai.Transcriber(config=config)
+            
+            # الطلب ده بيبعت الرابط لـ AssemblyAI وهم بيتصرفوا
+            transcript = transcriber.transcribe(url)
+
+            if transcript.status == aai.TranscriptStatus.error:
+                logger.error(f"❌ [2/AssemblyAI] Error: {transcript.error}")
+                return None
+
+            logger.info("✅ [2/AssemblyAI] Transcription Success!")
+            return transcript.text
+        except Exception as e:
+            logger.warning(f"⚠️  [2/AssemblyAI] Failed: {e}")
+            return None
+
+    # ── الخطة 3: التحميل المحلي (yt-dlp + POT) ────────────────────────────────
+
+    def _try_ytdlp_download(self, url: str, video_id: str) -> str | None:
+        # مسح أي ملفات قديمة
+        for f in _AUDIO_DIR.glob(f"{video_id}.*"): f.unlink(missing_ok=True)
+
+        output_tmpl = str(_AUDIO_DIR / f"{video_id}.%(ext)s")
+        cmd = [
+            "yt-dlp", "--no-playlist", "--format", "bestaudio/best",
+            "--output", output_tmpl,
+            "--extractor-args", f"youtube:player_client=web;youtubepot-bgutilhttp:base_url={_POT_BASE_URL}",
+            "--verbose", "--no-check-certificate"
+        ]
+
+        logger.info(f"📂 [3/yt-dlp] Attempting local download...")
+        try:
+            result = subprocess.run(cmd, capture_output=True, text=True, timeout=120)
+            if result.returncode != 0:
+                logger.warning("⚠️  [3/yt-dlp] Blocked by YouTube IP Ban.")
+                return None
+            
+            # لو نزل، نستخدم Whisper محلياً
+            matches = list(_AUDIO_DIR.glob(f"{video_id}.*"))
+            if matches:
+                return self._transcribe_whisper(str(matches[0]))
+        except Exception as e:
+            logger.warning(f"⚠️  [3/yt-dlp] Failed: {e}")
+        return None
+
+    def _transcribe_whisper(self, audio_path: str) -> str | None:
+        try:
+            import whisper
+            model = whisper.load_model("base")
+            result = model.transcribe(audio_path)
+            return result["text"].strip()
+        finally:
+            if os.path.exists(audio_path): os.remove(audio_path)
+
+    # ── الخطة 4: Supadata ────────────────────────────────────────────────────
+
+    def _try_supadata(self, url: str, video_id: str) -> str | None:
+        if not self._supadata_key: return None
+        try:
+            import urllib.request, json
+            req = urllib.request.Request(
+                f"https://api.supadata.ai/v1/youtube/transcript?url={url}&text=true",
+                headers={"x-api-key": self._supadata_key}
+            )
+            with urllib.request.urlopen(req, timeout=30) as resp:
+                data = json.loads(resp.read())
+                return data.get("content", "").strip()
+        except: return None
+
+    # ── دالات مساعدة ──────────────────────────────────────────────────────────
+
+    def cleanup(self, file_path: Path):
+        """مهمة للمحافظة على مساحة السيرفر"""
+        try:
+            if file_path and os.path.exists(file_path):
+                os.remove(file_path)
+                logger.info(f"🧹 Cleaned up: {file_path}")
+        except: pass
+
+    def _extract_video_id(self, url: str) -> str:
+        match = re.search(r"(?:v=|youtu\.be/)([A-Za-z0-9_-]{11})", url)
+        return match.group(1) if match else "unknown"
 
-    def download_audio(self, url: str, video_id: str):
-        output_template = str(_AUDIO_DIR / f"{video_id}.%(ext)s")
-        
-        ydl_opts = {
-            'format': 'bestaudio/best',
-            'outtmpl': output_template,
-            'verbose': True, # مهم جداً عشان نشوف "حل الشفرات" في اللوجز
-            'extractor_args': {
-                'youtube': {
-                    'player_client': ['web'],
-                    # السطر ده هو اللي بيبعت الشفرة للسيرفر اللي إنت عملته (pot_server.py)
-                    'youtubepot-bgutilhttp:base_url': 'http://127.0.0.1:4416'
-                }
-            },
-        }
-
-        logger.info(f"▶ Starting download for video: {video_id}")
-        with yt_dlp.YoutubeDL(ydl_opts) as ydl:
-            ydl.download([url])
-        
-        # البحث عن الملف اللي نزل (بأي امتداد m4a, webm, etc)
-        matches = list(_AUDIO_DIR.glob(f"{video_id}.*"))
-        if matches:
-            return matches[0]
-        return None
+    def _write_cookies(self):
+        data = os.environ.get("YOUTUBE_COOKIES", "").strip()
+        if data:
+            _COOKIES_PATH.write_text(data)