Update watcher.py

watcher.py

@@ -8,8 +8,6 @@ import subprocess
 import requests
 from datetime import datetime, timezone
 from bs4 import BeautifulSoup
-import threading
-from concurrent.futures import ThreadPoolExecutor
 
 # ===== Channel.io 設定 =====
 GET_URL = "https://desk-api.channel.io/desk/channels/200605/groups/519217/messages"
@@ -73,71 +71,69 @@ def fetch_download_links(youtube_url):
         }
     )
     res.raise_for_status()
+    return res.text
 
-    soup = BeautifulSoup(res.text, "lxml")
+# ===== 最高画質映像 + 音声を選択 =====
+def select_best_video_and_audio(html_content):
+    soup = BeautifulSoup(html_content, "lxml")
     
-    # 非ceトークンを抽出
-    script_text = str(soup)
-    nonce_match = re.search(r"formData\.append\('nonce', '([^']+)'\)", script_text)
-    nonce = nonce_match.group(1) if nonce_match else None
+    # nonce を抽出
+    nonce_pattern = r"formData\.append\('nonce',\s*'([^']+)'\)"
+    nonce_match = re.search(nonce_pattern, html_content)
+    if not nonce_match:
+        raise ValueError("nonce が見つかりません")
+    nonce = nonce_match.group(1)
     
     # 動画タイトルを抽出
-    title_tag = soup.select_one("meta[property='og:title']")
-    video_title = title_tag.get("content", "動画") if title_tag else "動画"
+    title_elem = soup.select_one("h1.title")
+    video_title = title_elem.text.strip() if title_elem else "video"
     
-    # ダウンロードボタンからURLを取得
+    # ボタンからURLと品質情報を取得
     buttons = soup.select("button[data-url]")
-    results = []
+    
+    video_items = []
+    audio_item = None
     
     for btn in buttons:
         url = btn.get("data-url")
         quality = btn.get("data-quality")
         has_audio = btn.get("data-has-audio")
-        data_id = btn.get("data-id")  # 追加: data-id属性を取得
-
+        
         if not url:
             continue
-
-        results.append({
-            "url": url,
-            "quality": quality or "audio",
-            "has_audio": has_audio,
-            "data_id": data_id,  # 追加
-            "nonce": nonce,
-            "video_title": video_title
-        })
-
-    return results
-
-# ===== 最高画質映像 + 音声を選択 =====
-def select_best_video_and_audio(items):
-    video_items = []
-    audio_item = None
-
-    for item in items:
-        if item["quality"] == "audio":
-            audio_item = item
-        elif item["has_audio"] == "false":
-            m = re.match(r"(\d+)p", item["quality"])
+        
+        if quality == "audio":
+            audio_item = {
+                "url": url,
+                "quality": quality,
+                "has_audio": has_audio
+            }
+        elif has_audio == "false":
+            m = re.match(r"(\d+)p", quality)
             if m:
-                video_items.append((int(m.group(1)), item))
-
+                video_items.append({
+                    "quality": int(m.group(1)),
+                    "url": url,
+                    "data_quality": quality
+                })
+    
     if not video_items or not audio_item:
-        return None, None
-
-    video_items.sort(key=lambda x: x[0], reverse=True)
-    return video_items[0][1], audio_item
+        return None, None, None, None
+    
+    # 最高画質を選択
+    video_items.sort(key=lambda x: x["quality"], reverse=True)
+    best_video = video_items[0]
+    
+    return best_video, audio_item, nonce, video_title
 
 # ===== サーバーサイド結合リクエスト =====
-def request_server_merge(video_item, audio_item, youtube_id):
-    """ssyoutubeのサーバーサイド結合をリクエスト"""
-    
-    # data-idからIDを抽出（例: "3aY1Z15vTw0_1080p"）
-    video_id_with_quality = video_item["data_id"]
+def request_video_merge(youtube_id, video_item, audio_item, nonce, video_title):
+    # IDの生成（YouTubeID + 画質）
+    merge_id = f"{youtube_id}_{video_item['data_quality']}"
     
     # リクエストデータの構築
     request_data = {
-        "id": video_id_with_quality,
+        "id": merge_id,
         "ttl": 3600000,
         "inputs": [
             {
@@ -156,7 +152,7 @@ def request_server_merge(video_item, audio_item, youtube_id):
         ],
         "output": {
             "ext": "mp4",
-            "downloadName": f"{video_item['video_title'].replace(' ', '_')}_{video_item['quality']}.mp4",
+            "downloadName": f"{video_title}_{video_item['data_quality']}.mp4",
             "chunkUpload": {
                 "size": 104857600,
                 "concurrency": 3
@@ -167,109 +163,76 @@ def request_server_merge(video_item, audio_item, youtube_id):
         }
     }
     
-    # フォームデータを作成
-    form_data = {
+    payload = {
         "action": "process_video_merge",
-        "nonce": video_item["nonce"],
+        "nonce": nonce,
         "request_data": json.dumps(request_data)
     }
     
-    # リクエスト送信
     headers = {
-        "User-Agent": "Mozilla/5.0",
-        "Referer": "https://ssyoutube.online/",
+        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
         "Origin": "https://ssyoutube.online",
-        "Content-Type": "application/x-www-form-urlencoded"
+        "Referer": "https://ssyoutube.online/",
+        "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8"
     }
     
     response = requests.post(
         SSYOUTUBE_AJAX_URL,
-        data=form_data,
+        data=payload,
         headers=headers,
         timeout=30
     )
     response.raise_for_status()
     
-    return response.json()
-
-# ===== 結合ステータスの監視 =====
-def monitor_merge_status(http_status_url, max_attempts=60, interval=5):
-    """結合処理のステータスを監視"""
+    result = response.json()
     
-    headers = {
-        "User-Agent": "Mozilla/5.0",
-        "Accept": "application/json"
-    }
+    if not result.get("success") or not result.get("data", {}).get("success"):
+        raise RuntimeError(f"結合リクエストに失敗: {result}")
     
-    for attempt in range(max_attempts):
+    # HTTP監視URLを取得
+    monitor_url = result["data"]["result"]["monitor"]["http"]
+    return monitor_url
+
+# ===== 結合進捗監視 =====
+def monitor_merge_progress(monitor_url):
+    """結合進捗を監視し、完了したらダウンロードURLを返す"""
+    max_attempts = 300  # 最大試行回数（5分間）
+    attempt = 0
+    
+    while attempt < max_attempts:
         try:
-            response = requests.get(http_status_url, headers=headers, timeout=30)
+            response = requests.get(monitor_url, timeout=30)
             response.raise_for_status()
-            status_data = response.json()
+            result = response.json()
+            
+            if not result.get("success"):
+                time.sleep(1)
+                attempt += 1
+                continue
+            
+            status = result["result"].get("status")
             
-            if status_data.get("success") and status_data.get("result", {}).get("status") == "done":
-                output = status_data["result"].get("output", {})
-                if output.get("url"):
-                    return output["url"]
+            if status == "done":
+                download_url = result["result"]["output"]["url"]
+                return download_url
+            elif status == "error":
+                error_msg = result["result"].get("error", "不明なエラー")
+                raise RuntimeError(f"結合処理でエラー: {error_msg}")
+            elif status in ["processing", "started"]:
+                # 進捗表示（オプション）
+                progress = result["result"].get("progress_in_percent", 0)
+                print(f"結合中... {progress}%")
             
-            # 進行中の場合は待機
-            progress = status_data.get("result", {}).get("progress_in_percent", 0)
-            print(f"結合進行中: {progress}%")
+            # 2秒待機
+            time.sleep(2)
+            attempt += 1
             
         except Exception as e:
-            print(f"ステータス取得エラー: {e}")
-        
-        time.sleep(interval)
-    
-    return None
-
-# ===== ダウンロードと結合の新しいメイン関数 =====
-def download_and_merge_with_server(youtube_id, video_item, audio_item):
-    """サーバーサイド結合を使用"""
+            print(f"監視中にエラー: {e}")
+            time.sleep(2)
+            attempt += 1
     
-    try:
-        print(f"サーバーサイド結合を開始: {youtube_id} {video_item['quality']}")
-        
-        # 1. サーバー結合をリクエスト
-        merge_response = request_server_merge(video_item, audio_item, youtube_id)
-        
-        if not merge_response.get("success"):
-            print("サーバー結合リクエスト失敗")
-            return None
-        
-        # 2. 監視URLを取得
-        monitor_info = merge_response.get("data", {}).get("result", {}).get("monitor", {})
-        http_status_url = monitor_info.get("http")
-        
-        if not http_status_url:
-            print("監視URLが見つかりません")
-            return None
-        
-        print(f"監視URL: {http_status_url}")
-        
-        # 3. 結合完了を監視
-        merged_video_url = monitor_merge_status(http_status_url)
-        
-        if not merged_video_url:
-            print("結合がタイムアウトしました")
-            return None
-        
-        print(f"結合完了: {merged_video_url}")
-        return merged_video_url
-        
-    except Exception as e:
-        print(f"サーバー結合中にエラー: {e}")
-        return None
-
-# ===== file.io アップロード =====
-def upload_to_fileio(file_path):
-    with open(file_path, "rb") as f:
-        r = requests.post("https://file.io", files={"file": f}, timeout=60)
-    r.raise_for_status()
-    data = r.json()
-    if not data.get("success"):
-        raise RuntimeError("file.io アップロード失敗")
-    return data["link"]
+    raise TimeoutError("結合処理がタイムアウトしました")
 
 def send_to_channel(text):
     payload = {
@@ -287,69 +250,9 @@ def send_to_channel(text):
     )
     res.raise_for_status()
 
-# ===== 古いダウンロード関数（フォールバック用） =====
-def download_file_old(url, path):
-    headers = {
-        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
-                      "AppleWebKit/537.36 (KHTML, like Gecko) "
-                      "Chrome/131.0.0.0 Safari/537.36",
-        "Accept": "*/*",
-        "Accept-Language": "ja,en-US;q=0.9,en;q=0.8",
-        "Referer": "https://www.youtube.com/",
-        "Origin": "https://www.youtube.com",
-        "Range": "bytes=0-",
-    }
-    
-    with requests.get(
-        url,
-        headers=headers,
-        stream=True,
-        timeout=60,
-    ) as r:
-        r.raise_for_status()
-        with open(path, "wb") as f:
-            for chunk in r.iter_content(chunk_size=8192):
-                if chunk:
-                    f.write(chunk)
-
-def merge_video_audio_old(video_path, audio_path, output_path):
-    cmd = [
-        "ffmpeg",
-        "-y",
-        "-i", video_path,
-        "-i", audio_path,
-        "-c:v", "copy",
-        "-c:a", "aac",
-        output_path
-    ]
-    subprocess.run(cmd, check=True)
-
-# ===== フォールバック処理 =====
-def fallback_local_merge(video_item, audio_item, youtube_id):
-    """サーバー結合が失敗した場合のローカル結合フォールバック"""
-    try:
-        print("サーバー結合失敗、ローカル結合を試みます...")
-        
-        with tempfile.TemporaryDirectory() as tmp:
-            video_path = os.path.join(tmp, "video.mp4")
-            audio_path = os.path.join(tmp, "audio.m4a")
-            output_path = os.path.join(tmp, "merged.mp4")
-            
-            download_file_old(video_item["url"], video_path)
-            download_file_old(audio_item["url"], audio_path)
-            
-            merge_video_audio_old(video_path, audio_path, output_path)
-            
-            link = upload_to_fileio(output_path)
-            return link
-            
-    except Exception as e:
-        print(f"ローカル結合も失敗: {e}")
-        return None
-
 # ===== Main =====
 def main():
-    processed_messages = set()  # 処理済みメッセージを記録
+    processed_messages = set()  # 処理済みメッセージを追跡
     
     while True:
         try:
@@ -363,71 +266,75 @@ def main():
 
             messages = res.json().get("messages", [])
             
-            # 最新のYouTubeリンクを含むメッセージを探す
             for msg in messages:
                 msg_id = msg.get("id")
                 plain_text = msg.get("plainText")
-                
-                if not plain_text or not msg_id:
+                updated_at = msg.get("updatedAt")
+
+                # 必須フィールドのチェック
+                if not msg_id or not plain_text or updated_at is None:
                     continue
                 
-                # 既に処理済みならスキップ
+                # 既に処理済みのメッセージはスキップ
                 if msg_id in processed_messages:
                     continue
                 
+                # YouTube ID を抽出
                 youtube_id = extract_youtube_id(plain_text)
                 if not youtube_id:
                     continue
                 
                 print(f"新しいYouTube動画を検出: {youtube_id}")
                 
-                # ダウンロードリンクを取得
-                youtube_url = f"https://www.youtube.com/watch?v={youtube_id}"
-                items = fetch_download_links(youtube_url)
-                
-                if not items:
-                    print("ダウンロードリンクが見つかりません")
+                try:
+                    # YouTube URL
+                    youtube_url = f"https://www.youtube.com/watch?v={youtube_id}"
+                    
+                    # ssyoutubeから情報を取得
+                    html_content = fetch_download_links(youtube_url)
+                    
+                    # 最高画質の動画と音声を選択
+                    video_item, audio_item, nonce, video_title = select_best_video_and_audio(html_content)
+                    
+                    if not video_item or not audio_item:
+                        print(f"適切な動画/音声が見つかりません: {youtube_id}")
+                        continue
+                    
+                    print(f"動画品質: {video_item['data_quality']}")
+                    print(f"動画タイトル: {video_title}")
+                    
+                    # サーバーサイド結合をリクエスト
+                    monitor_url = request_video_merge(youtube_id, video_item, audio_item, nonce, video_title)
+                    print(f"結合リクエスト送信: {monitor_url}")
+                    
+                    # 結合進捗��監視
+                    download_url = monitor_merge_progress(monitor_url)
+                    print(f"結合完了: {download_url}")
+                    
+                    # Channel.ioに送信
+                    quality = video_item['data_quality']
+                    message = f"🎬 結合済み動画 ({quality})\n{download_url}"
+                    send_to_channel(message)
+                    
+                    print(f"送信完了: {message}")
+                    
+                    # 処理済みメッセージとして記録
+                    processed_messages.add(msg_id)
+                    
+                    # 次のメッセージを処理する前に少し待機
+                    time.sleep(5)
+                    
+                except Exception as e:
+                    print(f"動画処理中にエラー ({youtube_id}): {e}")
+                    # エラーが発生しても処理済みにしない（再試行可能にする）
                     continue
-                
-                # 最高画質の動画と音声を選択
-                video_item, audio_item = select_best_video_and_audio(items)
-                if not video_item or not audio_item:
-                    print("適切な動画/音声が見つかりません")
-                    continue
-                
-                print(f"選択: 動画={video_item['quality']}, 音声={audio_item['quality']}")
-                
-                # サーバーサイド結合を試みる
-                merged_url = download_and_merge_with_server(youtube_id, video_item, audio_item)
-                
-                if merged_url:
-                    # 成功した場合、直接URLを送信
-                    send_to_channel(f"🎬 結合済み動画（{video_item['quality']}）\n{merged_url}")
-                    print(f"送信完了: {merged_url}")
-                else:
-                    # 失敗した場合はフォールバック
-                    print("サーバー結合失敗、フォールバックを試みます...")
-                    fallback_url = fallback_local_merge(video_item, audio_item, youtube_id)
-                    if fallback_url:
-                        send_to_channel(f"🎬 結合済み動画（{video_item['quality']}）\n{fallback_url}")
-                        print(f"フォールバック送信完了: {fallback_url}")
-                    else:
-                        print("全ての結合方法が失敗しました")
-                
-                # 処理済みとして記録
-                processed_messages.add(msg_id)
-                break  # 一度に1つだけ処理
             
-            else:
-                # 新しいメッセージがない場合
-                pass
-
+            # 全てのメッセージをチェックしたら待機
+            time.sleep(10)
+            
         except Exception as e:
-            print("エラー:", e)
-            import traceback
-            traceback.print_exc()
-
-        time.sleep(15)
+            print(f"メインループでエラー: {e}")
+            time.sleep(15)
 
 if __name__ == "__main__":
     main()