Update watcher.py

watcher.py

@@ -5,6 +5,7 @@ import json
 import requests
 from datetime import datetime, timezone
 from bs4 import BeautifulSoup
+from urllib.parse import quote_plus
 
 # ===== Channel.io 設定 =====
 GET_URL = "https://desk-api.channel.io/desk/channels/200605/groups/519217/messages"
@@ -33,8 +34,11 @@ HEADERS_POST = {
     "x-account": X_ACCOUNT,
 }
 
-# ===== ssyoutube =====
-SSYOUTUBE_URL = "https://ssyoutube.online/yt-video-detail/"
+# ===== SaveNow 設定 =====
+# 例示の API キー（実運用では環境変数 SAVENOW_API を設定してください）
+DEFAULT_SAVENOW_API = "dfcb6d76f2f6a9894gjkege8a4ab232222"
+SAVENOW_API = os.getenv("SAVENOW_API", DEFAULT_SAVENOW_API)
+SAVENOW_BASE = "https://p.savenow.to/ajax/download.php"
 
 # ===== Utils =====
 def parse_updated_at(value):
@@ -46,15 +50,10 @@ def parse_updated_at(value):
 
 def extract_youtube_id(text):
     patterns = [
-        # クエリパラメータ v= または vi=
         r"(?:[?&](?:v|vi)=)([A-Za-z0-9_-]{11})",
-        # youtu.be 短縮リンク
         r"youtu\.be/([A-Za-z0-9_-]{11})",
-        # /embed/ /v/ /shorts/
         r"youtube(?:-nocookie)?\.com/(?:embed|v|shorts)/([A-Za-z0-9_-]{11})",
-        # watch? の中に v= が含まれるケース（ioパラメータ等が混ざっても OK）
         r"youtube(?:-nocookie)?\.com/watch\?.*?v=([A-Za-z0-9_-]{11})",
-        # hash や他パラメータに混ざるケース: ...#v=xxxx or &v=xxxx
         r"[#&]v=([A-Za-z0-9_-]{11})"
     ]
     for p in patterns:
@@ -64,276 +63,34 @@ def extract_youtube_id(text):
     return None
 
 def extract_youtube_and_option(text):
-    """
-    YouTube URL と画質指定オプションを抽出する
-    戻り値: (video_id, option) 例: ("abcdEFGHijk", "720")
-    """
-    # 全角スペースも対象に
     parts = re.split(r"[ \u3000]+", text.strip())
-
     video_id = extract_youtube_id(parts[0])
     option = None
     if len(parts) > 1:
         option = parts[1].lower()
-
     return video_id, option
 
 def normalize_quality(option):
-    """
-    ★ ユーザー入力を内部品質コードへ変換（全角も対応）
-    """
     if option is None:
         return "720"
-
-    # 全角 → 半角 に変換
-    # 例: "７２０" → "720", "４ｋ" → "4k"
     trans_table = str.maketrans(
         "０１２３４５６７８９ｋＫｐＰ",
         "0123456789kKpP"
     )
     option = option.translate(trans_table).lower()
-
     quality_map = {
-        "144": "144",
-        "240": "240",
-        "360": "360",
-        "480": "480",
-        "720": "720",
-        "1080": "1080",
-        "2k": "1440",
-        "1440": "1440",
-        "4k": "2160",
-        "2160": "2160",
-        "8k": "4320",
-        "4320": "4320",
-        "144p": "144",
-        "240p": "240",
-        "360p": "360",
-        "480p": "480",
-        "720p": "720",
-        "1080p": "1080",
-        "2kp": "1440",
-        "1440p": "1440",
-        "4kp": "2160",
-        "2160p": "2160",
-        "8kp": "4320",
-        "4320p": "4320",
+        "144": "144", "240": "240", "360": "360", "480": "480",
+        "720": "720", "1080": "1080", "2k": "1440", "1440": "1440",
+        "4k": "2160", "2160": "2160", "8k": "4320", "4320": "4320",
+        "144p": "144", "240p": "240", "360p": "360", "480p": "480",
+        "720p": "720", "1080p": "1080", "2kp": "1440", "1440p": "1440",
+        "4kp": "2160", "2160p": "2160", "8kp": "4320", "4320p": "4320",
     }
-
     if option in quality_map:
         return quality_map[option]
-
     if option in ["a", "f"]:
-        return option  # 特殊指定
-
-    return "720"  # デフォルト
-
-def get_video_title(youtube_url):
-    """YouTube動画のタイトルを取得する簡易的な関数"""
-    try:
-        res = requests.get(youtube_url, timeout=10)
-        soup = BeautifulSoup(res.text, "lxml")
-        title_tag = soup.find("meta", property="og:title")
-        if title_tag:
-            return title_tag.get("content", "").replace(" - YouTube", "")
-    except:
-        pass
-    return "YouTube動画"
-
-# ===== ssyoutube HTML 解析 =====
-def fetch_download_links(youtube_url):
-    res = requests.post(
-        SSYOUTUBE_URL,
-        data={"videoURL": youtube_url},
-        timeout=20,
-        headers={
-            "User-Agent": "Mozilla/5.0",
-            "Referer": "https://ssyoutube.online/",
-        }
-    )
-    res.raise_for_status()
-    
-    # nonceを抽出
-    soup = BeautifulSoup(res.text, "lxml")
-    nonce_match = re.search(r"formData\.append\('nonce', '([^']+)'\);", res.text)
-    nonce = nonce_match.group(1) if nonce_match else None
-    
-    buttons = soup.select("button[data-url]")
-
-    results = []
-    for btn in buttons:
-        url = btn.get("data-url")
-        quality = btn.get("data-quality")
-        has_audio = btn.get("data-has-audio")
-
-        if not url:
-            continue
-
-        results.append({
-            "url": url,
-            "quality": quality or "audio",
-            "has_audio": has_audio,
-        })
-
-    return results, nonce
-
-# ===== 最高画��映像 + 音声を選択 =====
-def select_best_video_and_audio(items):
-    video_items = []
-    audio_items = []
-
-    for item in items:
-        if item["quality"] == "audio":
-            audio_items.append(item)
-        elif item["has_audio"] == "false":
-            m = re.match(r"(\d+)p", item["quality"])
-            if m:
-                video_items.append((int(m.group(1)), item))
-
-    if not video_items or not audio_items:
-        return None, None
-
-    # 最高画質の動画を選択
-    video_items.sort(key=lambda x: x[0], reverse=True)
-    best_video = video_items[0][1]
-    
-    # 最高音質の音声を選択（例: 128kbps > 64kbps）
-    # 実際の音声品質情報に基づいて選択する場合は要修正
-    best_audio = audio_items[0] if audio_items else None
-    
-    return best_video, best_audio
-
-def select_quality_video(items, quality):
-    """
-    ★ 指定画質に最適な動画を選択（音声なし映像のみ）
-    """
-    video_candidates = []
-    for item in items:
-        if item["has_audio"] == "false":
-            m = re.match(r"(\d+)p", item["quality"])
-            if m:
-                q = int(m.group(1))
-                video_candidates.append((q, item))
-
-    if not video_candidates:
-        return None
-
-    # 最大画質
-    video_candidates.sort(key=lambda x: x[0])
-
-    if quality == "f":  # 最大画質
-        return video_candidates[-1][1]
-
-    req = int(quality)
-    best = None
-
-    # 指定画質以上で一番近いもの
-    for q, item in video_candidates:
-        if q >= req:
-            best = item
-            break
-
-    # 無ければ最大画質
-    return best if best else video_candidates[-1][1]
-
-# ===== ssyoutube サーバー側結合 =====
-def merge_video_on_server(video_url, audio_url, video_id, quality, video_title, nonce):
-    """
-    ssyoutubeサーバーで動画と音声を結合する
-    """
-    # IDと画質からリクエストIDを生成
-    request_id = f"{video_id}_{quality}p"
-    
-    # リクエストデータの構築
-    request_data = {
-        "id": request_id,
-        "ttl": 3600000,
-        "inputs": [
-            {
-                "url": video_url,
-                "ext": "mp4",
-                "chunkDownload": {
-                    "type": "header",
-                    "size": 52428800,
-                    "concurrency": 3
-                }
-            },
-            {
-                "url": audio_url,
-                "ext": "m4a"
-            }
-        ],
-        "output": {
-            "ext": "mp4",
-            "downloadName": f"{video_title}_{quality}p.mp4",
-            "chunkUpload": {
-                "size": 104857600,
-                "concurrency": 3
-            }
-        },
-        "operation": {
-            "type": "replace_audio_in_video"
-        }
-    }
-    
-    # 結合開始リクエスト
-    payload = {
-        "action": "process_video_merge",
-        "nonce": nonce,
-        "request_data": json.dumps(request_data)
-    }
-    
-    headers = {
-        "User-Agent": "Mozilla/5.0",
-        "Referer": "https://ssyoutube.online/",
-        "Origin": "https://ssyoutube.online",
-        "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
-    }
-    
-    res = requests.post(
-        "https://ssyoutube.online/wp-admin/admin-ajax.php",
-        data=payload,
-        headers=headers,
-        timeout=60
-    )
-    res.raise_for_status()
-    
-    result = res.json()
-    
-    if not result.get("success") or not result.get("data", {}).get("success"):
-        raise RuntimeError(f"結合開始に失敗しました: {result}")
-    
-    # ステータス監視用URLを取得
-    monitor_url = result["data"]["result"]["monitor"]["http"]
-    
-    # 完了するまでポーリング
-    max_attempts = 10 # 最大60回試行（30秒間隔で約30分）
-    attempt = 0
-    
-    while attempt < max_attempts:
-        time.sleep(40)  # 30秒間隔でチェック
-        
-        status_res = requests.get(monitor_url, timeout=30)
-        status_res.raise_for_status()
-        status_data = status_res.json()
-        
-        if not status_data.get("success"):
-            raise RuntimeError(f"ステータス取得に失敗しました: {status_data}")
-        
-        status = status_data["result"]["status"]
-        
-        if status == "done":
-            # 完了したらダウンロードURLを返す
-            return status_data["result"]["output"]["url"]
-        elif status == "error":
-            error_msg = status_data["result"]["error"]
-            raise RuntimeError(f"結合処理でエラーが発生しました: {error_msg}")
-        # "processing" の場合は継続
-        
-        attempt += 1
-        print(f"結合処理中... 進捗: {status_data['result'].get('progress_in_percent', 0)}%")
-    
-    raise RuntimeError("結合処理がタイムアウトしました")
+        return option
+    return "720"
 
 def send_to_channel(text):
     payload = {
@@ -342,7 +99,6 @@ def send_to_channel(text):
             {"type": "text", "value": text}
         ],
     }
-
     res = requests.post(
         POST_URL,
         headers=HEADERS_POST,
@@ -351,51 +107,129 @@ def send_to_channel(text):
     )
     res.raise_for_status()
 
-    
-def upload_file_to_channel(file_url):
-    # mp4バイナリ取得
-    file_res = requests.get(file_url, timeout=60)
-    file_res.raise_for_status()
-
-    upload_url = "https://media.channel.io/cht/v1/pri-file/200605/groups/519217/message/send_yt_video_file.mp4"
-
-    files = {
-        "file": ("video.mp4", file_res.content, "video/mp4")
-    }
+# ===== SaveNow 用ユーティリティ =====
+def build_savenow_initial_url(youtube_url, quality_opt, api_key=SAVENOW_API):
+    """
+    quality_opt:
+      - "a" -> mp3 (format=mp3)
+      - "f" -> omit format パラメータ（要求どおり 'f' は削除）
+      - numeric (例 "720") -> format=720
+    """
+    params = []
+    params.append("copyright=0")
+    # f は削除（つまり送らない）
+    if quality_opt == "a":
+        params.append("format=mp3")
+    elif quality_opt == "f":
+        # 指示通り 'f' パラメータは付けない（format自体を送らない）
+        pass
+    else:
+        # 数値系フォーマット
+        params.append(f"format={quote_plus(str(quality_opt))}")
+    params.append(f"url={quote_plus(youtube_url)}")
+    params.append(f"api={quote_plus(api_key)}")
+    return f"{SAVENOW_BASE}?{'&'.join(params)}"
+
+def poll_progress_url(progress_url, max_attempts=30, interval=10):
+    """
+    progress_url をポーリングして download_url / alternative_download_urls を取得する。
+    interval は秒。max_attempts 回の試行を行う。
+    成功時は (True, response_json) を返し、失敗（タイムアウト）は (False, last_json) を返す。
+    """
+    attempt = 0
+    last_json = None
+    while attempt < max_attempts:
+        try:
+            r = requests.get(progress_url, timeout=30)
+            r.raise_for_status()
+            data = r.json()
+            last_json = data
+            # 成功条件: download_url または alternative_download_urls が存在すれば成功とみなす
+            if data.get("download_url") or data.get("alternative_download_urls"):
+                return True, data
+            # 進捗表示などを channel に流しても良い
+            progress = data.get("progress")
+            status_text = data.get("text") or data.get("message") or ""
+            # ログとして出力（開発時用）
+            print(f"poll {attempt+1}/{max_attempts} progress={progress} text={status_text}")
+        except Exception as e:
+            print(f"poll error (attempt {attempt+1}): {e}")
+            # 失敗しても次へ（短時間の一時的なエラーを許容）
+        attempt += 1
+        time.sleep(interval)
+    return False, last_json
 
-    headers = {
-        "x-account": X_ACCOUNT,
-    }
+def process_savenow_flow(youtube_url, quality_opt):
+    """
+    SaveNow の初回 GET -> progress_url をポーリング -> 見つかったリンクを channel に送信
+    """
+    initial_url = build_savenow_initial_url(youtube_url, quality_opt)
+    send_to_channel(f"SaveNow にリクエストを送信しています: {initial_url}")
+    try:
+        r = requests.get(initial_url, timeout=30)
+        r.raise_for_status()
+        init_json = r.json()
+    except Exception as e:
+        send_to_channel(f"SaveNow へのリクエストに失敗しました: {e}")
+        return None
 
-    res = requests.post(upload_url, headers=headers, files=files, timeout=60)
-    res.raise_for_status()
+    # 初回レスポンスに progress_url がある想定
+    progress_url = init_json.get("progress_url") or init_json.get("progressUrl") or init_json.get("progress")
+    # 一部の API は progress_url をそのまま返し、別のものは result に入れている場合があるため、念のため探索
+    if not progress_url:
+        # もし最初のレスポンスで直接 download_url があるなら即時処理
+        if init_json.get("download_url") or init_json.get("alternative_download_urls"):
+            # 直接リンクが来ている場合
+            urls = []
+            if init_json.get("download_url"):
+                urls.append(init_json["download_url"])
+            for alt in init_json.get("alternative_download_urls", []):
+                if alt.get("url"):
+                    urls.append(alt["url"])
+            # channel に送る
+            for i, u in enumerate(urls, start=1):
+                send_to_channel(f"ダウンロードリンク #{i}: <link type=\"url\" value=\"{u}\">{u}</link>")
+            return urls
+        send_to_channel("progress_url が見つかりませんでした。レスポンスをログに出します。")
+        send_to_channel(f"初回レスポンス: {json.dumps(init_json, ensure_ascii=False)[:1000]}")
+        return None
 
-    return res.json()  # ←これを messages POST の body.files に入れる
+    # progress_url が��ればポーリング
+    send_to_channel(f"進捗監視を開始します: {progress_url} （最大30回、10秒間隔）")
+    ok, poll_json = poll_progress_url(progress_url, max_attempts=30, interval=10)
+    if not ok:
+        send_to_channel("進捗監視がタイムアウトしました。最後のレスポンスをログに出します。")
+        send_to_channel(f"最後のレスポンス: {json.dumps(poll_json, ensure_ascii=False)[:1000]}")
+        return None
 
+    # 成功した場合、download_url と alternative_download_urls を収集して channel に送信
+    urls = []
+    if poll_json.get("download_url"):
+        urls.append(poll_json["download_url"])
+    for alt in poll_json.get("alternative_download_urls", []):
+        if alt.get("url"):
+            urls.append(alt["url"])
+
+    # 重複排除
+    seen = set()
+    unique_urls = []
+    for u in urls:
+        if u and u not in seen:
+            seen.add(u)
+            unique_urls.append(u)
+
+    if not unique_urls:
+        send_to_channel("ダウンロードリンクが見つかりませんでした（成功レスポンスでしたが link が空）。")
+        return None
 
-def send_video_message(file_json):
-    request_id = f"desk-web-{int(time.time() * 1000)}"
-    
-    payload = {
-        "requestId": request_id,
-        "blocks": [
-            {"type": "text", "value": "プレビュー："}
-        ],
-        "files": [file_json],  # ←ここが重要！
-    }
+    for i, u in enumerate(unique_urls, start=1):
+        send_to_channel(f"ダウンロードリンク #{i}: <link type=\"url\" value=\"{u}\">{u}</link>")
 
-    res = requests.post(
-        POST_URL,
-        headers=HEADERS_POST,
-        data=json.dumps(payload),
-        timeout=30
-    )
-    res.raise_for_status()
+    return unique_urls
 
-# ===== Main =====
+# ===== Main (既存フローの中に組み込む想定) =====
 def main():
-    processed_messages = set()  # 処理済みメッセージを追跡
-    
+    processed_messages = set()
     while True:
         try:
             res = requests.get(
@@ -417,8 +251,6 @@ def main():
 
                 if not plain_text or updated_at is None:
                     continue
-                    
-                # 既に処理済みのメッセージはスキップ
                 if msg_id in processed_messages:
                     continue
 
@@ -436,17 +268,18 @@ def main():
 
             video_id, option = extract_youtube_and_option(latest_msg["plainText"])
             if not video_id:
+                # YouTube ID が取れないメッセージはスキップ
+                processed_messages.add(latest_msg["id"])
                 time.sleep(10)
                 continue
-                
+
             valid_options = ["144", "240", "360", "480", "720", "1080", "1440", "2160", "4320", "4k", "8k", "2k", "a", "f"]
 
-            # 画質入力チェックを normalize_quality の前にする
             if option is None:
                 send_to_channel(
                     "画質が指定されていないため、デフォルトの720pを使用します。\n"
                     "指定する場合は、動画URLの後にスペースを入れて、"
-                    "144/240/360/480/720/1080/2k(または1440)/4k(または2160)/8k(または4320)/a(結合しない)/f(最高画質) のいずれかを入力してください。"
+                    "144/240/360/480/720/1080/2k(または1440)/4k(または2160)/8k(または4320)/a(音声/mp3)/f(最大画質・formatパラメータ未送信) のいずれかを入力してください。"
                 )
             else:
                 opt_lower = option.lower()
@@ -454,7 +287,7 @@ def main():
                     send_to_channel(
                         "不明な画質、または予期しない形式でした。\n"
                         "対応画質: 144, 240, 360, 480, 720, 1080, "
-                        "2k(1440), 4k(2160), 8k(4320), a(結合無効), f(最大画質)\n"
+                        "2k(1440), 4k(2160), 8k(4320), a(音声/mp3), f(最大画質)\n"
                         "動画のURLの後にスペースを入れて指定してください。\n"
                         "例: https://youtu.be/abcdEFGHijk 1080"
                     )
@@ -462,68 +295,19 @@ def main():
                     continue
 
             quality_opt = normalize_quality(option)
-
             youtube_url = f"https://www.youtube.com/watch?v={video_id}"
-            send_to_channel(f"{video_id} のダウンロードを開始します。")
-
-            video_title = get_video_title(youtube_url)
-            items, nonce = fetch_download_links(youtube_url)
-
-            all_items = items[:]
-            audio_items = [i for i in items if i["quality"] == "audio"]
-
-            selected_video = None
-            selected_audio = audio_items[0] if audio_items else None
-
-            if quality_opt not in ["a"]:
-                selected_video = select_quality_video(items, quality_opt)
-
-            # ダウンロードリスト送信
-            message_lines = []
-            message_lines.append(f"<b>{video_title}</b>\n")
-            message_lines.append("<b>ダウンロードリンク</b>")
-            
-            # すべての動画リンクを追加
-            for item in all_items:
-                quality = item["quality"]
-                if item["quality"] == "audio":
-                    quality_display = "音声"
-                elif item["has_audio"] == "true":
-                    quality_display = f"{quality} (音声付き)"
-                else:
-                    quality_display = f"{quality} (映像のみ)"
-                
-                message_lines.append(f"<link type=\"url\" value=\"{item['url']}\"> {quality_display} </link>")
-
-            message_lines.append("★動画ファイルと音声ファイルをダウンロードして<link type=\"url\" value=\"https://qooly.com/ja/merge-video-and-audio-online\">ここ</link>などで結合すると早くて確実です。")
-            send_to_channel("\n".join(message_lines))
-            
-            # ★ 結合フラグ
-            do_merge = quality_opt not in ["a"]
-
-            if do_merge and selected_video and selected_audio:
-                m = re.match(r"(\d+)p", selected_video["quality"])
-                if m:
-                    q = m.group(1)
-                    send_to_channel(f"{q}pで音声との結合を開始しました。")
-                    try:
-                        merged_url = merge_video_on_server(
-                            selected_video["url"],
-                            selected_audio["url"],
-                            video_id,
-                            q,
-                            video_title,
-                            nonce
-                        )
-                        send_to_channel(f"<link type=\"url\" value=\"{merged_url}\">{q}p 結合済み動画</link>")
-                        file_json = upload_file_to_channel(merged_url)
-                        send_video_message(file_json)
-                    except Exception as e:
-                        send_to_channel(f"結合失敗: {e}")
-            send_to_channel("完了しました！")
-            processed_messages.add(latest_msg["id"])
+            send_to_channel(f"{video_id} のダウンロード（SaveNow）を開始します。")
+
+            # SaveNow フローを使う（要求にあった処理）
+            urls = process_savenow_flow(youtube_url, quality_opt)
 
-            print(f"送信完了: {video_id}")
+            if urls:
+                send_to_channel("リンクを取得しました。必要ならファイルをアップロードする処理を追加してください。")
+            else:
+                send_to_channel("リンクが取得できませんでした。別の方法を試すか、ログを確認してください。")
+
+            processed_messages.add(latest_msg["id"])
+            print(f"処理完了: {video_id}")
 
         except Exception as e:
             print("エラー:", e)