Upload AIvtuber.py

AIvtuber.py

@@ -1,121 +1,124 @@
-# -*- coding: utf-8 -*-
-import os
-from huggingface_hub import hf_hub_download
-API_KEY = os.environ["GOOGLE_API_KEY"]  # 環境変数から取得
-
-import google.generativeai as genai
-import torch
-from pathlib import Path
-from style_bert_vits2.nlp import bert_models
-from style_bert_vits2.constants import Languages
-from style_bert_vits2.tts_model import TTSModel
-# ローカル実行時のみ有効化してください
-# import sounddevice as sd
-# import pytchat
-import time
-
-# --- Google Gemini API の設定 ---
-genai.configure(api_key=API_KEY)
-generation_config = {
-    "temperature": 1,
-    "top_p": 0.95,
-    "top_k": 40,
-    "max_output_tokens": 8192,
-    "response_mime_type": "text/plain",
-}
-safety_settings = [
-    {"category": "HARM_CATEGORY_HARASSMENT",     "threshold": "BLOCK_NONE"},
-    {"category": "HARM_CATEGORY_HATE_SPEECH",    "threshold": "BLOCK_NONE"},
-    {"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT", "threshold": "BLOCK_NONE"},
-    {"category": "HARM_CATEGORY_DANGEROUS_CONTENT","threshold": "BLOCK_NONE"},
-]
-model = genai.GenerativeModel(
-    model_name="gemini-2.0-flash-exp",
-    generation_config=generation_config,
-    safety_settings=safety_settings
-)
-chat_session = model.start_chat(history=[
-    {"role":"user","parts":["今からあなたは明るい女の子です！"]},
-    {"role":"model","parts":["こんにちは!"]}
-])
-
-# --- BERT モデルのロード ---
-bert_models.load_model(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
-bert_models.load_tokenizer(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
-
-# --- TTS モデル用ファイルパス（Hugging Face Hubからダウンロード） ---
-model_file = hf_hub_download(
-    repo_id="buchi-stdesign/3DAItuber-model",
-    filename="Anneli_e116_s32000.safetensors",
-    repo_type="model"
-)
-config_file = hf_hub_download(
-    repo_id="buchi-stdesign/3DAItuber-model",
-    filename="config.json",
-    repo_type="model"
-)
-style_file = hf_hub_download(
-    repo_id="buchi-stdesign/3DAItuber-model",
-    filename="style_vectors.npy",
-    repo_type="model"
-)
-
-# デバイス設定 (CUDA 未サポート時は CPU にフォールバック)
-device = "cuda" if torch.cuda.is_available() else "cpu"
-print(f"[INFO] Using device: {device}")
-
-# --- YouTube LiveChat 取得準備 ---
-# ローカル実行時のみ有効化してください
-# import pytchat
-# livechat = pytchat.create(video_id="MYLhogwYrY4")
-
-# --- オーディオ再生用ユーティリティ関数 ---
-# ローカル実行時のみ有効化してください
-# device_id = 10  # お使いの環境に合わせて変更してください
-# def play_tts(text: str):
-#     """
-#     テキスト → 音声 → 再生 を行う関数（ローカル用）
-#     """
-#     tts = TTSModel(
-#         model_path=model_file,
-#         config_path=config_file,
-#         style_vec_path=style_file,
-#         device=device,
-#     )
-#     sr, wav = tts.infer(text=text, length=0.85)
-#     sd.play(wav, sr, device=device_id)
-#     sd.wait()
-
-# クラウド・Streamlit用：音声データを返す関数
-def tts_to_wav(text: str):
-    """
-    テキスト → 音声データ（wav配列, サンプリングレート）を返す（クラウド用）
-    """
-    tts = TTSModel(
-        model_path=model_file,
-        config_path=config_file,
-        style_vec_path=style_file,
-        device=device,
-    )
-    sr, wav = tts.infer(text=text, length=0.85)
-    return sr, wav
-
-# --- ライブチャットに応答して音声再生ループ ---
-# ローカル実行時のみ有効化してください
-# while livechat.is_alive():
-#     chatdata = livechat.get()
-#     for c in chatdata.items:
-#         user_msg = f"{c.datetime} {c.author.name} {c.message} {c.amountString}"
-#         print(user_msg)
-#         resp = chat_session.send_message(user_msg)
-#         print(resp.text)
-#         play_tts(resp.text)
-#     time.sleep(1)
-
-# --- コンソール入力にも対応 ---
-# ローカル実行時のみ有効化してください
-# while True:
-#     user_input = input("You: ")
-#     resp = chat_session.send_message(user_input)
-#     print("Bot:", resp.text)
-#     play_tts(resp.text)
+# -*- coding: utf-8 -*-
+import os
+from huggingface_hub import hf_hub_download
+API_KEY = os.environ["GOOGLE_API_KEY"]  # 環境変数から取得
+
+import google.generativeai as genai
+import torch
+from pathlib import Path
+from style_bert_vits2.nlp import bert_models
+from style_bert_vits2.constants import Languages
+from style_bert_vits2.tts_model import TTSModel
+# ローカル実行時のみ有効化してください
+# import sounddevice as sd
+# import pytchat
+import time
+
+# --- Google Gemini API の設定 ---
+genai.configure(api_key=API_KEY)
+generation_config = {
+    "temperature": 1,
+    "top_p": 0.95,
+    "top_k": 40,
+    "max_output_tokens": 8192,
+    "response_mime_type": "text/plain",
+}
+safety_settings = [
+    {"category": "HARM_CATEGORY_HARASSMENT",     "threshold": "BLOCK_NONE"},
+    {"category": "HARM_CATEGORY_HATE_SPEECH",    "threshold": "BLOCK_NONE"},
+    {"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT", "threshold": "BLOCK_NONE"},
+    {"category": "HARM_CATEGORY_DANGEROUS_CONTENT","threshold": "BLOCK_NONE"},
+]
+model = genai.GenerativeModel(
+    model_name="gemini-2.0-flash-exp",
+    generation_config=generation_config,
+    safety_settings=safety_settings
+)
+chat_session = model.start_chat(history=[
+    {"role":"user","parts":["今からあなたは明るい女の子です！"]},
+    {"role":"model","parts":["こんにちは!"]}
+])
+
+# --- BERT モデルのロード ---
+bert_models.load_model(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
+bert_models.load_tokenizer(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
+
+# --- TTS モデル用ファイルパス（Hugging Face Hubからダウンロード） ---
+model_file = hf_hub_download(
+    repo_id="buchi-stdesign/3DAItuber-model",
+    filename="Anneli_e116_s32000.safetensors",
+    repo_type="model",
+    token=os.environ.get("HUGGINGFACE_TOKEN")  # トークンを明示的に指定
+)
+config_file = hf_hub_download(
+    repo_id="buchi-stdesign/3DAItuber-model",
+    filename="config.json",
+    repo_type="model",
+    token=os.environ.get("HUGGINGFACE_TOKEN")  # トークンを明示的に指定
+)
+style_file = hf_hub_download(
+    repo_id="buchi-stdesign/3DAItuber-model",
+    filename="style_vectors.npy",
+    repo_type="model",
+    token=os.environ.get("HUGGINGFACE_TOKEN")  # トークンを明示的に指定
+)
+
+# デバイス設定 (CUDA 未サポート時は CPU にフォールバック)
+device = "cuda" if torch.cuda.is_available() else "cpu"
+print(f"[INFO] Using device: {device}")
+
+# --- YouTube LiveChat 取得準備 ---
+# ローカル実行時のみ有効化してください
+# import pytchat
+# livechat = pytchat.create(video_id="MYLhogwYrY4")
+
+# --- オーディオ再生用ユーティリティ関数 ---
+# ローカル実行時のみ有効化してください
+# device_id = 10  # お使いの環境に合わせて変更してください
+# def play_tts(text: str):
+#     """
+#     テキスト → 音声 → 再生 を行う関数（ローカル用）
+#     """
+#     tts = TTSModel(
+#         model_path=model_file,
+#         config_path=config_file,
+#         style_vec_path=style_file,
+#         device=device,
+#     )
+#     sr, wav = tts.infer(text=text, length=0.85)
+#     sd.play(wav, sr, device=device_id)
+#     sd.wait()
+
+# クラウド・Streamlit用：音声データを返す関数
+def tts_to_wav(text: str):
+    """
+    テキスト → 音声データ（wav配列, サンプリングレート）を返す（クラウド用）
+    """
+    tts = TTSModel(
+        model_path=model_file,
+        config_path=config_file,
+        style_vec_path=style_file,
+        device=device,
+    )
+    sr, wav = tts.infer(text=text, length=0.85)
+    return sr, wav
+
+# --- ライブチャットに応答して音声再生ループ ---
+# ローカル実行時のみ有効化してください
+# while livechat.is_alive():
+#     chatdata = livechat.get()
+#     for c in chatdata.items:
+#         user_msg = f"{c.datetime} {c.author.name} {c.message} {c.amountString}"
+#         print(user_msg)
+#         resp = chat_session.send_message(user_msg)
+#         print(resp.text)
+#         play_tts(resp.text)
+#     time.sleep(1)
+
+# --- コンソール入力にも対応 ---
+# ローカル実行時のみ有効化してください
+# while True:
+#     user_input = input("You: ")
+#     resp = chat_session.send_message(user_input)
+#     print("Bot:", resp.text)
+#     play_tts(resp.text)