Update app.py

app.py

@@ -1,5 +1,5 @@
 import gradio as gr
-from transformers import pipeline
+from transformers import pipeline # 保持使用 transformers pipeline
 import torch
 import numpy as np
 import plotly.graph_objects as go
@@ -11,11 +11,11 @@ HF_HOME = os.getenv("HF_HOME", "./hf_cache")
 os.makedirs(HF_HOME, exist_ok=True)
 
 # 定义模型路径和名称
-# 模型 A: 文本到语音 (Text-to-Speech)
-MODEL_TTS = "facebook/mms-tts-eng" 
+# 模型 A: 文本到语音 (Text-to-Speech) - 更换为 SpeechBrain 的轻量级模型
+MODEL_TTS = "speechbrain/tts-tacotron2-ljspeech" 
 
-# 模型 B: 文本到音效/简单音频 (Text-to-Audio/Sound Generation)
-MODEL_AUDIOGEN = "facebook/audiogen-small" # 尽管不加载，但保持路径定义
+# 模型 B: 文本到音效/简单音频 (Text-to-Audio/Sound Generation) - 仍然不加载
+MODEL_AUDIOGEN = "facebook/audiogen-small" 
 
 # 确定加载模型的设备
 device = "cuda" if torch.cuda.is_available() else "cpu"
@@ -26,18 +26,20 @@ tts_pipeline = None
 audiogen_pipeline = None # 保持声明，但不会加载
 
 def load_tts_model():
-    """加载 MMS-TTS 模型。"""
+    """加载 MMS-TTS 模型。现在尝试 SpeechBrain 的 Tacotron2。"""
     print(f"正在加载 TTS 模型: {MODEL_TTS} 到 {device}...")
     try:
+        # 对于 SpeechBrain 的模型，直接使用 pipeline 可能更简单
+        # 注意：SpeechBrain 的 pipeline 可能需要安装 speechbrain 库
+        # 确保你的 requirements.txt 包含 speechbrain
         pipe = pipeline("text-to-speech", model=MODEL_TTS, device=device)
-        print("MMS-TTS 模型加载成功。")
+        print("TTS 模型加载成功。")
         return pipe
     except Exception as e:
-        print(f"加载 MMS-TTS 时出错: {e}")
+        print(f"加载 TTS (SpeechBrain) 时出错: {e}")
         return None
 
 # !!! 注意：这个函数仍然存在，但不会在 initialize_all_models 中调用 !!!
-# 如果你想在未来使用 AudioGen，可以手动取消注释
 def load_audiogen_model():
     """加载 AudioGen-small 模型。"""
     print(f"正在加载 AudioGen 模型: {MODEL_AUDIOGEN} 到 {device}...")
@@ -58,9 +60,9 @@ def initialize_all_models():
 # --- 音频生成推理函数 ---
 
 def generate_audio_tts(prompt):
-    """使用 MMS-TTS 生成语音。"""
+    """使用 TTS 模型生成语音。"""
     if tts_pipeline is None:
-        print("MMS-TTS 模型未加载或加载失败。")
+        print("TTS 模型未加载或加载失败。")
         return (16000, np.zeros(0)) # 返回空音频
     try:
         result = tts_pipeline(prompt)
@@ -68,7 +70,7 @@ def generate_audio_tts(prompt):
         sampling_rate = result['sampling_rate']
         return (sampling_rate, audio_array)
     except Exception as e:
-        print(f"使用 MMS-TTS 生成音频出错: {e}")
+        print(f"使用 TTS 生成音频出错: {e}")
         return (16000, np.zeros(0))
 
 def generate_audio_audiogen(prompt):
@@ -90,7 +92,7 @@ def arena_predict(prompt):
     """Arena 选项卡的主预测函数。只加载 TTS 模型时，AudioGen 将返回空。"""
     print(f"收到提示词: {prompt}")
         
-    # MMS-TTS 生成
+    # TTS 生成
     tts_sr, tts_audio = generate_audio_tts(prompt)
         
     # AudioGen-small 生成 (此处会因为 audiogen_pipeline 为 None 而返回空音频)
@@ -101,7 +103,7 @@ def arena_predict(prompt):
 # --- 模型对比/GRACE评估逻辑 ---
 # 假设的 GRACE 评估数据
 grace_data = {
-    "MMS-TTS-Eng": {
+    "MMS-TTS-Eng": { # 虽然现在用 SpeechBrain，但报表里仍沿用原名
         "Generalization": 2.5, 
         "Relevance": 4.5,     
         "Artistry": 4.0,      
@@ -162,23 +164,23 @@ report_content = """
 
 ### 1.1 所选模型的类型及背景说明
 本次实验聚焦于**文本到音频（Text-to-Audio）生成模型**，具体选择了两个在功能上有所侧重且模型尺寸相对较小的模型进行对比：
-1.  **`facebook/mms-tts-eng` (MMS-TTS-Eng)**：这是一个由 Meta AI (Facebook) 开发的**文本到语音（Text-to-Speech, TTS）**模型。它属于 Massively Multilingual Speech (MMS) 项目的一部分，旨在支持大量语言的语音合成。我们选择的是英语版本 (`eng`)，它以其高效、轻量级和清晰的语音输出而闻名。
+1.  **`speechbrain/tts-tacotron2-ljspeech` (新的 TTS 模型)**：这是一个由 SpeechBrain 开发的**文本到语音（Text-to-Speech, TTS）**模型，基于 Tacotron2 架构。相比之前尝试的模型，它通常更小巧，对计算资源的需求可能更低，因此更适合在有限的 CPU 环境下运行。
 2.  **`facebook/audiogen-small` (AudioGen-small)**：这款模型是 Meta AI AudioCraft 框架下的一个较小版本，专注于**文本到音效或简单音频片段**的生成。它能够根据文本描述创建环境音、乐器声或短小的声音事件。
 
 ### 1.2 模型用途对比简述
-* **MMS-TTS-Eng** 的主要用途是将书面文本转换为自然发音的**人类语音**，适用于有声读物、语音助手、导航系统等场景。
+* **TTS 模型 (Tacotron2)** 的主要用途是将书面文本转换为自然发音的**人类语音**，适用于有声读物、语音助手、导航系统等场景。
 * **AudioGen-small** 的主要用途是根据文本描述生成各种**非语音的音效或短音乐片段**，例如“雨声”、“鸟鸣”或“简单的吉他旋律”，适用于游戏音效、视频配乐或环境音模拟。
 
 ### 1.3 两个模型异同点分析
 **相同点：**
 * 都属于文本到音频生成领域，将文本作为输入。
-* 都由 Meta AI 开发，并在 Hugging Face Hub 上提供。
-* 都相对轻量级，相比大型文生音/乐模型（如 Stable Audio 或 MusicGen-large）对资源要求更低。
+* 都可在 Hugging Face Hub 上找到。
+* 都相对轻量级，相比大型文生音/乐模型对资源要求更低。
 
 **不同点：**
-* **核心功能：** MMS-TTS 专注于**语音合成**，目标是还原人类语音的自然度；AudioGen 专注于**非语音音频生成**，目标是模拟真实世界的音效或创作音乐片段。
-* **输出类型：** MMS-TTS 输出的是人类语言的声音；AudioGen 输出的是环境音、乐器音、抽象音效等。
-* **内部机制：** 尽管都基于 Transformer 架构，但它们的内部训练数据、任务目标和具体架构优化不同，以适应各自的生成任务。
+* **核心功能：** TTS 模型专注于**语音合成**，目标是还原人类语音的自然度；AudioGen 专注于**非语音音频生成**，目标是模拟真实世界的音效或创作音乐片段。
+* **输出类型：** TTS 模型输出的是人类语言的声音；AudioGen 输出的是环境音、乐器音、抽象音效等。
+* **内部机制：** 尽管都基于 Transformer 架构（Tacotron2 包含编码器和解码器），但它们的内部训练数据、任务目标和具体架构优化不同，以适应各自的生成任务。
 
 ---
 
@@ -193,9 +195,9 @@ report_content = """
 ```mermaid
 graph TD
     A[用户输入文本提示词] --> B{Gradio UI};
-    B --> C1[MMS-TTS 模型];
+    B --> C1[TTS 模型];
     B --> C2[AudioGen-small 模型];
-    C1 -- 生成语音 --> D1[MMS-TTS 音频输出];
+    C1 -- 生成语音 --> D1[TTS 音频输出];
     C2 -- 生成音效 --> D2[AudioGen-small 音频输出];
     D1 --> E[Arena 选项卡展示];
     D2 --> E;