Update app.py

app.py

@@ -1,232 +1,104 @@
 import gradio as gr
-from transformers import AutoProcessor, AutoModelForTextToSpectrogram, pipeline, StableDiffusionPipeline
+from transformers import pipeline, AutoProcessor, AutoModelForSpeechSeq2Seq, MusicgenForConditionalGeneration
 import torch
 import numpy as np
 import plotly.graph_objects as go
 import os
 import scipy.io.wavfile # For saving/reading wav files
-from diffusers import StableDiffusionImg2ImgPipeline # For Riffusion's image generation part
-from PIL import Image
-import io
-import librosa # For spectrogram to audio conversion
 
 # --- 全局变量和模型加载 ---
 HF_HOME = os.getenv("HF_HOME", "./hf_cache")
 os.makedirs(HF_HOME, exist_ok=True)
 
 # 定义模型路径和名称
-MODEL_CHAT_TTS = "2Noise/ChatTTS"
-MODEL_STABLE_AUDIO = "stabilityai/stable-audio-open-1.0"
-MODEL_RIFFUSION_SD = "runwayml/stable-diffusion-v1-5" # Riffusion uses Stable Diffusion internally for spectrogram
-MODEL_RIFFUSION_CONTROLNET = "riffusion/riffusion-model-v1" # This is the "model" for Riffusion's special handling
+# 模型 A: 文本到语音 (Text-to-Speech)
+MODEL_TTS = "facebook/mms-tts-eng" # 可以替换为 mms-tts-zh 如果主要测试中文
+
+# 模型 B: 文本到音效/简单音频 (Text-to-Audio/Sound Generation)
+MODEL_AUDIOGEN = "facebook/audiogen-small"
 
 # 确定加载模型的设备
 device = "cuda" if torch.cuda.is_available() else "cpu"
 print(f"当前使用的设备: {device}")
 
 # --- 模型加载函数 ---
-chattts_model, chattts_tokenizer = None, None
-stable_audio_pipe = None
-riffusion_pipeline = None
+tts_pipeline = None
+audiogen_pipeline = None
 
-# ChatTTS 加载 (可能需要额外步骤，此处简化为pipeline)
-def load_chattts_model():
-    """加载 2Noise/ChatTTS 模型。"""
-    print(f"正在加载 ChatTTS 模型: {MODEL_CHAT_TTS} 到 {device}...")
+# 假设同学 A 负责集成 MMS-TTS
+def load_tts_model():
+    """加载 MMS-TTS 模型。"""
+    print(f"正在加载 TTS 模型: {MODEL_TTS} 到 {device}...")
     try:
-        # ChatTTS 模型的实际加载可能需要更复杂的代码，此处使用 pipeline 模拟
-        # 实际使用 ChatTTS 可能需要手动下载模型权重和推理代码
-        # 参考：https://huggingface.co/2Noise/ChatTTS
-        # 这里为了简化Gradio部署，我们尝试用AutoModelForSpeechSeq2Seq
-        from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
-        model = AutoModelForSpeechSeq2Seq.from_pretrained(MODEL_CHAT_TTS).to(device)
-        processor = AutoProcessor.from_pretrained(MODEL_CHAT_TTS)
-        print("ChatTTS 模型加载成功。")
-        return model, processor
-    except Exception as e:
-        print(f"加载 ChatTTS 时出错: {e}. 请确保模型在当前Transformers版本下兼容，或尝试手动加载。", e)
-        return None, None
-
-def load_stable_audio_model():
-    """加载 stabilityai/stable-audio-open-1.0 模型。"""
-    print(f"正在加载 Stable Audio 模型: {MODEL_STABLE_AUDIO} 到 {device}...")
-    try:
-        stable_audio_pipe = pipeline("text-to-audio", model=MODEL_STABLE_AUDIO, device=device)
-        print("Stable Audio 模型加载成功。")
-        return stable_audio_pipe
+        # MMS-TTS 可以通过 text-to-speech pipeline 轻松加载
+        pipe = pipeline("text-to-speech", model=MODEL_TTS, device=device)
+        print("MMS-TTS 模型加载成功。")
+        return pipe
     except Exception as e:
-        print(f"加载 Stable Audio 时出错: {e}")
+        print(f"加载 MMS-TTS 时出错: {e}")
         return None
 
-# Riffusion 模型加载 (特殊处理)
-def load_riffusion_model():
-    """加载 Riffusion 模型。它实际上是基于 Stable Diffusion 的图像到图像 pipeline。"""
-    print(f"正在加载 Riffusion (Stable Diffusion部分): {MODEL_RIFFUSION_SD} 到 {device}...")
+# 假设同学 B 负责集成 AudioGen-small
+def load_audiogen_model():
+    """加载 AudioGen-small 模型。"""
+    print(f"正在加载 AudioGen 模型: {MODEL_AUDIOGEN} 到 {device}...")
     try:
-        # Riffusion 实际上是 Stable Diffusion 的一个变种，用于生成频谱图图像
-        # 它通常需要一个StableDiffusionPipeline，并加载特定的ControlNet或LoRA
-        # 这里简化为直接加载riffusion模型作为一个img2img pipeline
-        # 实际部署可能需要更复杂的ControlNet集成
-        pipe = StableDiffusionImg2ImgPipeline.from_pretrained(MODEL_RIFFUSION_CONTROLNET, torch_dtype=torch.float16 if device == "cuda" else torch.float32).to(device)
-        print("Riffusion (Stable Diffusion) 模型加载成功。")
+        # AudioGen 也可以通过 text-to-audio pipeline 加载
+        pipe = pipeline("text-to-audio", model=MODEL_AUDIOGEN, device=device)
+        print("AudioGen 模型加载成功。")
         return pipe
     except Exception as e:
-        print(f"加载 Riffusion 时出错: {e}")
+        print(f"加载 AudioGen 时出错: {e}")
         return None
 
-# 全局模型实例
-chattts_model_instance, chattts_processor_instance = None, None
-stable_audio_pipe_instance = None
-riffusion_pipeline_instance = None
-
 def initialize_all_models():
     """在 Gradio 界面加载时调用，用于初始化所有模型。"""
-    global chattts_model_instance, chattts_processor_instance, stable_audio_pipe_instance, riffusion_pipeline_instance
-    
-    # 尝试加载 ChatTTS
-    chattts_model_instance, chattts_processor_instance = load_chattts_model()
-    
-    # 尝试加载 Stable Audio
-    stable_audio_pipe_instance = load_stable_audio_model()
-
-    # 尝试加载 Riffusion
-    riffusion_pipeline_instance = load_riffusion_model()
-
+    global tts_pipeline, audiogen_pipeline
+    tts_pipeline = load_tts_model()
+    audiogen_pipeline = load_audiogen_model()
 
 # --- 音频生成推理函数 ---
 
-def generate_audio_chattts(prompt):
-    """使用 ChatTTS 生成语音。"""
-    if chattts_model_instance is None or chattts_processor_instance is None:
-        return (16000, np.zeros(0))
+def generate_audio_tts(prompt):
+    """使用 MMS-TTS 生成语音。"""
+    if tts_pipeline is None:
+        return (16000, np.zeros(0)) # 返回空音频
     try:
-        # ChatTTS 的实际推理过程可能更复杂，此处为示意
-        # 通常涉及文本到token，token到语音
-        # 示例：
-        # inputs = chattts_processor_instance(text=prompt, return_tensors="pt").to(device)
-        # speech = chattts_model_instance.generate_speech(inputs["input_ids"], sampling_rate=16000)
-        # return (16000, speech.cpu().numpy())
-
-        # 为了 Gradio pipeline 兼容性，如果 ChatTTS 不直接支持 pipeline，这里用伪代码或简化处理
-        # 假设 ChatTTS 可以通过特定的`generate`方法生成原始音频 numpy 数组
-        # 实际部署时，你需要根据 ChatTTS 的官方示例来编写
-        # 这里用一个简单的TTS pipeline作为fallback或者示意
-        if hasattr(chattts_model_instance, 'generate_speech'): # 如果是真正的ChatTTS模型实例
-             # Dummy sampling for demonstration if actual ChatTTS setup is complex
-            rand_audio = np.random.rand(16000 * 3).astype(np.float32) * 0.5 - 0.25 # 3秒随机噪音
-            return (16000, rand_audio)
-        else: # Fallback to a generic TTS if ChatTTS isn't fully loaded/compatible
-            # A more robust solution for ChatTTS might involve:
-            # from ChatTTS import ChatTTS # Assuming ChatTTS is installed
-            # chat = ChatTTS.ChatTTS()
-            # chat.load_models(source="huggingface", device="cuda")
-            # wavs = chat.infer(texts=[prompt])
-            # return (chat.sr, wavs[0][0])
-            
-            # For robust Gradio demo, use a generic TTS if ChatTTS is tricky
-            # This is a placeholder, you'd replace with actual ChatTTS inference
-            print("ChatTTS model not fully initialized or compatible for direct generation, using dummy output.")
-            dummy_pipe = pipeline("text-to-speech", model="facebook/mms-tts-eng", device=device) # Smaller TTS for fallback
-            result = dummy_pipe(prompt)
-            sr = result['sampling_rate']
-            audio_data = result['audio']
-            return (sr, audio_data)
-
+        # TTS pipeline 通常返回 dict 包含 'audio' (numpy array) 和 'sampling_rate'
+        result = tts_pipeline(prompt)
+        audio_array = result['audio']
+        sampling_rate = result['sampling_rate']
+        return (sampling_rate, audio_array)
     except Exception as e:
-        print(f"使用 ChatTTS 生成音频出错: {e}")
+        print(f"使用 MMS-TTS 生成音频出错: {e}")
         return (16000, np.zeros(0))
 
-def generate_audio_stable_audio(prompt):
-    """使用 Stable Audio 生成音频。"""
-    if stable_audio_pipe_instance is None:
-        return (44100, np.zeros(0))
+def generate_audio_audiogen(prompt):
+    """使用 AudioGen-small 生成音频。"""
+    if audiogen_pipeline is None:
+        return (44100, np.zeros(0)) # 返回空音频，AudioGen通常用44.1kHz
     try:
-        # Stable Audio pipeline 通常返回 Dict with 'audio' key
-        audio_output = stable_audio_pipe_instance(prompt, sampling_rate=44100) # Stable Audio uses 44.1kHz
+        # AudioGen pipeline 也返回 dict 包含 'audio' 和 'sampling_rate'
+        audio_output = audiogen_pipeline(prompt, sampling_rate=16000) # 指定一个采样率
         audio_array = audio_output['audio'][0].cpu().numpy() if isinstance(audio_output['audio'], torch.Tensor) else audio_output['audio']
-        return (44100, audio_array)
-    except Exception as e:
-        print(f"使用 Stable Audio 生成音频出错: {e}")
-        return (44100, np.zeros(0))
-
-def generate_audio_riffusion(prompt):
-    """使用 Riffusion 生成音乐 (通过频谱图)。"""
-    if riffusion_pipeline_instance is None:
-        return (44100, np.zeros(0))
-    try:
-        # Riffusion 的核心是文本到频谱图图像生成
-        # 它需要一个 Stable Diffusion pipeline 来生成图像
-        # 然后将图像转换回音频
-        
-        # 1. 生成频谱图图像 (这���简化为直接使用 Riffusion pipeline)
-        # 实际 Riffusion 的pipeline会直接返回PIL Image
-        generated_image = riffusion_pipeline_instance(prompt, negative_prompt="bad quality, blurry", num_inference_steps=50).images[0]
-
-        # 2. 将频谱图图像转换为音频
-        # Riffusion 的转换逻辑通常是它自己的库
-        # 这里需要一个函数来处理这个转换
-        sr = 44100 # Riffusion 常用采样率
-        audio_array = image_to_audio_riffusion(generated_image, sr=sr)
-        return (sr, audio_array)
+        sampling_rate = audio_output['sampling_rate'] if 'sampling_rate' in audio_output else 16000 # 确保拿到采样率
+        return (sampling_rate, audio_array)
     except Exception as e:
-        print(f"使用 Riffusion 生成音频出错: {e}")
-        return (44100, np.zeros(0))
-
-# Helper function for Riffusion's image-to-audio
-# This is a simplified version; real Riffusion uses a specific library/method
-def image_to_audio_riffusion(image: Image.Image, sr: int = 44100):
-    """
-    将 Riffusion 生成的频谱图图像转换为音频。
-    此函数是简化的，实际 Riffusion 转换涉及复杂的 STFT 逆变换。
-    为了演示，我们假设图像可以某种方式映射到频谱图，然后逆变换。
-    实际使用时，你需要集成 Riffusion 提供的 spectrogram_to_audio 方法。
-    例如： from riffusion.spectrogram_converter import SpectrogramConverter
-    """
-    # 转换为灰度图以表示幅度
-    gray_image = image.convert("L")
-    spectrogram_array = np.array(gray_image).astype(np.float32) / 255.0 * 2.0 - 1.0 # Normalize to -1 to 1
-
-    # Riffusion 通常需要特定的形状，这里为了演示简化
-    # 模拟一个逆短时傅里叶变换 (ISTFT)
-    # 这是一个非常简化的模拟，实际转换很复杂且特定于 Riffusion
-    # 你可能需要安装 riffusion 库并使用其提供的函数
-    try:
-        # 假设频谱图是幅度谱的对数表示，需要反转换
-        # 这里只是一个占位符，因为librosa.istft直接接受复数频谱
-        # 真实情况需要从图像恢复幅度和相位
-        # For a true Riffusion conversion, you'd do:
-        # from riffusion.spectrogram_converter import SpectrogramConverter
-        # converter = SpectrogramConverter()
-        # audio_data = converter.spectrogram_image_to_audio(image)
-        # return audio_data.numpy()
-
-        # Fallback dummy audio generation from image for demo if full Riffusion library isn't integrated
-        # Create a dummy phase for ISTFT
-        # This is NOT how Riffusion actually converts, it's just to make it runnable
-        dummy_phase = np.exp(1j * np.random.uniform(-np.pi, np.pi, size=spectrogram_array.shape))
-        complex_spectrogram = spectrogram_array * dummy_phase
-
-        audio_data = librosa.istft(complex_spectrogram, hop_length=512) # Example hop_length
-        return audio_data
-    except Exception as e:
-        print(f"Riffusion 图像到音频转换出错: {e}")
-        return np.zeros(sr * 3) # 返回 3 秒静音
+        print(f"使用 AudioGen 生成音频出错: {e}")
+        return (16000, np.zeros(0))
 
 # --- Arena 选项卡逻辑 ---
 def arena_predict(prompt):
     """Arena 选项卡的主预测函数，并行调用所有模型。"""
     print(f"收到提示词: {prompt}")
     
-    # ChatTTS 生成 (高质量语音)
-    chattts_sr, chattts_audio = generate_audio_chattts(prompt)
+    # MMS-TTS 生成
+    tts_sr, tts_audio = generate_audio_tts(prompt)
     
-    # Stable Audio 生成 (通用声音/音乐)
-    stable_audio_sr, stable_audio_audio = generate_audio_stable_audio(prompt)
-
-    # Riffusion 生成 (音乐)
-    riffusion_sr, riffusion_audio = generate_audio_riffusion(prompt)
+    # AudioGen-small 生成
+    audiogen_sr, audiogen_audio = generate_audio_audiogen(prompt)
 
-    return (chattts_sr, chattts_audio), (stable_audio_sr, stable_audio_audio), (riffusion_sr, riffusion_audio)
+    return (tts_sr, tts_audio), (audiogen_sr, audiogen_audio)
 
 # --- 模型对比/GRACE评估逻辑 ---
 
@@ -234,23 +106,17 @@ def arena_predict(prompt):
 # 这些分数是主观评估，你需要根据实际模型表现来调整
 # 评分范围：1-5，5 为最佳
 grace_data = {
-    "ChatTTS": {
-        "Generalization": 3.0, # 主要用于语音，对非语音泛化能力弱
-        "Relevance": 4.5,     # 语音合成与文本高度相关，情感还原度高
-        "Artistry": 4.5,      # 语音自然度、表现力极高，逼真
-        "Efficiency": 3.0     # 生成高质量语音通常计算成本较高，速度中等
+    "MMS-TTS-Eng": {
+        "Generalization": 2.5, # 专注于语音，对音乐/音效泛化能力弱
+        "Relevance": 4.5,     # 语音合成与文本高度相关，发音准确
+        "Artistry": 4.0,      # 语音自然度高，但情感和表现力不如ChatTTS
+        "Efficiency": 4.5     # 模型小，生成速度快，资源消耗低
     },
-    "Stable Audio Open 1.0": {
-        "Generalization": 4.0, # 能够生成各种音效和音乐片段，泛化能力较强
-        "Relevance": 3.8,      # 对复杂音频描述的理解有时有偏差，但通常能抓住核心
-        "Artistry": 4.0,       # 音质良好，音乐性和创意性较强
-        "Efficiency": 3.0      # 模型较大，生成速度相对慢，资源消耗高
-    },
-    "Riffusion v1": {
-        "Generalization": 3.5, # 主要针对音乐生成，对语音或纯音效泛化能力弱
-        "Relevance": 3.5,      # 通过文本描述控制音乐生成可能不如直接的音乐模型精确，有时有偏差
-        "Artistry": 4.0,       # 音乐创意性强，能生成独特风格的音乐，但有时可能不那么“传统”
-        "Efficiency": 2.5      # 生成频谱图和转换都比较耗时，效率最低
+    "AudioGen-small": {
+        "Generalization": 3.5, # 能生成音效和简单音乐，比TTS模型泛化好
+        "Relevance": 3.5,      # 对音频描述的理解中等，有时可能不完全符合预期
+        "Artistry": 3.5,       # 音质尚可，创意性一般，但能满足基本音效需求
+        "Efficiency": 4.0      # 模型相对较小，生成速度较快，资源消耗中等
     }
 }
 
@@ -269,8 +135,7 @@ def create_grace_radar_chart():
             theta=categories + [categories[0]],
             fill='toself',
             name=model_name,
-            line_color='blue' if model_name == "ChatTTS" else \
-                         ('red' if model_name == "Stable Audio Open 1.0" else 'green')
+            line_color='blue' if model_name == "MMS-TTS-Eng" else 'red'
         ))
 
     fig.update_layout(
@@ -298,165 +163,50 @@ def create_grace_radar_chart():
 report_content = """
 # 文本到音频生成模型对比实验报告
 
-## 1. 引言
-
-本实验旨在对当前流行的**文本到音频（Text-to-Audio）生成模型**进行横向对比分析。随着人工智能技术的飞速发展，AI生成音频的能力日益增强，在音乐创作、语音合成、游戏音效、有声读物等领域展现出巨大的潜力。本次实验选取了 Hugging Face 平台上具有代表性的 **2Noise/ChatTTS**、**stabilityai/stable-audio-open-1.0** 和 **riffusion/riffusion-model-v1** 三个模型，通过 Gradio 构建交互式界面，使用 **GRACE 框架**对它们的性能进行多维度评估。
-
----
-
-## 2. 模型介绍
-
-### 2.1 2Noise/ChatTTS
-
-* **模型类型:** 文本到**语音**生成模型（Text-to-Speech, TTS）。
-* **特点:** 以生成**高质量、富有表现力、自然且具有情感的语音**而闻名。它能够处理复杂的文本，并生成逼真的对话语音，非常适合有声读物、客服机器人或任何需要自然人声的场景。它的主要优势在于语音的自然度和情感丰富度。
-
-### 2.2 stabilityai/stable-audio-open-1.0
+## 1. 模型及类别选择
 
-* **模型类型:** 通用文本到**音频/音乐**生成模型。
-* **特点:** 由 Stability AI 发布，能够根据文本描述生成多种类型的音频，包括**环境音效、短音乐片段、乐器音色**等。它是一个较为通用的模型，旨在为创作者提供丰富的音频素材，支持生成长达90秒的音频。
+### 1.1 所选模型的类型及背景说明
+本次实验聚焦于**文本到音频（Text-to-Audio）生成模型**，具体选择了两个在功能上有所侧重且模型尺寸相对较小的模型进行对比：
+1.  **`facebook/mms-tts-eng` (MMS-TTS-Eng)**：这是一个由 Meta AI (Facebook) 开发的**文本到语音（Text-to-Speech, TTS）**模型。它属于 Massively Multilingual Speech (MMS) 项目的一部分，旨在支持大量语言的语音合成。我们选择的是英语版本 (`eng`)，它以其高效、轻量级和清晰的语音输出而闻名。
+2.  **`facebook/audiogen-small` (AudioGen-small)**：这款模型是 Meta AI AudioCraft 框架下的一个较小版本，专注于**文本到音效或简单音频片段**的生成。它能够根据文本描述创建环境音、乐器声或短小的声音事件。
 
-### 2.3 riffusion/riffusion-model-v1
+### 1.2 模型用途对比简述
+* **MMS-TTS-Eng** 的主要用途是将书面文本转换为自然发音的**人类语音**，适用于有声读物、语音助手、导航系统等场景。
+* **AudioGen-small** 的主要用途是根据文本描述生成各种**非语音的音效或短音乐片段**，例如“雨声”、“鸟鸣”或“简单的吉他旋律”，适用于游戏音效、视频配乐或环境音模拟。
 
-* **模型类型:** 文本到**音乐**生成模型（基于扩散模型和频谱图）。
-* **特点:** 这款模型非常独特，它首先将文本提示转化为**音乐的频谱图图像**（类似 Stable Diffusion 生成图像），然后将这个频谱图逆转换为实际的音频。这意味着它结合了图像生成和音频处理技术，能够生成具有**视觉-听觉对应**的创意音乐，特别适合探索不同风格和氛围的音乐生成。
+### 1.3 两个模型异同点分析
+**相同点：**
+* 都属于文本到音频生成领域，将文本作��输入。
+* 都由 Meta AI 开发，并在 Hugging Face Hub 上提供。
+* 都相对轻量级，相比大型文生音/乐模型（如 Stable Audio 或 MusicGen-large）对资源要求更低。
 
----
-
-## 3. 实验设计
-
-本次实验通过 Hugging Face Gradio Space 实现了一个交互式平台，包含“Arena”和“模型对比”两个核心选项卡。
-
-### 3.1 Arena 选项卡
-
-* **功能:** 用户在此选项卡中输入一个文本提示词，系统将同时调用 ChatTTS、Stable Audio Open 1.0 和 Riffusion 三个模型，并并排展示它们各自生成的音频。
-* **目的:** 允许用户直观地比较不同模型在相同输入下的音频生成质量、风格和对提示词的理解程度。用户可以根据提示词的性质（例如，语音、音效、音乐）来观察哪个模型表现最佳。
-
-### 3.2 模型对比选项卡 (基于 GRACE 框架)
-
-* **功能:** 此选项卡展示了基于 GRACE 框架对三个模型的评估结果。**GRACE 框架**从**泛化性（Generalization）**、**相关性（Relevance）**、**创新表现力（Artistry）**和**效率性（Efficiency）**四个维度对模型进行评估。
-* **目的:** 提供一个结构化的、多维度的模型性能分析视图，帮助用户更全面地理解每个模型的优缺点。评估结果以雷达图形式直观呈现，并辅以文字说明。
-
----
-
-## 4. GRACE 框架分析与结果
-
-以下是对 ChatTTS、Stable Audio Open 1.0 和 Riffusion v1 在 GRACE 各维度上的评估和对比。评分范围为 1-5，分数越高表示表现越好。
-
-### 4.1 泛化性 (Generalization)
-
-* **ChatTTS:** (3.0/5) 主要专注于高质量语音合成，对非语音（如音乐或环境音）的生成能力有限，泛化范围相对较窄。
-* **Stable Audio Open 1.0:** (4.0/5) 能够生成多种类型的音频，包括不同的音乐流派、音效和环境声音，泛化能力较强。
-* **Riffusion v1:** (3.5/5) 专注于音乐生成，能够通过文本控制多种音乐风格，但其核心是音乐，对纯语音或复杂环境音的泛化能力有限。
-
-### 4.2 相关性 (Relevance)
-
-* **ChatTTS:** (4.5/5) 在语音合成方面与文本输入高度相关，能够准确捕捉文本的含义和情感表达。
-* **Stable Audio Open 1.0:** (3.8/5) 对文本描述的理解尚可，但在处理非常具体或复杂的音频描述时，有时可能与用户期望存在一定偏差。
-* **Riffusion v1:** (3.5/5) 通过文本提示控制音乐生成可能不如直接的音乐模型那样精确，有时生成的音乐与文本描述的关联性会稍弱，需要更精细的提示词工程。
-
-### 4.3 创新表现力 (Artistry)
-
-* **ChatTTS:** (4.5/5) 语音的自然度、情感表达和音质极高，具有出色的艺术表现力，使得合成语音听起来非常逼真且富有感染力。
-* **Stable Audio Open 1.0:** (4.0/5) 音质良好，能够生成具有一定创意和美感的音乐片段及音效，在通用音频生成领域具有较强的艺术表现力。
-* **Riffusion v1:** (4.0/5) 能够生成独特且具有实验性的音乐风格，创意性强。其视觉到听觉的转换机制带来了独特的艺术呈现，但有时可能不那么“传统”或预期。
-
-### 4.4 效率性 (Efficiency)
-
-* **ChatTTS:** (3.0/5) 生成高质量、富有情感的语音通常计算成本较高，推理速度中等。
-* **Stable Audio Open 1.0:** (3.0/5) 模型参数量较大，生成速度相对较慢，对计算资源的需求较高。
-* **Riffusion v1:** (2.5/5) 生成频谱图图像和随后将其逆转换为音频的过程都比较耗时，是这三个模型中效率最低的。
-
-### GRACE 评估雷达图
-
-![GRACE Framework Model Comparison](https://i.imgur.com/your-radar-chart-image-link.png)
-*(注意：此处将插入使用 Plotly 生成的雷达图，通过 `gr.Plot` 组件展示)*
+**不同点：**
+* **核心功能：** MMS-TTS 专注于**语音合成**，目标是还原人类语音的自然度；AudioGen 专注于**非语音音频生成**，目标是模拟真实世界的音效或创作音乐片段。
+* **输出类型：** MMS-TTS 输出的是人类语言的声音；AudioGen 输出的是环境音、乐器音、抽象音效等。
+* **内部机制：** 尽管都基于 Transformer 架构，但它们的内部训练数据、任务目标和具体架构优化不同，以适应各自的生成任务。
 
 ---
 
-## 5. 结论与展望
-
-本次实验对比了 ChatTTS、Stable Audio Open 1.0 和 Riffusion v1 三个文本到音频模型，它们各自在不同的细分领域展现了独特的优势：
+## 2. 系统实现细节
 
-* **ChatTTS** 在**高质量、富有情感的语音合成**方面表现卓越，是需要逼真人声的首选。
-* **Stable Audio Open 1.0** 是一款**通用的音频生成器**，适用于生成多样化的音效和音乐片段。
-* **Riffusion v1** 提供了一种**创新性的音乐创作方式**，适合寻求独特音乐风格或探索视觉-听觉关联的创作者。
-
-未来的研究可以进一步探索：
-
-1.  **多模态输入：** 结合文本���外的其他模态（如图像、视频）来生成更丰富的音频。
-2.  **可控性与精细化：** 开发更精细的控制机制，让用户能更准确地指导模型的生成过程。
-3.  **客观评估指标：** 建立更完善的客观评估指标来补充主观的 GRACE 评估，以量化模型在特定任务上的表现。
-
----
-"""
-
-# --- Gradio 界面定义 ---
-with gr.Blocks(title="文本到音频模型对比实验") as demo:
-    gr.Markdown("# 文本到音频模型对比实验")
-    gr.Markdown("本项目对比了 **2Noise/ChatTTS**、**stabilityai/stable-audio-open-1.0** 和 **riffusion/riffusion-model-v1** 三个文本到音频生成模型。")
-
-    with gr.Tab("Arena"):
-        gr.Markdown("### Arena: 统一输入，对比模型输出")
-        gr.Markdown("在下方输入框中描述你希望生成的音频（例如：'一段平静的钢琴旋律', '一个机器人说话的声音', '一段悲伤的旁白'），然后点击生成按钮。")
-        
-        arena_input = gr.Textbox(label="输入文本提示词", placeholder="例如：A calm piano melody in a quiet room.")
-        generate_button = gr.Button("生成音频")
-
-        with gr.Row():
-            with gr.Column():
-                gr.Markdown("#### ChatTTS (语音)")
-                output_chattts = gr.Audio(label="ChatTTS 输出", type="numpy", interactive=False)
-            with gr.Column():
-                gr.Markdown("#### Stable Audio Open 1.0 (音效/音乐)")
-                output_stable_audio = gr.Audio(label="Stable Audio 输出", type="numpy", interactive=False)
-            with gr.Column():
-                gr.Markdown("#### Riffusion v1 (音乐)")
-                output_riffusion = gr.Audio(label="Riffusion 输出", type="numpy", interactive=False)
-
-        # 绑定生成按钮的点击事件
-        generate_button.click(
-            arena_predict,
-            inputs=[arena_input],
-            outputs=[output_chattts, output_stable_audio, output_riffusion]
-        )
-        
-        # 示例提示词
-        gr.Examples(
-            [
-                ["A gentle rain falling outside a window."],
-                ["An epic orchestral track with drums and violins."],
-                ["A robotic voice saying 'Hello world, how are you today?'"],
-                ["A cat meowing loudly."],
-                ["A short, happy tune on a flute."],
-                ["A melancholic narration about lost dreams."] # For ChatTTS specific focus
-            ],
-            inputs=arena_input,
-            label="尝试这些示例提示词"
-        )
-
-    with gr.Tab("模型对比"):
-        gr.Markdown("### 模型对比: 基于 GRACE 框架的评估")
-        gr.Markdown("此选项卡展示了 ChatTTS、Stable Audio Open 1.0 和 Riffusion v1 三个模型在泛化性、相关性、创新表现力和效率性四个维度上的表现对比。")
-        
-        # 嵌入 Plotly 雷达图
-        grace_plot = gr.Plot(create_grace_radar_chart(), label="GRACE 框架模型对比雷达图", show_label=False)
-        gr.Markdown("""
-        **GRACE 维度解释:**
-        * **G (Generalization) 泛化性:** 模型是否能适配多种输入任务、生成多样化音频。
-        * **R (Relevance) 相关性:** 输出音频是否紧扣输入主题、与用户期望匹配。
-        * **A (Artistry) 创新表现力:** 输出内容是否有创意、音质高、表现力强。
-        * **E (Efficiency) 效率性:** 是否能在较少人工干预下快速输出高质量结果。
+本系统通过 Gradio 构建了一个交互式 Hugging Face Space，实现了模型的统一输入和多模型输出展示。
 
-        *注意：上述评估是基于主观测试的定性分析，仅供参考。实际表现可能因提示词和模型版本而异。*
-        """)
+### 2.1 Gradio 交互界面截图
 
-    with gr.Tab("报告"):
-        gr.Markdown(report_content)
+（此处应放置你的 Gradio Space 的截图，显示 "Arena" 和 "模型对比" 选项卡的用户界面）
+![Gradio Interface Screenshot](https://i.imgur.com/your-space-screenshot-link.png)
 
-# 在 Gradio 启动时预加载模型
-demo.load(initialize_all_models, None, None)
+### 2.2 输入与输出流程图 (Mermaid 语法)
 
-# 启动 Gradio 应用
-if __name__ == "__main__":
-    demo.launch(share=False, debug=True, enable_queue=True, max_load_time=600) # 延长加载时间到 10 分钟
+```mermaid
+graph TD
+    A[用户输入文本提示词] --> B{Gradio UI};
+    B --> C1[MMS-TTS 模型];
+    B --> C2[AudioGen-small 模型];
+    C1 -- 生成语音 --> D1[MMS-TTS 音频输出];
+    C2 -- 生成音效 --> D2[AudioGen-small 音频输出];
+    D1 --> E[Arena 选项卡展示];
+    D2 --> E;
+    E -- 用户评估 --> F[GRACE 评估数据];
+    F --> G[模型对比选项卡];
+    G -- 生成雷达图 --> H[报告选项卡嵌入雷达图];