唐语歌 GPT-SoVITS v2Pro 语音模型

这是基于 GPT-SoVITS v2Pro 微调的唐语歌语音合成模型开源包。

本仓库只包含:

  • 你可以直接加载的微调权重
  • 19 个场景化 reference 音频
  • 19 个对应的 profile 配置
  • reference 与 prompt 的绑定清单
  • 示例音频与训练记录

本仓库不包含 GPT-SoVITS 主程序,也不再打包第三方预训练基座模型。使用前请先自行准备 GPT-SoVITS 运行环境与其官方/上游预训练依赖。

数据来源与使用边界

  • 微调训练使用的语音素材来源于《Sparkling Memories》(夏日花火)中角色“唐语歌”的游戏语音整理结果。
  • references/ 目录中的 reference 音频用于复现本模型包的场景化调用方式;这些音频不应被理解为自动按 MIT 许可单独开放。
  • 本仓库的 LICENSE 主要适用于我整理和编写的配置、清单、说明文本,以及我发布的微调权重文件;不当然扩展为你对上游作品原始语音素材拥有额外授权。
  • 如果你计划镜像、二次分发或商业使用本仓库中的原始 reference 音频,请先自行确认你是否拥有相应权利;若无法确认,最稳妥的做法是删除 references/ 后再分发。

模型信息

项目 内容
角色 唐语歌
来源作品 《Sparkling Memories》(夏日花火)
基座模型 GPT-SoVITS v2Pro
主训练清单 561 条音频,约 43 分钟
训练轮次 SoVITS 3 epochs + GPT 3 epochs
最终选用 e2
主线 profile profiles/main_hybrid_mid.yaml

目录结构

tangyuge-gpt-sovits-v2pro/
├── README.md
├── LICENSE
├── THIRD_PARTY.md
├── weights/                           # 微调权重
│   ├── tangyuge_v2pro-e2.ckpt
│   └── tangyuge_v2pro_e2_s562.pth
├── configs/
│   └── tts_infer_pack.yaml            # 指向本包权重,预训练模型路径需用户先准备
├── references/                        # 19 个场景 reference 音频
├── profiles/                          # 19 个场景 profile
├── manifests/
│   ├── references.yaml                # reference / prompt 权威绑定清单
│   ├── training_e2_record.md          # e2 训练与筛选记录
│   └── checksums.sha256               # 包内文件校验清单
└── samples/                           # 示例音频

你需要自行准备的依赖

在使用本包前,请先准备一份可运行的 GPT-SoVITS 仓库,以及它要求的预训练模型。

推荐目录结构:

<workspace>/
├── GPT-SoVITS/
└── tangyuge-gpt-sovits-v2pro/

也就是说,本模型包与 GPT-SoVITS 仓库并列放置。当前 configs/tts_infer_pack.yaml 就按这个目录关系写好。

如果你的目录结构不同,请按实际情况修改 configs/tts_infer_pack.yaml 里的预训练模型路径。

权重文件

weights/
├── tangyuge_v2pro-e2.ckpt        # GPT 权重
└── tangyuge_v2pro_e2_s562.pth    # SoVITS 权重

场景 reference 与 profile

本包不是“只给两个权重就结束”的单 reference 模型,而是:

  • 同一套最终权重
  • 多个场景 reference
  • 每个场景绑定固定 prompt_text
  • 每个场景可有不同默认采样参数

主线推荐:

  • profile:profiles/main_hybrid_mid.yaml
  • reference:references/serious_script41_L0682.wav
  • prompt:气也撒了,如果你还不收敛,给在场辛苦的工作人员增添麻烦,丢人现眼的,也只有你自己了。

部分场景示例:

场景 Profile 参考音频 用途
主线最终版 profiles/main_hybrid_mid.yaml references/serious_script41_L0682.wav 严肃说明、长台词、情绪偏稳
早安问候 profiles/morning.yaml references/morning_script43_L0993.wav 早安、问候、短句寒暄
温柔日常 profiles/soft_daily.yaml references/soft_daily_script22_L0687.wav 温柔、日常、低压交流
惊讶感叹 profiles/exclaim.yaml references/exclaim_script32_L0066.wav 惊讶、感叹、情绪抬升
亲密安抚 profiles/intimate_reassure.yaml references/intimate_reassure_script41_L0688.wav 亲密安抚、陪伴感句子

完整绑定表见:

  • manifests/references.yaml

使用要点

1. 加载权重

在 GPT-SoVITS WebUI 或 API 中,加载:

  • GPT 权重:weights/tangyuge_v2pro-e2.ckpt
  • SoVITS 权重:weights/tangyuge_v2pro_e2_s562.pth

2. reference 与 prompt 必须成对使用

不要只替换 reference wav,不同步更新 prompt_text。

对这个模型包来说,真正稳定的调用单元是:

  • 权重
  • reference 音频
  • prompt 文本
  • 采样参数

其中 manifests/references.yaml 是 reference 与 prompt 的权威绑定清单。

3. 推荐参数

主线默认参数:

  • Top K: 12
  • Top P: 0.95
  • Temperature: 0.9

不同 profile 可能带有不同默认参数,优先以对应 profiles/*.yaml 为准。

示例请求参数

如果你已经启动了 GPT-SoVITS API,可以按场景显式传参。下面是早安场景示例:

{
  "text": "早上好。",
  "text_lang": "zh",
  "ref_audio_path": "tangyuge-gpt-sovits-v2pro/references/morning_script43_L0993.wav",
  "prompt_text": "曦铭?这么早就来学校了呀。",
  "prompt_lang": "zh",
  "top_k": 14,
  "top_p": 0.97,
  "temperature": 0.92,
  "text_split_method": "cut5",
  "batch_size": 1,
  "media_type": "wav",
  "streaming_mode": false
}

训练记录

详见:

  • manifests/training_e2_record.md

关键结论:

  • e1 声纹均值相似度最高,但稳定性不如 e2
  • e2 当前首选,稳定、无明显电音
  • e3 继续训练后指标下降,不推荐

文件完整性校验

校验清单:

  • manifests/checksums.sha256

下载后可自行校验仓库文件是否损坏或缺失。

许可证、数据来源与第三方说明

  • Hugging Face 页面的许可证标签不应被理解为对仓库内所有素材授予统一的无限制再分发权。
  • 本仓库中由我整理和编写的说明、配置、清单等内容,适用 LICENSE 中给出的条款。
  • 微调权重与场景配置作为本模型包的一部分随仓库提供;但 references/ 中的原始场景 reference 音频仍与其上游作品来源相关。
  • GPT-SoVITS 主程序及其预训练模型不包含在本仓库中。
  • 第三方依赖与来源说明见:THIRD_PARTY.md
  • references/ 中的原始场景 reference 音频来源于上游作品语音素材,使用者应自行判断其再分发与商用边界。

致谢

引用

如果你使用了这个模型,请注明来源:

唐语歌 GPT-SoVITS v2Pro 语音模型
基于 GPT-SoVITS 微调,用于《Sparkling Memories》角色唐语歌的语音合成
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support