| --- |
| license: apache-2.0 |
| language: |
| - zh |
| tags: |
| - text-to-speech |
| - tts |
| - chinese |
| - axera |
| - axmodel |
| - onnx |
| pipeline_tag: text-to-speech |
| --- |
| |
| # Inflect-Micro-v2-zh |
|
|
| 从零训练的中文 TTS：基于 [Inflect-Micro-v2](https://huggingface.co/owensong/Inflect-Micro-v2) |
| 架构（Apache-2.0）+ [NVIDIA BigVGAN](https://github.com/NVIDIA/BigVGAN) 声码器（MIT）。 |
| 声学模型 6.7M 参数（text→100-band mel），可在 **AX650 系列 NPU** 上实时部署 |
| （CPU + NPU 混合架构，RTF 0.15-0.19）。 |
|
|
| ## 示例音频（AX650 板上 C++ SDK 实跑） |
|
|
| 以下音频由交付的 **C++ SDK** 在 AX650 板端到端生成（acoustic ONNX 于 CPU + |
| BigVGAN axmodel 于 NPU int8，女声 v2：mel-GAN + length_scale=1.0 + noise=0），可直接试听： |
| |
| <audio controls src="audio/demo_female_casual.wav"></audio> 女声 · 日常口语：“今天中午我想吃一碗牛肉面。” |
| |
| <audio controls src="audio/demo_female_news.wav"></audio> 女声 · 新闻播报：“中国人民银行决定下调存款准备金率。” |
| |
| <audio controls src="audio/demo_male.wav"></audio> 男声 · 日常口语：“请问最近的医院在哪里。” |
| |
| <audio controls src="audio/demo_female_tianqi.wav"></audio> 女声 · 送气音示例：“天气允许的话” |
| |
| ## 长文本示例（Python SDK 自动分句，AX650 板上实跑，约 22s） |
| |
| <audio controls src="audio/demo_female_long.wav"></audio> 女声 · 长文本：央行降准新闻 + 北京简介 |
| |
| <audio controls src="audio/demo_male_long.wav"></audio> 男声 · 长文本：人工智能话题节目开场 |
| |
| > 长文本由 Python SDK `infer_board.py` 自动分句（≤250 tokens/句）后拼接，句间 0.2s 停顿。 |
|
|
| ## 文件说明 |
|
|
| ``` |
| models/ |
| ├── acoustic_female.onnx (+ .data) # 女声 文本→mel（CPU fp32，ls=0.7） |
| ├── acoustic_male.onnx (+ .data) # 男声 文本→mel（CPU fp32，ls=0.85） |
| ├── bigvgan_base.onnx (+ .data) # 声码器 mel→wav（CPU fp32，动态帧） |
| ├── bigvgan_base.axmodel # 声码器 mel→wav（AX650 NPU int8） |
| └── model_meta.json # 模型规格元数据 |
| checkpoints/ # 训练权重（PyTorch） |
| ├── base300.pt # 基础模型（AiShell-3，20 说话人） |
| ├── female_gan.pt # 女声（CosyVoice 音色 + GAN） |
| └── male_gan.pt # 男声（SSB0609 音色 + GAN） |
| python/ # Python 推理 SDK |
| reports/ # 验证报告（可懂度/性能/量化） |
| ``` |
|
|
| ## 快速开始（Python，CPU） |
|
|
| ```bash |
| pip install onnxruntime numpy soundfile pypinyin |
| |
| python python/infer_onnx.py \ |
| --text "你好世界，今天天气真不错，适合出去散步。" \ |
| --acoustic models/acoustic_female.onnx \ |
| --vocoder models/bigvgan_base.onnx \ |
| --output out.wav |
| ``` |
|
|
| ## 快速开始（AX650 板，CPU+NPU 混合） |
|
|
| 板上安装 `onnxruntime`、`pypinyin` 和 `axengine`（AXERA 提供）： |
|
|
| ```bash |
| python python/infer_board.py \ |
| --text "人工智能技术正在改变我们的生活方式。" \ |
| --acoustic models/acoustic_female.onnx \ |
| --vocoder models/bigvgan_base.axmodel \ |
| --output out.wav |
| ``` |
|
|
| `infer_board.py` 自动完成：文本分句 → 声学模型（CPU）→ mel 后处理 |
| （静音门限 + 句尾拉伸）→ 声码器（NPU）分块拼接。 |
|
|
| ## 性能（AX650N 实测） |
|
|
| | 组件 | 耗时 | 说明 | |
| |---|---|---| |
| | acoustic（CPU fp32） | 0.30s/句 | 静态 max_mel=1024（单句 ≤10.9s） | |
| | vocoder（NPU int8） | 0.30s/块 | 512 mel 帧 = 5.46s 音频 | |
| | 整链路 RTF | 0.15-0.19 | 约 6x 实时 | |
| |
| ## 可懂度（SenseVoice，8 句测试） |
| |
| | 音色 | CER | |
| |---|---| |
| | 女声（CPU 全 fp32） | 0.075 | |
| | 男声（CPU 全 fp32） | 0.108 | |
| |
| ## 说明 |
| |
| - 声学模型必须 CPU fp32：VITS 的 flow/duration 对 NPU 8/16-bit 量化系统性敏感 |
| （int8/U16/BRecQ 全部验证失败）；声码器 NPU int8 可用 |
| - 长文本自动分句（≤250 tokens/句）+ 声码器分块拼接（重叠交叉淡化） |
| - 训练流程与复现脚本见 [GitHub 仓库](https://github.com/ml-inory/Inflect-Micro-v2-zh) |
| |
| ## 致谢 |
| |
| - [owensong/Inflect-Micro-v2](https://huggingface.co/owensong/Inflect-Micro-v2)（架构，Apache-2.0） |
| - [NVIDIA BigVGAN](https://github.com/NVIDIA/BigVGAN)（声码器，MIT） |
| - [FunAudioLLM/CosyVoice](https://github.com/FunAudioLLM/CosyVoice)（数据生成，Apache-2.0） |
| - [OpenSLR AISHELL-3](https://www.openslr.org/resources/93/)（中文语料） |
| - AXERA Pulsar2（AX 编译工具链） |
| |
| 完整第三方声明见 GitHub 仓库 `THIRD_PARTY_NOTICES.md`。 |
| |
| ## License |
| |
| [Apache-2.0](https://github.com/ml-inory/Inflect-Micro-v2-zh/blob/main/LICENSE) |
| （与原版 Inflect-Micro-v2 一致） |
| |
