| --- |
| license: apache-2.0 |
| pipeline_tag: text-to-speech |
| tags: |
| - axera |
| - ax650 |
| - npu |
| - tts |
| - text-to-speech |
| - zh |
| - en |
| --- |
| |
| # Hojo-TTS-Light-40M — AX650/NPU3 预编译模型 + C++ SDK（s8 修复版） |
|
|
| Hojo-TTS-Light-40M 中文/英文 TTS（24kHz，15 音色）在爱芯 AX650/NPU3 上的预编译部署包。 |
| 全链路 NPU：LM（ax-llm s8）+ fine_local + decoder。 |
| |
| 相对上一版的改进： |
| - LM 权重由 s4/W4A16 升级为 **s8**（Pulsar2 7.0 `llm_build2`），step0 logits 精度更高、长程生成更稳 |
| - **修复生成随机性问题**：上一版 `temperature=0.0` 被运行时钳制为 1.0，实际退化为无种子 softmax 采样， |
| 导致每次生成完全不同、偶发近乎静音；本版固定为 argmax 确定性生成，相同输入多次运行 token 序列完全一致 |
| - **修复全链路音频质量**（v2，2026-08-10）： |
| - fine_local 输入需对 LM hidden 做 RMS 归一化（axllm 输出未归一化，参考管线 RMS=1） |
| - decoder bits padding 必须全零（上一版复制末帧污染输出） |
| - decoder_sq 输出为 log-mag（[nf, 2048] 全帧布局），ISTFT 读取 stride 修正为 2048 |
| - 修复后示例音频经 ASR 验证可正常转写（EN: "Hello, this is a demo."） |
| - 示例音频已更新为修复版实机生成 |
|
|
| ## 内容 |
| - `models/`：预编译模型 |
| - `lm_s8/`：LM 10 层 decode-only axmodel + post + embedding（Pulsar2 7.0 llm_build2，s8/bf16 hidden） |
| - `fine_local.axmodel`（INT8，cos 0.9997） |
| - `decoder_sq.axmodel`（SmoothQuant+U16，mag 0.998+ / phase 0.95-0.97） |
| - 音色 / 词典 / speaker_vecs / id2code / speaker_embeds |
| - `bin/`：C++ 可执行（AX650/aarch64） |
| - `hojo_tts_cpp` / `tts_driver`：LM 生成 + 全链路出 wav |
|
|
| ## 用法（板端） |
| ```bash |
| ./bin/hojo_tts_cpp \ |
| models/lm_s8 <embeds.bin> <num_tokens> 17659 128 \ |
| models/fine_local.axmodel models/decoder_sq.axmodel \ |
| models/lm_s8/embed_tokens.bin models/speaker_vecs.bin \ |
| <voice_idx> models/id2code.bin out.wav |
| ``` |
| `<embeds.bin>` 为文本 prompt 的 BF16 embedding（50 token 示例见 `models/README.md` 说明）， |
| 输出 `out.wav`（24kHz）。音色索引 0-14（voice_ids 见 models/Hojo-TTS-Light-40M-voice.npz）。 |
| |
| ## 示例音频（24kHz WAV，板端 s8 实机生成） |
| |
| 中文示例（voice hojo_zh_f_01）： |
|
|
| <audio controls src="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_zh.wav"> |
| 你的浏览器不支持音频播放，可<a href="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_zh.wav">下载中文示例</a>。 |
| </audio> |
|
|
| 英文示例（voice hojo_en_m_02）： |
| |
| <audio controls src="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_en.wav"> |
| 你的浏览器不支持音频播放，可<a href="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_en.wav">下载英文示例</a>。 |
| </audio> |
| |
| 长示例（20 秒级，采样生成 temperature=0.8 / top_p=0.95 / repetition_penalty=1.1，与厂商推理一致）： |
| |
| 中文长示例（voice hojo_zh_f_01）： |
|
|
| <audio controls src="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_zh_long.wav"> |
| 你的浏览器不支持音频播放，可<a href="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_zh_long.wav">下载中文长示例</a>。 |
| </audio> |
|
|
| 英文长示例（voice hojo_en_m_02）： |
| |
| <audio controls src="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_en_long.wav"> |
| 你的浏览器不支持音频播放，可<a href="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_en_long.wav">下载英文长示例</a>。 |
| </audio> |
| |
| ## 精度 / 性能 |
| - LM s8：step0 top1 命中，前 30 步与 fp32 ONNX greedy 完全一致（量化累积后分叉属预期） |
| - decode ~175 tok/s；全链路 RTF≈0.43（decoder_sq） |
| - 短文本可用确定性 greedy（`post_config.json` 默认采样，避免长文本重复退化；greedy 可通过 |
| `enable_temperature=false` 开启） |
|
|
| ## 复现 |
| 模型转换（ONNX → HF safetensors → llm_build2）与 C++ SDK 构建源码见 GitHub：`ml-inory/hojo-tts-light.axera` |
| |
