---
license: apache-2.0
pipeline_tag: text-to-speech
tags:
  - axera
  - ax650
  - npu
  - tts
  - text-to-speech
  - zh
  - en
---

# Hojo-TTS-Light-40M — AX650/NPU3 预编译模型 + C++ SDK（s8 修复版）

Hojo-TTS-Light-40M 中文/英文 TTS（24kHz，15 音色）在爱芯 AX650/NPU3 上的预编译部署包。
全链路 NPU：LM（ax-llm s8）+ fine_local + decoder。

相对上一版的改进：
- LM 权重由 s4/W4A16 升级为 **s8**（Pulsar2 7.0 `llm_build2`），step0 logits 精度更高、长程生成更稳
- **修复生成随机性问题**：上一版 `temperature=0.0` 被运行时钳制为 1.0，实际退化为无种子 softmax 采样，
  导致每次生成完全不同、偶发近乎静音；本版固定为 argmax 确定性生成，相同输入多次运行 token 序列完全一致
- **修复全链路音频质量**（v2，2026-08-10）：
  - fine_local 输入需对 LM hidden 做 RMS 归一化（axllm 输出未归一化，参考管线 RMS=1）
  - decoder bits padding 必须全零（上一版复制末帧污染输出）
  - decoder_sq 输出为 log-mag（[nf, 2048] 全帧布局），ISTFT 读取 stride 修正为 2048
  - 修复后示例音频经 ASR 验证可正常转写（EN: "Hello, this is a demo."）
- 示例音频已更新为修复版实机生成

## 内容
- `models/`：预编译模型
  - `lm_s8/`：LM 10 层 decode-only axmodel + post + embedding（Pulsar2 7.0 llm_build2，s8/bf16 hidden）
  - `fine_local.axmodel`（INT8，cos 0.9997）
  - `decoder_sq.axmodel`（SmoothQuant+U16，mag 0.998+ / phase 0.95-0.97）
  - 音色 / 词典 / speaker_vecs / id2code / speaker_embeds
- `bin/`：C++ 可执行（AX650/aarch64）
  - `hojo_tts_cpp` / `tts_driver`：LM 生成 + 全链路出 wav

## 用法（板端）
```bash
./bin/hojo_tts_cpp \
  models/lm_s8 <embeds.bin> <num_tokens> 17659 128 \
  models/fine_local.axmodel models/decoder_sq.axmodel \
  models/lm_s8/embed_tokens.bin models/speaker_vecs.bin \
  <voice_idx> models/id2code.bin out.wav
```
`<embeds.bin>` 为文本 prompt 的 BF16 embedding（50 token 示例见 `models/README.md` 说明），
输出 `out.wav`（24kHz）。音色索引 0-14（voice_ids 见 models/Hojo-TTS-Light-40M-voice.npz）。

## 示例音频（24kHz WAV，板端 s8 实机生成）

中文示例（voice hojo_zh_f_01）：

<audio controls src="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_zh.wav">
  你的浏览器不支持音频播放，可<a href="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_zh.wav">下载中文示例</a>。
</audio>

英文示例（voice hojo_en_m_02）：

<audio controls src="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_en.wav">
  你的浏览器不支持音频播放，可<a href="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_en.wav">下载英文示例</a>。
</audio>

长示例（20 秒级，采样生成 temperature=0.8 / top_p=0.95 / repetition_penalty=1.1，与厂商推理一致）：

中文长示例（voice hojo_zh_f_01）：

<audio controls src="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_zh_long.wav">
  你的浏览器不支持音频播放，可<a href="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_zh_long.wav">下载中文长示例</a>。
</audio>

英文长示例（voice hojo_en_m_02）：

<audio controls src="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_en_long.wav">
  你的浏览器不支持音频播放，可<a href="https://huggingface.co/AXERA-TECH/Hojo-TTS-Light/resolve/main/audio/demo_en_long.wav">下载英文长示例</a>。
</audio>

## 精度 / 性能
- LM s8：step0 top1 命中，前 30 步与 fp32 ONNX greedy 完全一致（量化累积后分叉属预期）
- decode ~175 tok/s；全链路 RTF≈0.43（decoder_sq）
- 短文本可用确定性 greedy（`post_config.json` 默认采样，避免长文本重复退化；greedy 可通过
  `enable_temperature=false` 开启）

## 复现
模型转换（ONNX → HF safetensors → llm_build2）与 C++ SDK 构建源码见 GitHub：`ml-inory/hojo-tts-light.axera`