---
language:
- zh
license: apache-2.0
tags:
- text-to-speech
- tts
- axera
- ax650
pipeline_tag: text-to-speech
---

# KAN-TTS · AX650 交付包（C++ SDK）

将 [modelscope/KAN-TTS](https://github.com/modelscope/KAN-TTS)（SamBERT + HiFi-GAN，中文 16k，发音人 zhitian_emo）部署到 AX650（NPU3）的 C++ 推理包。

## 示例音频

| 文本 | 音频 |
|------|------|
| 北京今天天气怎么样 | [example/out.wav](example/out.wav) |
| 八十万对六十万，优势在我！ | [example/youshi.wav](example/youshi.wav) |
| 满江红（怒发冲冠…） | [example/manjianghong.wav](example/manjianghong.wav) |

## 架构（全 NPU，除 PNCA 解码）

| 模块 | 位置 | 说明 |
|------|------|------|
| 前端（文本→符号） | 主机 x86 | ttsfrd，产出 symbols.txt |
| AM 编码器 enc（含 embedding/位置编码） | 板端 NPU | am_enc.axmodel（INT8，输入 ling/emo/spk/len） |
| 韵律 pitch/energy | 板端 NPU | pitch_energy.axmodel（INT8） |
| 时长 duration | 板端 NPU | duration.axmodel（INT8，非自回归单次前向） |
| PNCA 解码 dec | 板端 CPU | 自研 C++（float32，host_weights） |
| Postnet | 板端 NPU | postnet.axmodel（INT8） |
| 声码器 voc | 板端 NPU | voc.axmodel（INT8） |

> 校准集为 104 句真实中文语料（覆盖数字/长句/标点），由 pypinyin+jieba 生成
> ttsfrd 风格符号（`sdk/tools/gen_calib.py`）。
> 关键修复：`ax_engine.cpp` 增加 `AX_SYS_MflushCache / AX_SYS_MinvalidateCache`，
> 修复多模型串行推理时缓存一致性问题（此前 NPU 输出逐次漂移，长句/特定文本乱码）；
> 移除"标点强制停顿"补丁（停顿帧喂解码器会损坏音频）。
> 长句（>22 符号）按标点切分成 ≤22 子段拼接；句末自动拼接 0.3s 静音；
> 语速默认 1.4x（`KANTTS_SPEED` 可调）。

## 目录

```
kantts-tts-ax650/
  model/            am_enc/pitch_energy/duration/postnet/voc .axmodel + host_weights/ + resource/ + am_config.yaml
  sdk/              C++ 源码 + axrt 库（ax_engine/ax_sys）+ build.sh
  sdk/tools/        text_to_symbols.py（主机 x86，ttsfrd）+ gen_calib.py（校准语料生成）
  example/          out.wav / youshi.wav（示例音频）
```

## 板端编译与运行

1. 拷贝整个包到 AX650 板，进入 `sdk/`：

   ```bash
   cd sdk && ./build.sh        # 产出 kantts_tts
   ```

2. 生成符号文件（在主机 x86 上）：

   ```bash
   python3 sdk/tools/text_to_symbols.py <resource_dir> "北京今天天气怎么样" symbols.txt
   ```

   `symbols.txt` 每行一个 ttsfrd `gen_tacotron_symbols` 输出（含 utt id 前缀亦可，程序自动跳过）。

3. 运行：

   ```bash
   LD_LIBRARY_PATH=/soc/lib ./sdk/kantts_tts model model/resource symbols.txt out.wav
   ```

   示例：`输出 out.wav（2.44s 音频，合成 0.72s，RTF=0.30）`（北京例句）

## 板端依赖

- AX650 / NPU3，`/soc/lib` 提供 ax_engine/ax_sys 运行时（或用包内 `sdk/axrt/lib`）
- `sdk/axrt/lib/libonnxruntime.so.1.23.2`（aarch64，来自 onnxruntime 1.23.2 wheel）

## 精度与效果验证（2026-08-14 重建后）

| 阶段 | 指标 |
|------|------|
| ling 编码 | 与官方 ttsfrd 逐项一致（T=22） |
| enc text_hid | 板端 NPU vs 浮点 cosine 0.990 |
| 重建模型编译校验 | am_enc/pitch_energy/duration/voc 余弦 ≥ 0.9999 |
| 最终 wav | 北京句可识别；蒋介石台词 ASR = "80萬對60萬,優勢在我" |

## 已知限制

- 前端（文本→符号）依赖主机 ttsfrd，不在板端运行
- postnet 保留原始编译版本（新导出 ONNX 含 ConstantOfShape/Pad 组合，Pulsar2 无法编译；
  onnxsim 简化会破坏精度；原始模型精度正常）
- dec 为 CPU（PNCA）；NPU 解码（`KANTTS_NPU_DEC=1`）为实验性，
  QAT 导出在 Pulsar2 6.0 下因 per-channel DequantizeLinear 无法编译
- 句末自动拼接 0.3s 静音（16k）