| --- |
| license: mit |
| --- |
| |
| # Tmp_Models |
| |
| 临时模型仓（量化产物中转）。 |
| |
| ## sensevoice_ax650_npu2 |
| |
| AX650N 的 SenseVoice NPU2（双核）量化部署包，含**离线 + 流式**两版模型、可执行文件、 |
| 示例音频与一键脚本，U16 激活 / S8 权重。 |
| |
| ### 目录 |
| |
| ``` |
| sensevoice_ax650_npu2/ |
| ├── run.sh # 一键识别（默认 example/zh.mp3；-s 流式） |
| ├── bin/ |
| │ ├── test_sensevoice # aarch64 命令行（离线 / -s 流式） |
| │ └── asr_server # aarch64 HTTP ASR 服务（可选） |
| ├── lib/ # AX 运行时 .so（libax_engine/interpreter/sys） |
| ├── example/ # zh/en/ja/ko/yue 示例音频 |
| ├── am.mvn / tokens.txt / chn_jpn_yue_eng_ko_spectok.bpe.model |
| ├── sensevoice.axmodel # 非流式（offline，max_seq_len=256） |
| ├── streaming_sensevoice.axmodel# 流式（26 帧滚动窗口，每 10 帧一推） |
| └── sensevoice/ # 与官方 AXERA-TECH/SenseVoice 相同的加载布局 |
| ├── am.mvn / tokens.txt / chn_jpn_yue_eng_ko_spectok.bpe.model |
| ├── sensevoice.axmodel |
| └── streaming_sensevoice.axmodel |
| ``` |
| |
| > `test_sensevoice` / `asr_server` 已**静态链接** AX 运行时（`AX_ENGINE_*` 为二进制内部 |
| > 符号），实际只依赖板端标准系统库（glibc / libstdc++ / libgcc_s）。`lib/` 中的 |
| > `libax_*.so` 为同版本 BSP 运行时，供自行编译的动态链接程序或调试使用。 |
|
|
| ### 快速开始（板端，aarch64 Linux + AX650N 驱动） |
|
|
| ```bash |
| # 下载本目录后（含 model 文件）： |
| cd sensevoice_ax650_npu2 |
| chmod +x run.sh bin/test_sensevoice |
| ./run.sh # 离线识别 example/zh.mp3 |
| ./run.sh example/en.mp3 -l en # 指定音频/语言 |
| ./run.sh example/zh.mp3 -s # 流式识别（每 100ms 喂音频，打印增量结果） |
| ``` |
|
|
| 直接调用二进制（等价）： |
|
|
| ```bash |
| export LD_LIBRARY_PATH=$PWD/lib:/soc/lib:$LD_LIBRARY_PATH |
| ./bin/test_sensevoice -a example/zh.mp3 -t sensevoice -p "$PWD" # 离线 |
| ./bin/test_sensevoice -a example/zh.mp3 -t sensevoice -p "$PWD" -s # 流式 |
| ``` |
|
|
| Python 工程使用（[sensevoice.axera](https://github.com/AXERA-TECH/sensevoice.axera)）： |
| 把本目录放到工程 `models/sensevoice_ax650/` 下，`python main.py -i xx.wav --streaming --chip ax650`。 |
|
|
| ### 板端验证（AX650N，AISHELL-S0764 96 句） |
|
|
| | 模型 | CER | zh 示例 RTF | |
| |---|---|---| |
| | NPU3 官方 streaming（参考） | 15.58% | 0.0267 | |
| | **NPU2 streaming（本包）** | **16.48%** | 0.0285 | |
|
|
| - 逐算子精度：streaming min cosine 0.890 / mean 0.9984；非流式 min 0.835 / mean 0.9974 |
| - NPU2 与 NPU3 流式逐句字符一致率 97.12%（221 条有效样本） |
| - 编译配置与复现步骤见 sensevoice.axera 的 `model_convert/README.md` |
|
|
