Sherpa KWS C++ 推理
本目录提供 AX630C 和 AX650 C++ 推理程序。kaldi-native-fbank 在 CPU 端生成
特征,Zipformer encoder、decoder 和 joiner 在 AXERA NPU 上运行。
编译环境
需要 Linux、CMake 和 Arm GNU 9.2 AArch64 交叉编译器。AX630C 与 AX650 共用 同一套交叉编译器:
mkdir -p cpp/toolchains
wget -P cpp/toolchains \
https://developer.arm.com/-/media/Files/downloads/gnu-a/9.2-2019.12/binrel/gcc-arm-9.2-2019.12-x86_64-aarch64-none-linux-gnu.tar.xz
tar -xf cpp/toolchains/gcc-arm-9.2-2019.12-x86_64-aarch64-none-linux-gnu.tar.xz \
-C cpp/toolchains
下载 AX650 和 AX630C BSP:
bash cpp/download_bsp.sh all
脚本使用以下 SDK:
| 平台 | SDK | 编译时目录 |
|---|---|---|
| AX650 | msp_50_3.10.2.zip |
cpp/toolchains/ax650n_bsp_sdk/msp/out |
| AX630C | msp_20e_3.0.0.zip |
cpp/toolchains/ax620e_bsp_sdk/msp/out/arm64_glibc |
交叉编译
export TOOLCHAIN_ROOT="cpp/toolchains/gcc-arm-9.2-2019.12-x86_64-aarch64-none-linux-gnu"
bash cpp/build_ax650.sh
bash cpp/build_ax630c.sh
生成:
cpp/bin/sherpa_kws_ax650
cpp/bin/sherpa_kws_ax630c
如 BSP 放在其他目录,可在编译前设置 BSP_MSP_DIR。AX650 应指向包含
include/ 和 lib/ 的 msp/out;AX630C 应指向
msp/out/arm64_glibc。
板端运行
AX650 单条推理:
MAX_ACTIVE_PATHS=16 AUDIO=audio/sherpa/zh_2.wav \
bash cpp/run_sherpa_kws_ax650.sh
AX630C 单条推理:
MAX_ACTIVE_PATHS=16 AUDIO=audio/sherpa/zh_2.wav \
bash cpp/run_sherpa_kws_ax630c.sh
批量测试:
MAX_ACTIVE_PATHS=16 bash cpp/run_batch_sherpa_kws_ax650.sh
MAX_ACTIVE_PATHS=16 bash cpp/run_batch_sherpa_kws_ax630c.sh
默认使用 chunk-8。设置 CHUNK_SIZE=16 可切换 chunk-16。输入音频必须为
16 kHz、单声道、16-bit PCM WAV。
模型目录:
models/650/
models/630C/
运行脚本会检查对应平台的 encoder、decoder 和 joiner 模型,避免误用其他平台的 axmodel。AX630C 模型上传后即可直接运行,不需要重新编译 C++ 程序。
解码参数
MAX_ACTIVE_PATHS 取值范围为 1 到 32,表示每个输出帧最多保留的候选路径
数量。推荐从 16 开始验证,再根据召回率、误报率和 RTF 选择能够稳定唤醒的
最小值。该参数与 CHUNK_SIZE 无关。
推理只输出一个 rtf 指标。rtf 包含 fbank 与模型推理,不包含模型加载和
初始化。
新增唤醒词
python3 scripts/generate_keyword_tokens.py \
--text 金融动荡 \
--append
关键词文件在运行时读取,不需要重新导出、量化或编译模型。