HY-2012's picture
First commit
dc79b9f verified
|
Raw
History Blame Contribute Delete
2.72 kB

Sherpa KWS C++ 推理

本目录提供 AX630C 和 AX650 C++ 推理程序。kaldi-native-fbank 在 CPU 端生成 特征,Zipformer encoder、decoder 和 joiner 在 AXERA NPU 上运行。

编译环境

需要 Linux、CMake 和 Arm GNU 9.2 AArch64 交叉编译器。AX630C 与 AX650 共用 同一套交叉编译器:

mkdir -p cpp/toolchains
wget -P cpp/toolchains \
  https://developer.arm.com/-/media/Files/downloads/gnu-a/9.2-2019.12/binrel/gcc-arm-9.2-2019.12-x86_64-aarch64-none-linux-gnu.tar.xz
tar -xf cpp/toolchains/gcc-arm-9.2-2019.12-x86_64-aarch64-none-linux-gnu.tar.xz \
  -C cpp/toolchains

下载 AX650 和 AX630C BSP:

bash cpp/download_bsp.sh all

脚本使用以下 SDK:

平台 SDK 编译时目录
AX650 msp_50_3.10.2.zip cpp/toolchains/ax650n_bsp_sdk/msp/out
AX630C msp_20e_3.0.0.zip cpp/toolchains/ax620e_bsp_sdk/msp/out/arm64_glibc

交叉编译

export TOOLCHAIN_ROOT="cpp/toolchains/gcc-arm-9.2-2019.12-x86_64-aarch64-none-linux-gnu"

bash cpp/build_ax650.sh
bash cpp/build_ax630c.sh

生成:

cpp/bin/sherpa_kws_ax650
cpp/bin/sherpa_kws_ax630c

如 BSP 放在其他目录,可在编译前设置 BSP_MSP_DIR。AX650 应指向包含 include/lib/msp/out;AX630C 应指向 msp/out/arm64_glibc

板端运行

AX650 单条推理:

MAX_ACTIVE_PATHS=16 AUDIO=audio/sherpa/zh_2.wav \
bash cpp/run_sherpa_kws_ax650.sh

AX630C 单条推理:

MAX_ACTIVE_PATHS=16 AUDIO=audio/sherpa/zh_2.wav \
bash cpp/run_sherpa_kws_ax630c.sh

批量测试:

MAX_ACTIVE_PATHS=16 bash cpp/run_batch_sherpa_kws_ax650.sh
MAX_ACTIVE_PATHS=16 bash cpp/run_batch_sherpa_kws_ax630c.sh

默认使用 chunk-8。设置 CHUNK_SIZE=16 可切换 chunk-16。输入音频必须为 16 kHz、单声道、16-bit PCM WAV。

模型目录:

models/650/
models/630C/

运行脚本会检查对应平台的 encoder、decoder 和 joiner 模型,避免误用其他平台的 axmodel。AX630C 模型上传后即可直接运行,不需要重新编译 C++ 程序。

解码参数

MAX_ACTIVE_PATHS 取值范围为 132,表示每个输出帧最多保留的候选路径 数量。推荐从 16 开始验证,再根据召回率、误报率和 RTF 选择能够稳定唤醒的 最小值。该参数与 CHUNK_SIZE 无关。

推理只输出一个 rtf 指标。rtf 包含 fbank 与模型推理,不包含模型加载和 初始化。

新增唤醒词

python3 scripts/generate_keyword_tokens.py \
  --text 金融动荡 \
  --append

关键词文件在运行时读取,不需要重新导出、量化或编译模型。