| --- |
| license: isc |
| pipeline_tag: audio-to-audio |
| tags: |
| - axmodel |
| - axera |
| - rnnoise |
| - audio-denoising |
| - ax650 |
| - ax620e |
| --- |
| |
| # RNNoise（爱芯 NPU 版） |
|
|
| Xiph RNNoise 语音降噪在爱芯 NPU 上的部署包，支持 **AX650（NPU3）/ AX620E（NPU2）** 双芯。 |
| 官方模型仓库：https://github.com/xiph/rnnoise |
|
|
| ## 特性 |
|
|
| - 48kHz 单声道实时语音降噪（逐帧 10ms，16-bit 等价域 ±32768） |
| - 原版 rnnoise C 信号处理（特征分析 / 合成）+ AX Engine NPU 推理 |
| - Python 与 C++ 双 SDK；官方未提供 ONNX，本仓库 ONNX 由官方 `rnnoise_data.c` |
| 权重 1:1 复刻导出（Tanh/Sigmoid 有理逼近对齐 C 端） |
|
|
| ## 支持平台与模型 |
|
|
| | 芯片 | NPU | 模型目录 | gains cosine | 板端验证 | |
| |---|---|---|---|---| |
| | AX650 | NPU3 | `rnnoise_ax650/` | 0.9991（板端 198 帧） | ✅ C++ 2.91ms/帧，输出 cosine 0.9988 | |
| | AX620E | NPU2 | `rnnoise_ax620e/` | 0.9987（仿真） | ✅ AX630C 板（AX620E NPU2 同构）C++ 4.93ms/帧，输出 cosine 0.9989 | |
|
|
| 每个模型目录内含 `model.axmodel` + `model_meta.json`。 |
| 量化：U16 链路（MatMul/Conv/Add/Mul/Div/Sub/Concat/Clip/Slice，S8 权重）， |
| MinMax，校准数据来自真实语音（speech/speech-echo/speech-reverb + 6dB 噪声）。 |
|
|
| ## 快速开始 |
|
|
| ### 1. 安装 Python 环境 |
|
|
| ```bash |
| pip install -r python/requirements.txt |
| ``` |
|
|
| ### 2. 板端运行降噪 |
|
|
| ```bash |
| # AX650 |
| python3 python/demo.py --chip ax650 |
| # AX620E |
| python3 python/demo.py --chip ax620e |
| ``` |
|
|
| 输出 `output/out.pcm`（48k f32le）+ `output/vad.npy`；演示样本为 |
| `python/sample_speech.pcm`（约 4 秒语音）。 |
|
|
| ## C++ SDK |
|
|
| | 芯片 | 目录 | 说明 | |
| |---|---|---| |
| | AX650 | `cpp/ax650/` | cmake 链接 ax_engine/ax_sys，板端实测 2.91ms/帧 | |
| | AX620E | `cpp/ax620e/` | 同源码树，目标 AX620E BSP 交叉编译 | |
|
|
| ## 精度说明 |
|
|
| | 张量 | AX650 板端 cosine | AX620E 仿真 cosine | |
| |---|---|---| |
| | gains | 0.9991 | 0.9987（板端 0.9989） | |
| | vad | 0.99996 | 0.99997（板端 0.99987） | |
| | GRU 状态 | 0.992–0.996 | 0.996+（板端输出 0.9989） | |
|
|
| ## 复现 |
|
|
| 完整导出与编译流程（含双芯 Pulsar2 配置与校准数据）见 |
| GitHub：https://github.com/ml-inory/rnnoise.axera |
|
|
