merge AX650 + AX620E（SenseVoice 风格双芯布局）

.gitattributes

@@ -34,4 +34,3 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
 *.axmodel filter=lfs diff=lfs merge=lfs -text
-python/sample_speech.pcm filter=lfs diff=lfs merge=lfs -text

NPU_ONLY_SDK.md

@@ -1 +1,3 @@
-本交付包已通过端到端 NPU 验证，Python SDK 仅依赖 pyaxengine，不含 onnxruntime/torch/transformers 等运行时回退。
+本交付包为 rnnoise 双芯（AX650 / AX620E）合并仓库。
+AX650 已通过板端端到端 NPU 验证（C++ 2.91ms/帧，输出 cosine 0.9988）；
+AX620E 尚未上板验证（Pulsar2 仿真 gains cosine 0.9987），交付 SDK 保留 onnxruntime CPU 回退用于本机验证。

README.md

@@ -4,62 +4,71 @@ pipeline_tag: audio-to-audio
 tags:
 - axmodel
 - axera
-- rnnoise-ax650
+- rnnoise
+- audio-denoising
+- ax650
+- ax620e
 ---
-# RNNoise AX650 实时降噪（AXMODEL 交付包）
 
-48kHz 单声道实时降噪：原版 RNNoise 网络编译到 AX650 NPU3，前后处理 1:1 对齐
-官方 C 管线。板端 C++ 每帧 2.85ms（10ms 帧预算内），输出与官方实现 cosine ≈ 0.98+；
-模型 3.3MB，支持 U16 混合精度推理。
+# RNNoise（爱芯 NPU 版）
 
-## 快速开始（只需两步）
+Xiph RNNoise 语音降噪在爱芯 NPU 上的部署包，支持 **AX650（NPU3）/ AX620E（NPU2）** 双芯。
+官方模型仓库：https://github.com/xiph/rnnoise
 
-### 1. 安装环境
+## 特性
 
-```bash
-bash setup.sh
-```
+- 48kHz 单声道实时语音降噪（逐帧 10ms，16-bit 等价域 ±32768）
+- 原版 rnnoise C 信号处理（特征分析 / 合成）+ AX Engine NPU 推理
+- Python 与 C++ 双 SDK；官方未提供 ONNX，本仓库 ONNX 由官方 `rnnoise_data.c`
+  权重 1:1 复刻导出（Tanh/Sigmoid 有理逼近对齐 C 端）
 
-### 2. 跑推理（板端）
+## 支持平台与模型
 
-```bash
-bash run.sh
-```
+| 芯片 | NPU | 模型目录 | gains cosine | 板端验证 |
+|---|---|---|---|---|
+| AX650 | NPU3 | `rnnoise_ax650/` | 0.9991（板端 198 帧） | ✅ C++ 2.91ms/帧，输出 cosine 0.9988 |
+| AX620E | NPU2 | `rnnoise_ax620e/` | 0.9987（Pulsar2 仿真 100 帧） | 待上板 |
+
+每个模型目录内含 `model.axmodel` + `model_meta.json`。
+量化：U16 链路（MatMul/Conv/Add/Mul/Div/Sub/Concat/Clip/Slice，S8 权重），
+MinMax，校准数据来自真实语音（speech/speech-echo/speech-reverb + 6dB 噪声）。
 
-`run.sh` 会处理自带的 1 秒演示音频（`python/sample_speech.pcm`），
-输出去噪 PCM 到 `output/out.pcm`，并打印语音存在比例。
+## 快速开始
 
-## 目录说明
+### 1. 安装 Python 环境
 
-| 目录 | 用途 |
-|------|------|
-| `models/` | `model.axmodel`（AX650 NPU3）+ `model_meta.json` |
-| `python/` | Python SDK（pyaxengine，NPU 专用，仅依赖 numpy + pyaxengine）|
-| `cpp/` | C++ SDK（原版 C 信号处理 + AX Engine，实时路径）|
-| `model_convert/` | 模型导出 & 编译脚本（可复现）|
-| `reports/` | 导出/编译/仿真/上板报告 |
+```bash
+pip install -r python/requirements.txt
+```
 
-## 自己调用 SDK（核心 3 行）
+### 2. 板端运行降噪
 
-```python
-from rnnoise_ax650_sdk import RNNoiseDenoiser
-denoiser = RNNoiseDenoiser("models/model.axmodel")   # 板端 pyaxengine
-out_frame, vad = denoiser.process_frame(pcm_frame_480)  # 48k float32 帧
+```bash
+# AX650
+python3 python/demo.py --chip ax650
+# AX620E
+python3 python/demo.py --chip ax620e
 ```
 
-输入帧为 16-bit PCM 等价 float（±32768 量级，不做归一化，与官方 demo 一致）；
-模型逐帧 6 输入（features + 5 个状态）/ 7 输出（gains/vad + 5 个新状态），
-状态由 SDK 内部维护。
+输出 `output/out.pcm`（48k f32le）+ `output/vad.npy`；演示样本为
+`python/sample_speech.pcm`（约 4 秒语音）。
+
+## C++ SDK
+
+| 芯片 | 目录 | 说明 |
+|---|---|---|
+| AX650 | `cpp/ax650/` | cmake 链接 ax_engine/ax_sys，板端实测 2.91ms/帧 |
+| AX620E | `cpp/ax620e/` | 同源码树，目标 AX620E BSP 交叉编译 |
 
-## 常见问题
+## 精度说明
 
-**Q: import 报错找不到 pyaxengine？**
-A: 在 AX 板端运行 `bash setup.sh` 自动安装（交付版不做 CPU 回退）。
+| 张量 | AX650 板端 cosine | AX620E 仿真 cosine |
+|---|---|---|
+| gains | 0.9991 | 0.9987 |
+| vad | 0.99996 | 0.99997 |
+| GRU 状态 | 0.992–0.996 | 0.996+ |
 
-**Q: Python 每帧要 60ms，能实时吗？**
-A: Python 版面向原型/离线批处理；实时降噪请用 `cpp/`（2.85ms/帧），
-   编译方法见 `cpp/README.md`。
+## 复现
 
-**Q: 想自己重新编译模型？**
-A: 进入 `model_convert/`，按 README 准备 Pulsar2 7.0 Docker 后运行
-   `bash compile_pulsar2.sh`。
+完整导出与编译流程（含双芯 Pulsar2 配置与校准数据）见
+GitHub：https://github.com/ml-inory/rnnoise.axera

config.json

@@ -1 +1 @@
-{}
+{}

cpp/ax620e/CMakeLists.txt

@@ -0,0 +1,37 @@
+cmake_minimum_required(VERSION 3.15)
+project(rnnoise_ax620e_sdk LANGUAGES CXX C)
+
+set(CMAKE_CXX_STANDARD 14)
+set(CMAKE_CXX_STANDARD_REQUIRED ON)
+
+include_directories(include src/rnnoise)
+
+# 原版 rnnoise 信号处理（denoise/pitch/FFT/LPC/表格）。
+# 注意：不编译 rnn.c（其 compute_rnn 由 src/rnnoise_ax.cpp 用 AX Engine 替换）。
+add_library(rnnoise_c STATIC
+  src/rnnoise/denoise.c
+  src/rnnoise/pitch.c
+  src/rnnoise/kiss_fft.c
+  src/rnnoise/celt_lpc.c
+  src/rnnoise/nnet.c
+  src/rnnoise/nnet_default.c
+  src/rnnoise/parse_lpcnet_weights.c
+  src/rnnoise/rnnoise_data.c
+  src/rnnoise/rnnoise_tables.c
+)
+
+add_library(rnnoise_ax620e_sdk STATIC
+  src/model_runner.cpp
+  src/rnnoise_ax.cpp
+)
+target_include_directories(rnnoise_ax620e_sdk PUBLIC include)
+target_link_libraries(rnnoise_ax620e_sdk PRIVATE rnnoise_c)
+
+add_executable(model_example examples/main.cpp)
+target_link_libraries(model_example PRIVATE rnnoise_ax620e_sdk)
+
+if(AX_RUNTIME_ROOT)
+  target_include_directories(rnnoise_ax620e_sdk PUBLIC ${AX_RUNTIME_ROOT}/include)
+  target_link_directories(rnnoise_ax620e_sdk PUBLIC ${AX_RUNTIME_ROOT}/lib)
+  target_link_libraries(rnnoise_ax620e_sdk PUBLIC ax_engine ax_sys pthread dl atomic)
+endif()

cpp/ax620e/README.md

@@ -0,0 +1,29 @@
+# rnnoise-ax620e C++ SDK
+
+48kHz 单声道实时降噪，RNNoise 原版 C 信号处理 + AX Engine（NPU3）网络推理。
+
+## 编译（AX620E 板端/交叉环境）
+
+```bash
+export AX_RUNTIME_ROOT=/path/to/axruntime   # 含 include/ax_engine_api.h 与 lib/libax_engine.so
+mkdir -p build && cd build
+cmake .. -DAX_RUNTIME_ROOT=$AX_RUNTIME_ROOT
+make -j$(nproc)
+```
+
+## 运行
+
+```bash
+./build/model_example model.axmodel in.pcm out.pcm
+```
+
+输入为 48kHz f32le PCM（16-bit 等价域 ±32768，不做归一化）；
+输出为同格式去噪 PCM。每帧 480 采样（10ms），vad 打印均值。
+
+## 结构
+
+- `include/rnnoise_ax.hpp`：`RNNoiseAX` 类（进程内单实例）
+- `src/rnnoise_ax.cpp`：以 AX Engine 替换原版 `compute_rnn`（6 输入/7 输出逐帧状态化）
+- `src/model_runner.cpp`：AX Engine 会话封装（按张量名映射，含缓存同步）
+- `src/rnnoise/`：原版 rnnoise C 信号处理源码（denoise/pitch/FFT/LPC/表格，ISC 许可）；
+  网络权重已内嵌 AXMODEL，`rnnoise_data.c` 为最小 stub（空权重表 + 零初始化）

cpp/ax620e/examples/main.cpp

@@ -0,0 +1,58 @@
+// RNNoise AX620E 示例：处理 48k f32 PCM（16-bit 等价域），输出去噪 PCM。
+// 用法: ./model_example model.axmodel in.pcm out.pcm
+#include "rnnoise_ax.hpp"
+
+#include <cstdio>
+#include <cstdlib>
+#include <chrono>
+#include <vector>
+
+int main(int argc, char** argv) {
+    if (argc != 4) {
+        std::fprintf(stderr, "用法: %s model.axmodel in.pcm out.pcm\n", argv[0]);
+        return 1;
+    }
+    FILE* in = std::fopen(argv[2], "rb");
+    if (!in) {
+        std::fprintf(stderr, "无法打开输入 %s\n", argv[2]);
+        return 1;
+    }
+    std::fseek(in, 0, SEEK_END);
+    long bytes = std::ftell(in);
+    std::fseek(in, 0, SEEK_SET);
+    std::vector<float> pcm(bytes / sizeof(float));
+    if (!pcm.empty()) {
+        std::fread(pcm.data(), sizeof(float), pcm.size(), in);
+    }
+    std::fclose(in);
+
+    const int frame = RNNoiseAX::FrameSize();
+    const int frames = static_cast<int>(pcm.size() / frame);
+    if (frames == 0) {
+        std::fprintf(stderr, "输入过短\n");
+        return 1;
+    }
+
+    RNNoiseAX denoiser(argv[1]);
+    std::vector<float> out(pcm.size());
+    double vad_sum = 0.0;
+    auto t0 = std::chrono::steady_clock::now();
+    for (int i = 0; i < frames; ++i) {
+        vad_sum += denoiser.ProcessFrame(
+            &out[i * frame], &pcm[i * frame]);
+    }
+    auto t1 = std::chrono::steady_clock::now();
+    double secs = std::chrono::duration<double>(t1 - t0).count();
+
+    FILE* of = std::fopen(argv[3], "wb");
+    if (!of) {
+        std::fprintf(stderr, "无法写入输出 %s\n", argv[3]);
+        return 1;
+    }
+    std::fwrite(out.data(), sizeof(float), out.size(), of);
+    std::fclose(of);
+
+    std::printf("frames=%d vad_mean=%.4f per_frame_ms=%.3f out=%s\n",
+                frames, vad_sum / frames, secs / frames * 1000.0, argv[3]);
+    return 0;
+}

cpp/ax620e/include/rnnoise_ax.hpp

@@ -0,0 +1,26 @@
+#pragma once
+
+#include <memory>
+#include <string>
+
+// RNNoise AX620E 实时降噪器：原版 rnnoise C 信号处理 + AX Engine 网络推理。
+class RNNoiseAX {
+public:
+    explicit RNNoiseAX(const std::string& model_path);
+    ~RNNoiseAX();
+
+    RNNoiseAX(const RNNoiseAX&) = delete;
+    RNNoiseAX& operator=(const RNNoiseAX&) = delete;
+
+    static int FrameSize() { return 480; }
+
+    void Reset();
+
+    // 处理一帧 48k PCM（16-bit 等价 float，±32768 域）。
+    // in/out 各至少 FrameSize() 个 float；返回 vad（0~1）。
+    float ProcessFrame(float* out, const float* in);
+
+private:
+    struct Impl;
+    std::unique_ptr<Impl> impl_;
+};