AXERA-TECH/Qwen3-ASR-0.6B-AX8860-llama.cpp

Qwen3-ASR-0.6B on AX8860 (llama.cpp + ggml-axera, 2026-11-01)

在爱芯 AX8860 的 NPU（4 核）上用 llama.cpp 运行 Qwen3-ASR-0.6B 语音识别。 Qwen3-ASR-0.6B speech recognition on the 4-core NPU of the Axera AX8860, with llama.cpp.

文件 / Files

文件 / File	说明 / Description
qwen3-asr-0.6b-bf16.gguf	语言模型权重（GGUF BF16，1.1 GB，md5 f2efc5f01036d8f0b9127bdc5040ad73）/ language model weights
mmproj-qwen3-asr-0.6b-q8_0.gguf	音频编码器权重（GGUF Q8_0，204 MB，md5 447365bb81e71ee935844d2b5c740e8b）/ audio encoder weights
bin/	llama.cpp 板端程序 llama-mtmd-cli、llama-server（静态链接，只依赖系统 /opt/lib 与 libc）/ the board programs (static; need only the system /opt/lib and libc)
kernels/	NPU kernel：音频编码器、文本 prefill、文本 decode（含输出头）各一个 + manifest.json / one kernel each for the audio encoder, the text prefill and the text decode (with the output head) + manifest.json
run.sh	运行脚本 / run script

权重只来自 GGUF：kernel 不含权重，加载时从 GGUF 转换（语言模型 MXFP8，音频编码器 BF16：mmproj 中为 Q8_0，加载时反量化）。 The weights come only from the GGUFs: the kernels hold none; they are converted at load (language model MXFP8, audio encoder BF16, dequantized from the mmproj's Q8_0).

运行 / Run

环境 / Requirements：AX8860，SDK V0.5.0 或更新（cat /proc/ax_proc/version）/ SDK V0.5.0 or newer.

./run.sh speech.wav            # 转写一段录音 / transcribe one recording
./run.sh -s 8080               # OpenAI 兼容服务 / OpenAI-compatible server

服务请求 / Server request：/v1/chat/completions，content 里放 / put in the content {"type":"input_audio","input_audio":{"format":"wav","data":"<base64>"}。

直接调用程序时设置 / When calling the programs directly: LD_LIBRARY_PATH=/opt/lib GGML_AXERA_KERNEL_DIR=<repo>/kernels， -ngl 99，-c 最大 4096；服务端 -np 1。

性能 / Performance

AX8860，SDK V0.5.1，NPU 4 核，服务模式端到端（请求发出到收到结果）/ 4 cores, server, end to end:

录音 / Recording	耗时 / Time	RTF
0.6 s	0.07 s	0.12
7.3 s	0.38–0.47 s	0.05–0.06
60 s	1.7 s	0.028

首次请求另加约 0.4 s 的权重转换（每次启动一次）/ the first request adds ~0.4 s of weight conversion (once per start).

本版 decode kernel 直接读 prefill 的权重 bank，NPU 内存里只放一份层权重：加载后 NPU 内存（CMM）3577 → 3289 MB，输出不变，decode 略快。 This release's decode kernel reads the prefill weight banks (one copy of the layer weights in NPU memory): CMM after load 3577 -> 3289 MB, same outputs, slightly faster decoding.

正确性 / Correctness

测试录音的转写与上一版 NPU 实现（20 句评测与参考逐字一致）逐字相同。 The test recordings' transcripts are identical to those of the previous NPU implementation (20/20 sentences exact on its evaluation set).

已知限制 / Known limits

• 运行时独占 NPU 4 核 / takes all 4 NPU cores; do not run other NPU programs alongside.
• 单序列：服务端须 -np 1；上下文最大 4096 / one sequence: the server needs -np 1; context up to 4096.

源码 / Sources

• llama.cpp：ZHEQIUSHUI/llama.cpp axera-dev @ 57a30bd（ggml/src/ggml-axera/models/qwen3、qwen3_asr）
• kernel：ZHEQIUSHUI/ax-dsl-kernels main @ 804a260（models/qwen3_asr）