FireRedPunc.AXERA

FireRedPunc 中英标点恢复模型的 AX650N 量化部署包。

• 模型：chinese-lert-base（BERT-base，12 层，768 hidden）
• 输入：[CLS] + tokens，input_ids [1,128] int32，attention_mask [1,128] float32
• 输出：logits [1,127,5]，标签 space / ， / 。 / ？ / ！
• 量化：Pulsar2 7.0，U16 激活 + S8 权重，Gather FP32
• AXMODEL：151.5 MiB

目录

├── config.json
├── models/       # punc.axmodel + tokenizer/vocab/out_dict
├── bin/          # fireredpunc_ax650 (aarch64)
├── python/       # punc_ax.py
└── run_ax650.sh

C++ 运行

export LD_LIBRARY_PATH=/soc/lib:${LD_LIBRARY_PATH:-}
./run_ax650.sh --text "今天天气很好我们去公园散步吧"

输出：

IN : 今天天气很好我们去公园散步吧
OUT: 今天天气很好，我们去公园散步吧。

Python 运行

pip3 install numpy transformers
# pip3 install axengine-<version>-py3-none-any.whl
./run_ax650.sh python --text "今天天气很好我们去公园散步吧"

指标（AX650N）

项	结果
AXMODEL vs fp32 ONNX	272 行 / 4523 token，100%
C++ vs Python	272/272 text exact
标点 F1（排除句末）	0.9937
Python 延迟	median 23.2–23.5 ms
C++ 延迟	median 21.1 ms
等效 RTF（按 10 s VAD 段）	Python 0.0023 / C++ 0.0021

Punc 是文本模型，延迟按句基本固定；RTF 以每个 10 s 语音段折算。

源码

模型转换、C++ 源码和评测： ZY-2012/FireRedPunc.AXERA

参考

• FireRedPunc
• Magnetar

License

Apache-2.0。