metadata
license: apache-2.0
language:
- zh
- en
pipeline_tag: token-classification
tags:
- punctuation-restoration
- fireredpunc
- axera
- ax650
FireRedPunc.AXERA
FireRedPunc 中英标点恢复模型的 AX650N 量化部署包。
- 模型：
chinese-lert-base（BERT-base，12 层，768 hidden） - 输入：
[CLS] + tokens，input_ids [1,128] int32，attention_mask [1,128] float32 - 输出：
logits [1,127,5]，标签space / ， / 。 / ？ / ！ - 量化：Pulsar2 7.0，U16 激活 + S8 权重，Gather FP32
- AXMODEL：151.5 MiB
目录
├── config.json
├── models/ # punc.axmodel + tokenizer/vocab/out_dict
├── bin/ # fireredpunc_ax650 (aarch64)
├── python/ # punc_ax.py
└── run_ax650.sh
C++ 运行
export LD_LIBRARY_PATH=/soc/lib:${LD_LIBRARY_PATH:-}
./run_ax650.sh --text "今天天气很好我们去公园散步吧"
输出：
IN : 今天天气很好我们去公园散步吧
OUT: 今天天气很好，我们去公园散步吧。
Python 运行
pip3 install numpy transformers
# pip3 install axengine-<version>-py3-none-any.whl
./run_ax650.sh python --text "今天天气很好我们去公园散步吧"
指标（AX650N）
| 项 | 结果 |
|---|---|
| AXMODEL vs fp32 ONNX | 272 行 / 4523 token，100% |
| C++ vs Python | 272/272 text exact |
| 标点 F1（排除句末） | 0.9937 |
| Python 延迟 | median 23.2–23.5 ms |
| C++ 延迟 | median 21.1 ms |
| 等效 RTF（按 10 s VAD 段） | Python 0.0023 / C++ 0.0021 |
Punc 是文本模型，延迟按句基本固定；RTF 以每个 10 s 语音段折算。
源码
模型转换、C++ 源码和评测： ZY-2012/FireRedPunc.AXERA
参考
License
Apache-2.0。