| --- |
| license: apache-2.0 |
| language: |
| - zh |
| - en |
| pipeline_tag: token-classification |
| tags: |
| - punctuation-restoration |
| - fireredpunc |
| - axera |
| - ax650 |
| --- |
| |
| # FireRedPunc.AXERA |
|
|
| FireRedPunc 中英标点恢复模型的 AX650N 量化部署包。 |
|
|
| - 模型：`chinese-lert-base`（BERT-base，12 层，768 hidden） |
| - 输入：`[CLS] + tokens`，`input_ids [1,128] int32`，`attention_mask [1,128] float32` |
| - 输出：`logits [1,127,5]`，标签 `space / ， / 。 / ？ / ！` |
| - 量化：Pulsar2 7.0，U16 激活 + S8 权重，Gather FP32 |
| - AXMODEL：151.5 MiB |
|
|
| ## 目录 |
|
|
| ``` |
| ├── config.json |
| ├── models/ # punc.axmodel + tokenizer/vocab/out_dict |
| ├── bin/ # fireredpunc_ax650 (aarch64) |
| ├── python/ # punc_ax.py |
| └── run_ax650.sh |
| ``` |
|
|
| ## C++ 运行 |
|
|
| ```bash |
| export LD_LIBRARY_PATH=/soc/lib:${LD_LIBRARY_PATH:-} |
| ./run_ax650.sh --text "今天天气很好我们去公园散步吧" |
| ``` |
|
|
| 输出： |
|
|
| ``` |
| IN : 今天天气很好我们去公园散步吧 |
| OUT: 今天天气很好，我们去公园散步吧。 |
| ``` |
|
|
| ## Python 运行 |
|
|
| ```bash |
| pip3 install numpy transformers |
| # pip3 install axengine-<version>-py3-none-any.whl |
| ./run_ax650.sh python --text "今天天气很好我们去公园散步吧" |
| ``` |
|
|
| ## 指标（AX650N） |
|
|
| | 项 | 结果 | |
| |---|---| |
| | AXMODEL vs fp32 ONNX | 272 行 / 4523 token，100% | |
| | C++ vs Python | 272/272 text exact | |
| | 标点 F1（排除句末） | 0.9937 | |
| | Python 延迟 | median 23.2–23.5 ms | |
| | C++ 延迟 | median 21.1 ms | |
| | 等效 RTF（按 10 s VAD 段） | Python 0.0023 / C++ 0.0021 | |
|
|
| Punc 是文本模型，延迟按句基本固定；RTF 以每个 10 s 语音段折算。 |
|
|
| ## 源码 |
|
|
| 模型转换、C++ 源码和评测： |
| [ZY-2012/FireRedPunc.AXERA](https://github.com/ZY-2012/FireRedPunc.AXERA) |
|
|
| ## 参考 |
|
|
| - [FireRedPunc](https://huggingface.co/FireRedTeam/FireRedPunc) |
| - [Magnetar](https://github.com/AXERA-TECH/Magnetar) |
|
|
| ## License |
|
|
| Apache-2.0。 |
|
|
