Document the retag2 segmentation convention in the model card
Browse files
README.md
CHANGED
|
@@ -17,6 +17,21 @@ tags:
|
|
| 17 |
|
| 18 |
代码与训练框架:<https://github.com/Ismantic/Wapic>(C++17 重构的 [Wapiti](https://wapiti.limsi.fr/))。
|
| 19 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 20 |
## 文件
|
| 21 |
|
| 22 |
| 文件 | 说明 |
|
|
|
|
| 17 |
|
| 18 |
代码与训练框架:<https://github.com/Ismantic/Wapic>(C++17 重构的 [Wapiti](https://wapiti.limsi.fr/))。
|
| 19 |
|
| 20 |
+
## 分词规范(retag2)
|
| 21 |
+
|
| 22 |
+
模型的训练数据与评测集都按同一套现代中文分词口径重新标注,项目内代号 **retag2**
|
| 23 |
+
("第 2 版重新打标签")。三条规则:
|
| 24 |
+
|
| 25 |
+
1. **人名保持整体** —— 姓名不拆开。`李镇全` → `李镇全`(而非 `李 镇全` / `李 镇 全`)。
|
| 26 |
+
2. **标点独立成词** —— 每个标点单独切出。`你好,世界。` → `你好 , 世界 。`
|
| 27 |
+
3. **数字 / 英文按字符类型边界切** —— 汉字、数字、拉丁字母交界处一律切开。
|
| 28 |
+
`2015年` → `2015 年`;`GDP增长3.5%` → `GDP 增长 3 . 5 %`。
|
| 29 |
+
|
| 30 |
+
因此模型只在**纯汉字序列**上做真正的分词决策;数字、英文、标点是按字符类型
|
| 31 |
+
先切出来的。使用时若输入含中英数字混排,应先做同样的预切分再喂给模型
|
| 32 |
+
(GitHub 仓库 REPL 与 Python 绑定的 `cut` 已内置该预处理)。评测的 gold 数据
|
| 33 |
+
也必须是 retag2 口径,否则字符类型边界对不上、F1 会偏低。
|
| 34 |
+
|
| 35 |
## 文件
|
| 36 |
|
| 37 |
| 文件 | 说明 |
|