tf-bao commited on
Commit
82b0e5b
·
verified ·
1 Parent(s): 8b00348

Document the retag2 segmentation convention in the model card

Browse files
Files changed (1) hide show
  1. README.md +15 -0
README.md CHANGED
@@ -17,6 +17,21 @@ tags:
17
 
18
  代码与训练框架:<https://github.com/Ismantic/Wapic>(C++17 重构的 [Wapiti](https://wapiti.limsi.fr/))。
19
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
20
  ## 文件
21
 
22
  | 文件 | 说明 |
 
17
 
18
  代码与训练框架:<https://github.com/Ismantic/Wapic>(C++17 重构的 [Wapiti](https://wapiti.limsi.fr/))。
19
 
20
+ ## 分词规范(retag2)
21
+
22
+ 模型的训练数据与评测集都按同一套现代中文分词口径重新标注,项目内代号 **retag2**
23
+ ("第 2 版重新打标签")。三条规则:
24
+
25
+ 1. **人名保持整体** —— 姓名不拆开。`李镇全` → `李镇全`(而非 `李 镇全` / `李 镇 全`)。
26
+ 2. **标点独立成词** —— 每个标点单独切出。`你好,世界。` → `你好 , 世界 。`
27
+ 3. **数字 / 英文按字符类型边界切** —— 汉字、数字、拉丁字母交界处一律切开。
28
+ `2015年` → `2015 年`;`GDP增长3.5%` → `GDP 增长 3 . 5 %`。
29
+
30
+ 因此模型只在**纯汉字序列**上做真正的分词决策;数字、英文、标点是按字符类型
31
+ 先切出来的。使用时若输入含中英数字混排,应先做同样的预切分再喂给模型
32
+ (GitHub 仓库 REPL 与 Python 绑定的 `cut` 已内置该预处理)。评测的 gold 数据
33
+ 也必须是 retag2 口径,否则字符类型边界对不上、F1 会偏低。
34
+
35
  ## 文件
36
 
37
  | 文件 | 说明 |