tf-bao commited on
Commit
01979ca
·
verified ·
1 Parent(s): 81bb6b0

Release i60-p004: retrained stage-2 (60 iters, prune 0.04) — F1 98.00/98.06, 50MB

Browse files
Files changed (2) hide show
  1. README.md +19 -6
  2. model/wapic-cws.wac +2 -2
README.md CHANGED
@@ -36,7 +36,7 @@ tags:
36
 
37
  | 文件 | 说明 |
38
  |---|---|
39
- | `model/wapic-cws.wac` | **主模型**(发布代号 h25_3048 MB,二进制格式) |
40
  | `model/wapic-cws-base.wac` | Stage-1 base,warm-start 锚点(仅复现训练时需要) |
41
  | `model/pattern.txt` | 特征模板(unigram + bigram) |
42
 
@@ -46,10 +46,10 @@ tags:
46
 
47
  | 测试集 | F1 | P | R |
48
  |---|---|---|---|
49
- | PD-1998 (modern+punct) | **97.70** | 97.60 | 97.81 |
50
- | 12M 泛化集 | **97.48** | 97.55 | 97.42 |
51
 
52
- 人名回归 case:15/15 全过
53
 
54
  ## 用法
55
 
@@ -76,8 +76,21 @@ seg.cut("中华人民共和国是一个伟大的国家")
76
  ## 训练
77
 
78
  两阶段 warm-start:`model/wapic-cws-base.wac`(Stage-1,12M LTP 语料)
79
- → 在 name-rich / 现代语料 mix 上 `--init-from` fine-tune → 剪枝。
80
- 完整配方与数据见数据集仓库 `Ismantic/wapic-cws-data` 的 `RELEASE_TRAINING_DATA.md`
 
 
 
 
 
 
 
 
 
 
 
 
 
81
 
82
  ## 许可
83
 
 
36
 
37
  | 文件 | 说明 |
38
  |---|---|
39
+ | `model/wapic-cws.wac` | **主模型**(发布代号 i60-p00450 MB,二进制格式) |
40
  | `model/wapic-cws-base.wac` | Stage-1 base,warm-start 锚点(仅复现训练时需要) |
41
  | `model/pattern.txt` | 特征模板(unigram + bigram) |
42
 
 
46
 
47
  | 测试集 | F1 | P | R |
48
  |---|---|---|---|
49
+ | PD-1998 (modern+punct) | **98.00** | 97.87 | 98.12 |
50
+ | 12M 泛化集 | **98.06** | 98.09 | 98.02 |
51
 
52
+ 人名切分抽查全过(李镇全 / 林强峰 / 王小明 / 屠呦呦 / 王毅 / 布林肯 等)
53
 
54
  ## 用法
55
 
 
76
  ## 训练
77
 
78
  两阶段 warm-start:`model/wapic-cws-base.wac`(Stage-1,12M LTP 语料)
79
+ → 在 badcase 增强数据(`wapic-cws-data-2`)上 `--init-from` 链式 fine-tune
80
+ 60 迭代(3×20,禁用早停)→ 剪枝 `--prune-threshold 0.04`
81
+
82
+ ```bash
83
+ ./build/wapic fit -p pattern.txt --init-from wapic-cws-base.wac \
84
+ -a l-bfgs -i 20 -e 0.0000001 -1 0.005 -2 0.0001 --histsz 5 \
85
+ --save-binary wapic-cws-data-2.txt ck20.wac
86
+ # 再以 ck20 → ck40 → ck60 链式重复两次,然后:
87
+ ./build/wapic convert -m ck60.wac --save-binary --save-prune \
88
+ --prune-threshold 0.04 wapic-cws.wac
89
+ ```
90
+
91
+ 训练量选择依据迭代-F1 曲线:60–80 迭代为峰值平台,100 迭代起过拟合。
92
+ 完整配方与数据见数据集仓库
93
+ [Ismantic/wapic-cws-data](https://huggingface.co/datasets/Ismantic/wapic-cws-data)。
94
 
95
  ## 许可
96
 
model/wapic-cws.wac CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f1a6dc64275730f07d5df441d2f11a1c93f86cae5e89f109fb768ecaab0154ee
3
- size 50511571
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b440d2efb187428cffccd0796073ed5847ba089748e67858dfe34ed600f70d8e
3
+ size 51957791