Release i60-p004: retrained stage-2 (60 iters, prune 0.04) — F1 98.00/98.06, 50MB
Browse files- README.md +19 -6
- model/wapic-cws.wac +2 -2
README.md
CHANGED
|
@@ -36,7 +36,7 @@ tags:
|
|
| 36 |
|
| 37 |
| 文件 | 说明 |
|
| 38 |
|---|---|
|
| 39 |
-
| `model/wapic-cws.wac` | **主模型**(发布代号
|
| 40 |
| `model/wapic-cws-base.wac` | Stage-1 base,warm-start 锚点(仅复现训练时需要) |
|
| 41 |
| `model/pattern.txt` | 特征模板(unigram + bigram) |
|
| 42 |
|
|
@@ -46,10 +46,10 @@ tags:
|
|
| 46 |
|
| 47 |
| 测试集 | F1 | P | R |
|
| 48 |
|---|---|---|---|
|
| 49 |
-
| PD-1998 (modern+punct) | **
|
| 50 |
-
| 12M 泛化集 | **
|
| 51 |
|
| 52 |
-
人名
|
| 53 |
|
| 54 |
## 用法
|
| 55 |
|
|
@@ -76,8 +76,21 @@ seg.cut("中华人民共和国是一个伟大的国家")
|
|
| 76 |
## 训练
|
| 77 |
|
| 78 |
两阶段 warm-start:`model/wapic-cws-base.wac`(Stage-1,12M LTP 语料)
|
| 79 |
-
→ 在
|
| 80 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 81 |
|
| 82 |
## 许可
|
| 83 |
|
|
|
|
| 36 |
|
| 37 |
| 文件 | 说明 |
|
| 38 |
|---|---|
|
| 39 |
+
| `model/wapic-cws.wac` | **主模型**(发布代号 i60-p004,50 MB,二进制格式) |
|
| 40 |
| `model/wapic-cws-base.wac` | Stage-1 base,warm-start 锚点(仅复现训练时需要) |
|
| 41 |
| `model/pattern.txt` | 特征模板(unigram + bigram) |
|
| 42 |
|
|
|
|
| 46 |
|
| 47 |
| 测试集 | F1 | P | R |
|
| 48 |
|---|---|---|---|
|
| 49 |
+
| PD-1998 (modern+punct) | **98.00** | 97.87 | 98.12 |
|
| 50 |
+
| 12M 泛化集 | **98.06** | 98.09 | 98.02 |
|
| 51 |
|
| 52 |
+
人名切分抽查全过(李镇全 / 林强峰 / 王小明 / 屠呦呦 / 王毅 / 布林肯 等)。
|
| 53 |
|
| 54 |
## 用法
|
| 55 |
|
|
|
|
| 76 |
## 训练
|
| 77 |
|
| 78 |
两阶段 warm-start:`model/wapic-cws-base.wac`(Stage-1,12M LTP 语料)
|
| 79 |
+
→ 在 badcase 增强数据(`wapic-cws-data-2`)上 `--init-from` 链式 fine-tune
|
| 80 |
+
共 60 迭代(3×20,禁用早停)→ 剪枝 `--prune-threshold 0.04`:
|
| 81 |
+
|
| 82 |
+
```bash
|
| 83 |
+
./build/wapic fit -p pattern.txt --init-from wapic-cws-base.wac \
|
| 84 |
+
-a l-bfgs -i 20 -e 0.0000001 -1 0.005 -2 0.0001 --histsz 5 \
|
| 85 |
+
--save-binary wapic-cws-data-2.txt ck20.wac
|
| 86 |
+
# 再以 ck20 → ck40 → ck60 链式重复两次,然后:
|
| 87 |
+
./build/wapic convert -m ck60.wac --save-binary --save-prune \
|
| 88 |
+
--prune-threshold 0.04 wapic-cws.wac
|
| 89 |
+
```
|
| 90 |
+
|
| 91 |
+
训练量选择依据迭代-F1 曲线:60–80 迭代为峰值平台,100 迭代起过拟合。
|
| 92 |
+
完整配方与数据见数据集仓库
|
| 93 |
+
[Ismantic/wapic-cws-data](https://huggingface.co/datasets/Ismantic/wapic-cws-data)。
|
| 94 |
|
| 95 |
## 许可
|
| 96 |
|
model/wapic-cws.wac
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:b440d2efb187428cffccd0796073ed5847ba089748e67858dfe34ed600f70d8e
|
| 3 |
+
size 51957791
|