card: add dflash-32b-draft-v2test-phaseL (phase-2 long-ctx final, job 140680); mark phase-1 as warm-up
Browse files
README.md
CHANGED
|
@@ -20,10 +20,18 @@ tags:
|
|
| 20 |
| `opd-32b-v33-s150/` | **32B agentic OPD v2 — v33 / job 135076 / step_150** | 與 `opd-32b-deploy`(step_200)**同一條健康 run** 的較早 checkpoint,可做 s150 vs s200 比較。同 deploy 格式(bf16 / rope-legacy / hybrid-SWA)+ tokenizer + chat template。 |
|
| 21 |
| `dflash-7b-draft/` | DFlash draft for 7B target | SGLang 可部署 draft(speculative decoding) |
|
| 22 |
| `dflash-32b-draft/` | DFlash draft for **stage1-v2-32b** target (s5317) | SGLang 可部署 draft;對齊舊 32B deploy target |
|
| 23 |
-
| `dflash-32b-draft-v2test/` |
|
|
|
|
| 24 |
|
| 25 |
DFlash draft 只含 `config.json` + `model.safetensors`(已 reshard 成多 shard),需搭配**對應的** target 模型使用(注意 v2test draft 對應 v2test target,與舊 `dflash-32b-draft` 的 target 不同)。
|
| 26 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 27 |
## OPD 32B 版本說明(哪個是哪個)
|
| 28 |
|
| 29 |
agentic semi-on-policy OPD 32B(student = stage1-v2-32b-softdistill-v2test、teacher = DeepSeek-V4-Flash)一共訓練過兩次:
|
|
|
|
| 20 |
| `opd-32b-v33-s150/` | **32B agentic OPD v2 — v33 / job 135076 / step_150** | 與 `opd-32b-deploy`(step_200)**同一條健康 run** 的較早 checkpoint,可做 s150 vs s200 比較。同 deploy 格式(bf16 / rope-legacy / hybrid-SWA)+ tokenizer + chat template。 |
|
| 21 |
| `dflash-7b-draft/` | DFlash draft for 7B target | SGLang 可部署 draft(speculative decoding) |
|
| 22 |
| `dflash-32b-draft/` | DFlash draft for **stage1-v2-32b** target (s5317) | SGLang 可部署 draft;對齊舊 32B deploy target |
|
| 23 |
+
| `dflash-32b-draft-v2test/` | DFlash draft for stage1-v2-32b-softdistill-v2test — **phase-1 warm-up(非 final)** | curriculum **phase-1 短 context warm-up**(step-10000 快照)。SWA512 / block_size 11 / 8L / GQA-8。**部署請用下方 `dflash-32b-draft-v2test-phaseL`。** |
|
| 24 |
+
| `dflash-32b-draft-v2test-phaseL/` | **DFlash draft for stage1-v2-32b-softdistill-v2test — phase-2 final(部署推薦)** | curriculum **phase-2 長 context 特化**(job 140680,warm-start 自 phase-1):train data = 真實長 proof 部署分佈(OPD 32B rollouts finish_reason=length filtered + dsflash-v2-test teacher proofs,micro 65536)、GAMMA 20。step_3000 完整收尾,acc 0.605 / greedy mean_prefix_len 4.90。SWA512 / block_size 11 / 8L / GQA-8。⚠️ 尚未做 serving accept-length 實測。 |
|
| 25 |
|
| 26 |
DFlash draft 只含 `config.json` + `model.safetensors`(已 reshard 成多 shard),需搭配**對應的** target 模型使用(注意 v2test draft 對應 v2test target,與舊 `dflash-32b-draft` 的 target 不同)。
|
| 27 |
|
| 28 |
+
### DFlash 32B v2test curriculum(phase-1 → phase-2)
|
| 29 |
+
|
| 30 |
+
v2test target 的 draft 走兩段式 curriculum:
|
| 31 |
+
|
| 32 |
+
- **phase-1(`dflash-32b-draft-v2test/`)**:短 context warm-up(DATA=l4-g2-ml4096、micro 8192),便宜暖身、acc ~0.64。**非部署用 final,僅 curriculum 暖身快照。**
|
| 33 |
+
- **phase-2(`dflash-32b-draft-v2test-phaseL/`)**:warm-start 自 phase-1,於**真實長 proof 部署分佈**(OPD 32B rollouts + dsflash teacher proofs、micro 65536)長 context 特化。**這顆才是對 OPD/soft-distill 32B target 部署用的 draft。**
|
| 34 |
+
|
| 35 |
## OPD 32B 版本說明(哪個是哪個)
|
| 36 |
|
| 37 |
agentic semi-on-policy OPD 32B(student = stage1-v2-32b-softdistill-v2test、teacher = DeepSeek-V4-Flash)一共訓練過兩次:
|