ycchen commited on
Commit
ef8af61
·
verified ·
1 Parent(s): 5fdcaed

card: add dflash-32b-draft-v2test-phaseL (phase-2 long-ctx final, job 140680); mark phase-1 as warm-up

Browse files
Files changed (1) hide show
  1. README.md +9 -1
README.md CHANGED
@@ -20,10 +20,18 @@ tags:
20
  | `opd-32b-v33-s150/` | **32B agentic OPD v2 — v33 / job 135076 / step_150** | 與 `opd-32b-deploy`(step_200)**同一條健康 run** 的較早 checkpoint,可做 s150 vs s200 比較。同 deploy 格式(bf16 / rope-legacy / hybrid-SWA)+ tokenizer + chat template。 |
21
  | `dflash-7b-draft/` | DFlash draft for 7B target | SGLang 可部署 draft(speculative decoding) |
22
  | `dflash-32b-draft/` | DFlash draft for **stage1-v2-32b** target (s5317) | SGLang 可部署 draft;對齊舊 32B deploy target |
23
- | `dflash-32b-draft-v2test/` | **DFlash draft for stage1-v2-32b-softdistill-v2test target** | ** v2test target draft**SWA512 / block_size 11 / 8L / GQA-8。**step-10000 快照**=short-context curriculum warm-up(phase-1);長 context 特化(phase-2)尚未跑,非 final |
 
24
 
25
  DFlash draft 只含 `config.json` + `model.safetensors`(已 reshard 成多 shard),需搭配**對應的** target 模型使用(注意 v2test draft 對應 v2test target,與舊 `dflash-32b-draft` 的 target 不同)。
26
 
 
 
 
 
 
 
 
27
  ## OPD 32B 版本說明(哪個是哪個)
28
 
29
  agentic semi-on-policy OPD 32B(student = stage1-v2-32b-softdistill-v2test、teacher = DeepSeek-V4-Flash)一共訓練過兩次:
 
20
  | `opd-32b-v33-s150/` | **32B agentic OPD v2 — v33 / job 135076 / step_150** | 與 `opd-32b-deploy`(step_200)**同一條健康 run** 的較早 checkpoint,可做 s150 vs s200 比較。同 deploy 格式(bf16 / rope-legacy / hybrid-SWA)+ tokenizer + chat template。 |
21
  | `dflash-7b-draft/` | DFlash draft for 7B target | SGLang 可部署 draft(speculative decoding) |
22
  | `dflash-32b-draft/` | DFlash draft for **stage1-v2-32b** target (s5317) | SGLang 可部署 draft;對齊舊 32B deploy target |
23
+ | `dflash-32b-draft-v2test/` | DFlash draft for stage1-v2-32b-softdistill-v2test **phase-1 warm-up(非 final)** | curriculum **phase-1 短 context warm-up**(step-10000 快照)。SWA512 / block_size 11 / 8L / GQA-8。**部署請用下方 `dflash-32b-draft-v2test-phaseL`。** |
24
+ | `dflash-32b-draft-v2test-phaseL/` | **DFlash draft for stage1-v2-32b-softdistill-v2test — phase-2 final(部署推薦)** | curriculum **phase-2 長 context 特化**(job 140680,warm-start 自 phase-1):train data = 真實長 proof 部署分佈(OPD 32B rollouts finish_reason=length filtered + dsflash-v2-test teacher proofs,micro 65536)、GAMMA 20。step_3000 完整收尾,acc 0.605 / greedy mean_prefix_len 4.90。SWA512 / block_size 11 / 8L / GQA-8。⚠️ 尚未做 serving accept-length 實測。 |
25
 
26
  DFlash draft 只含 `config.json` + `model.safetensors`(已 reshard 成多 shard),需搭配**對應的** target 模型使用(注意 v2test draft 對應 v2test target,與舊 `dflash-32b-draft` 的 target 不同)。
27
 
28
+ ### DFlash 32B v2test curriculum(phase-1 → phase-2)
29
+
30
+ v2test target 的 draft 走兩段式 curriculum:
31
+
32
+ - **phase-1(`dflash-32b-draft-v2test/`)**:短 context warm-up(DATA=l4-g2-ml4096、micro 8192),便宜暖身、acc ~0.64。**非部署用 final,僅 curriculum 暖身快照。**
33
+ - **phase-2(`dflash-32b-draft-v2test-phaseL/`)**:warm-start 自 phase-1,於**真實長 proof 部署分佈**(OPD 32B rollouts + dsflash teacher proofs、micro 65536)長 context 特化。**這顆才是對 OPD/soft-distill 32B target 部署用的 draft。**
34
+
35
  ## OPD 32B 版本說明(哪個是哪個)
36
 
37
  agentic semi-on-policy OPD 32B(student = stage1-v2-32b-softdistill-v2test、teacher = DeepSeek-V4-Flash)一共訓練過兩次: