phase2-12k-3ep: Qwen3-32B summary-domain EAGLE-3 draft head (TP4@12288, 3ep, dual-trim)

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+data/train_main.jsonl filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,54 @@
+# phase2-12k-3ep:二期域训 EAGLE-3 权重 + 训练数据(自包含)
+
+二期最终产出:Qwen3-32B 的 summary 域训 EAGLE-3 draft head,TP4@12288 + 双裁剪,3 epoch。
+
+## 内容
+
+| 文件 | 说明 |
+|---|---|
+| `model.safetensors` | 权重本体(1.4G,= runs/qwen3-32b-summary-12k-trim-r1/epoch_2_step_5760) |
+| `config.json` | 训练时的 draft config |
+| `config_deploy.json` | 部署用 config(= AngelSlim config,避开新 transformers rope 解析差异) |
+| `training_state.pt` | 优化器/scheduler 状态(续训用) |
+| `data/train_main.jsonl` | **训练数据**,7,681 条(指纹 3a1078d2,zh 3935/en 3725/mix 21,≤12288 token) |
+| `data/heldout.jsonl` | 评测集(46 条,15 个 drbench topic,题面隔离,从未进训练) |
+| `data/heldout_topics_locked.json` | 锁定的 heldout topic 清单(保证一期/二期评测可比) |
+| `data/manifest.json` | 数据统计 |
+
+## 谱系
+
+- **起点**:AngelSlim/Qwen3-32B_eagle3(腾讯开源第三方 head,warm-start,非本产出);
+- **一期**:TP4@8192,3,607 条,2 epoch(见 runs/qwen3-32b-summary-8k-tp4-r1);
+- **二期(本目录)**:TP4@12288,7,681 条(监督 ×2.08),3 epoch,双裁剪省 7.05GiB/卡解锁 12288。
+
+## 训练配置(复现)
+
+```
+--target-model-path /data/yilin/huggingface/Qwen3-32B
+--ckpt-dir /data/yilin/huggingface/Qwen3-32B-eagle3-angelslim   # warm-start
+--train-data-path data/train_main.jsonl
+--chat-template qwen3-instruct
+--target-model-backend sglang --tp-size 4 --sglang-mem-fraction-static 0.44
+--max-length 12288 --ttt-length 3 --attention-backend flex_attention
+--shard-target-output --trim-loss-positions --trim-prompt-rows   # 双裁剪
+--learning-rate 2e-5 --num-epochs 3 --warmup-ratio 0.05 --max-grad-norm 0.5
+--draft-accumulation-steps 16 --save-interval 120
+```
+
+训练框架:SpecForge 本地 fork(四补丁 ropebuf/chunk-acc/nocompile/ckpt-norm + 位置维裁剪 A+B-i),见 exp-docx/eagle-spec-decode/phase2-trimming-work.md。
+
+## 部署(vLLM 零转换)
+
+```
+vllm serve /data/yilin/huggingface/Qwen3-32B --tensor-parallel-size 4 \
+  --speculative-config '{"method":"eagle3","model":"<本目录>","num_speculative_tokens":3}'
+```
+(部署时用 config_deploy.json 替换 config.json,或直接指向本目录——已含可加载 config)
+
+## 训练指标
+
+逐 epoch 训练 acc:0.44 → 0.47 → 0.48;全程 0 OOM。
+
+## 评测结果
+
+见 exp-docx/paper-submission/experiment-data-summary.md。核心:DRGym 英文长 prompt 上干净 held-out **1.303×**(碾压 suffix 0.976× 净减速);DRBench 中文短 prompt 上 1.11%/18.4%(输 suffix)。

config.json

@@ -0,0 +1,31 @@
+{
+  "architectures": [
+    "LlamaForCausalLMEagle3"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 151643,
+  "eos_token_id": 151645,
+  "head_dim": 80,
+  "hidden_act": "silu",
+  "hidden_size": 5120,
+  "initializer_range": 0.02,
+  "intermediate_size": 25600,
+  "max_position_embeddings": 40960,
+  "max_window_layers": 64,
+  "model_type": "llama",
+  "num_attention_heads": 64,
+  "num_hidden_layers": 1,
+  "num_key_value_heads": 8,
+  "rms_norm_eps": 1e-06,
+  "rope_scaling": null,
+  "rope_theta": 1000000,
+  "sliding_window": null,
+  "tie_word_embeddings": false,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.51.0",
+  "use_cache": true,
+  "use_sliding_window": false,
+  "vocab_size": 151936,
+  "draft_vocab_size": 32000
+}

config_deploy.json

@@ -0,0 +1,31 @@
+{
+  "architectures": [
+    "LlamaForCausalLMEagle3"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 151643,
+  "eos_token_id": 151645,
+  "head_dim": 80,
+  "hidden_act": "silu",
+  "hidden_size": 5120,
+  "initializer_range": 0.02,
+  "intermediate_size": 25600,
+  "max_position_embeddings": 40960,
+  "max_window_layers": 64,
+  "model_type": "llama",
+  "num_attention_heads": 64,
+  "num_hidden_layers": 1,
+  "num_key_value_heads": 8,
+  "rms_norm_eps": 1e-06,
+  "rope_scaling": null,
+  "rope_theta": 1000000,
+  "sliding_window": null,
+  "tie_word_embeddings": false,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.51.0",
+  "use_cache": true,
+  "use_sliding_window": false,
+  "vocab_size": 151936,
+  "draft_vocab_size": 32000
+}

config_train.json

@@ -0,0 +1,36 @@
+{
+  "architectures": [
+    "LlamaForCausalLMEagle3"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 151643,
+  "draft_vocab_size": 32000,
+  "dtype": "bfloat16",
+  "eos_token_id": 151645,
+  "head_dim": 80,
+  "hidden_act": "silu",
+  "hidden_size": 5120,
+  "initializer_range": 0.02,
+  "intermediate_size": 25600,
+  "max_position_embeddings": 40960,
+  "max_window_layers": 64,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 64,
+  "num_hidden_layers": 1,
+  "num_key_value_heads": 8,
+  "pad_token_id": null,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 1000000,
+    "rope_type": "default"
+  },
+  "sliding_window": null,
+  "tie_word_embeddings": false,
+  "transformers_version": "5.8.1",
+  "use_cache": true,
+  "use_sliding_window": false,
+  "vocab_size": 151936
+}

data/heldout_topics_locked.json

@@ -0,0 +1,17 @@
+[
+ "What specific genetic or physiological adaptations enable certain bird species to adjust their migration routes in response to climate change or habitat loss?",
+ "中国中产阶层的收入和资产分布是否存在显著的城乡差异？具体数据如何？",
+ "中国中产阶层的负债水平如何影响其实际财务状况和消费行为？是否存在地域或代际差异？",
+ "在中西部地区，中产阶层的形成面临哪些结构性障碍（如教育、职业、收入等），如何通过政策干预促进其发展？",
+ "在当前经济环境下，中国中产阶层的负债水平和财务稳定性是否正在下降？",
+ "在科技金融、绿色金融、养老金融等新兴领域中，哪些细分赛道在政策支持和市场需求的双重驱动下最具投资潜力？",
+ "在绿色金融和养老金融成为银行业战略性增长极的背景下，哪些细分领域（如绿色信贷、绿色债券、碳金融产品）最具增长潜力？",
+ "在量子计算与人工智能融合领域，哪些团队的算法设计和实验验证最有可能在工业界（如金融、医药、物流）实现实际应用落地？",
+ "如何在AI心理咨询系统中实现数据隐私保护与伦理治理，以增强用户信任并确保服务的公平性？",
+ "如何量化800V高压平台与碳化硅电驱技术在不同动力系统（如纯电、增程、插混）中的成本与性能临界点？",
+ "当前材料数据库在规模、一致性和可访问性方面存在哪些具体限制？如何构建一个全面的‘材料大数据库’以支持更广泛的机器学习模型训练？",
+ "艺术生如何通过跨学科合作、新兴行业参与及自主创业等方式突破传统就业领域，实现多元化职业发展？",
+ "请汇总具身智能代表性公司的商业化进展、融资情况以及核心团队背景，分析其市场竞争力和未来潜力。",
+ "金融科技如何具体赋能投行、PE和固收等传统金融业务，提升其效率和竞争力？",
+ "针对不同年龄段的用户，如何调整游戏难度和内容以提高用户留存率？"
+]

data/manifest.json

@@ -0,0 +1,30 @@
+{
+ "maxlen": 12288,
+ "n_dedup_filtered": 7798,
+ "n_train_main": 7681,
+ "n_train_longtail": 71,
+ "n_heldout": 46,
+ "n_qtopics": 2537,
+ "lang_main": {
+  "en": 3725,
+  "zh": 3935,
+  "mix": 21
+ },
+ "heldout_topics": [
+  "What specific genetic or physiological adaptations enable certain bird species to adjust their migration routes in response to climate change or habitat loss?",
+  "中国中产阶层的收入和资产分布是否存在显著的城乡差异？具体数据如何？",
+  "中国中产阶层的负债水平如何影响其实际财务状况和消费行为？是否存在地域或代际差异？",
+  "在中西部地区，中产阶层的形成面临哪些结构性障碍（如教育、职业、收入等），如何通过政策干预促进其发展？",
+  "在当前经济环境下，中国中产阶层的负债水平和财务稳定性是否正在下降？",
+  "在科技金融、绿色金融、养老金融等新兴领域中，哪些细分赛道在政策支持和市场需求的双重驱动下最具投资潜力？",
+  "在绿色金融和养老金融成为银行业战略性增长极的背景下，哪些细分领域（如绿色信贷、绿色债券、碳金融产品）最具增长潜力？",
+  "在量子计算与人工智能融合领域，哪些团队的算法设计和实验验证最有可能在工业界（如金融、医药、物流）实现实际应用落地？",
+  "如何在AI心理咨询系统中实现数据隐私保护与伦理治理，以增强用户信任并确保服务的公平性？",
+  "如何量化800V高压平台与碳化硅电驱技术在不同动力系统（如纯电、增程、插混）中的成本与性能临界点？",
+  "当前材料数据库在规模、一致性和可访问性方面存在哪些具体限制？如何构建一个全面的‘材料大数据库’以支持更广泛的机器学习模型训练？",
+  "艺术生如何通过跨学科合作、新兴行业参与及自主创业等方式突破传统就业领域，实现多元化职业发展？",
+  "请汇总具身智能代表性公司的商业化进展、融资情况以及核心团队背景，分析其市场竞争力和未来潜力。",
+  "金融科技如何具体赋能投行、PE和固收等传统金融业务，提升其效率和竞争力？",
+  "针对不同年龄段的用户，如何调整游戏难度和内容以提高用户留存率？"
+ ]
+}

data/train_main.jsonl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:41b3be540729541478b7cc02a53c1dfa08f828876f9ecc70b36af062d7c900d3
+size 270758265

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:927d74202e2b6c396394466311556569c5e5fb6df57274cff9d1b70ad0ad3169
+size 1455349624

training_state.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:64af6098711bd44f9d749091a3b2d49a2b4c9e92f8ad10ef85e9caa979e044ef
+size 4439