HoomanBio commited on
Commit
2b021bb
·
verified ·
1 Parent(s): c24ec49

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +7 -7
README.md CHANGED
@@ -24,7 +24,7 @@ LabOpen v1 adds six verifiable capability domains (fluid physics, materials mixt
24
 
25
  ## 项目定位与理念
26
 
27
- Qwen3.8-27B-LabOpen - v1 是基于 Qwen3.8-27B 开源基础模型开展领域微调与优化的研究模型,重点面向编程、物理学、生命科学、材料科学等科学研究领域。
28
 
29
  项目并不以取代通用大模型为目标,而是希望在保留通用模型综合能力的基础上,进一步增强其对科学专业知识、领域问题及研究任务的适应能力。
30
 
@@ -75,7 +75,7 @@ Use the **merged weights** for serving (vLLM/SGLang). Use the **adapter** on top
75
  | DeepSeek v4.1 flash | 6/10 | 48/78 (62%) | #4 |
76
  | Qwen3.8-27B (base) | 8/10 | 25/78 (32%) | #5 |
77
 
78
- A 27B + r4 LoRA reaching frontier-model agentic-coding territory at ~20 training windows is the headline result; see `EVALUATION.md` for gaps that remain (first-pass rate, general knowledge vs 100B+ models).
79
 
80
  ## Usage
81
 
@@ -127,7 +127,7 @@ Without a tag the model keeps base behavior (code / function calling need no tag
127
  ## Technical notes
128
 
129
  - **Architecture**: Qwen3.8-27B hybrid — 64 decoder layers: 48 linear-attention + 16 full-attention layers.
130
- - **LoRA**: r=4, α=4 (scaling 1.0), dropout 0, on 496 projection modules across 13 module types (q/k/v/o/gate/up/down_proj, in_proj_a/b/qkv/z, out_proj) = 992 tensors, ~112 MB.
131
  - **Merge math**: per module `W = codes × scale(blockwise)` dequantized to FP32, LoRA delta `(B·A)·scaling` added, re-quantized per 128×128 block (`scale = amax/448`). Mean re-quantization relative error 0.33% — the same order as the base's own FP8 storage noise. Equivalence probes (greedy, 3 prompts × 48 tokens, adapter vs merged): see `MERGE_REPORT.md`.
132
  - **Training substrate**: a local FP8 copy of Qwen3.8-27B (community redistribution). Bit-equivalence with `Qwen/Qwen3.8-27B-FP8` was not verified; the adapter config points to the official release for loading.
133
 
@@ -182,7 +182,7 @@ LabOpen v1 在 [Qwen/Qwen3.8-27B-FP8](https://huggingface.co/Qwen/Qwen3.8-27B-FP
182
 
183
  ## 项目定位与理念
184
 
185
- Qwen3.8-27B-LabOpen - v1 是基于 Qwen3.8-27B 开源基础模型开展领域微调与优化的研究模型,重点面向编程、物理学、生命科学、材料科学等科学研究领域。
186
 
187
  项目并不以取代通用大模型为目标,而是希望在保留通用模型综合能力的基础上,进一步增强其对科学专业知识、领域问题及研究任务的适应能力。
188
 
@@ -225,7 +225,7 @@ Qwen3.8-27B-LabOpen - v1 是基于 Qwen3.8-27B 开源基础模型开展领域微
225
  | DeepSeek v4.1 flash | 6/10 | 48/78(62%) | #4 |
226
  | Qwen3.8-27B(基座) | 8/10 | 25/78(32%) | #5 |
227
 
228
- 27B + r4 LoRA 以约 20 个训练窗口进入前沿模型的智能体编程区间,这是本发布的头条结果;仍存在的差距(首过率、与 100B+ 模型的通用知识差距)见 `EVALUATION.md`。
229
 
230
  ## 使用方法
231
 
@@ -277,13 +277,13 @@ tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.8-27B-FP8")
277
  ## 技术说明
278
 
279
  - **架构**:Qwen3.8-27B 混合——64 个解码层:48 层线性注意力 + 16 层全注意力。
280
- - **LoRA**:r=4,α=4(缩放 1.0),dropout 0,覆盖 13 类模块(q/k/v/o/gate/up/down_proj、in_proj_a/b/qkv/z、out_proj)共 496 个投影模块 = 992 张量,约 112 MB。
281
  - **合并数学**:逐模块 `W = codes × scale`(分块)反量化至 FP32,加入 LoRA 增量 `(B·A)·scaling`,再按 128×128 块重量化(`scale = amax/448`)。平均重量化相对误差 0.33%——与基座自身 FP8 存储噪声同量级。等价探针(greedy,3 提示 × 48 token,适配器 vs 合并):见 `MERGE_REPORT.md`。
282
  - **训练基材**:Qwen3.8-27B 的本地 FP8 副本(社区再分发)。未与 `Qwen/Qwen3.8-27B-FP8` 做逐位等价核验;适配器配置指向官方发布以便加载。
283
 
284
  ## 训练方法(摘要)
285
 
286
- 15 个强化窗口(G69–G84),运行于带��确权重/更新契约的冻结 FP8 服务栈:组相对优势 + k=8 采样 + 机械可验证奖励;零起点域的 oracle 注入;冠军检查点的验证蒸馏;冻结域标记;多步组合的子步优势;逐窗 heldout 门与保持保护。单种子单次运行——本卡中任何能力声明均不来自训练中见过的集合。
287
 
288
  ## 诚实边界
289
 
 
24
 
25
  ## 项目定位与理念
26
 
27
+ Qwen3.8-27B-LabOpen v1 是基于 Qwen3.8-27B 开源基础模型开展领域微调与优化的研究模型,重点面向编程、物理学、生命科学、材料科学等科学研究领域。
28
 
29
  项目并不以取代通用大模型为目标,而是希望在保留通用模型综合能力的基础上,进一步增强其对科学专业知识、领域问题及研究任务的适应能力。
30
 
 
75
  | DeepSeek v4.1 flash | 6/10 | 48/78 (62%) | #4 |
76
  | Qwen3.8-27B (base) | 8/10 | 25/78 (32%) | #5 |
77
 
78
+ A 27B + r4 LoRA reaching frontier-model agentic-coding territory in 15 training windows is the headline result; see `EVALUATION.md` for gaps that remain (first-pass rate, general knowledge vs 100B+ models).
79
 
80
  ## Usage
81
 
 
127
  ## Technical notes
128
 
129
  - **Architecture**: Qwen3.8-27B hybrid — 64 decoder layers: 48 linear-attention + 16 full-attention layers.
130
+ - **LoRA**: r=4, α=4 (scaling 1.0), dropout 0, on 496 projection modules across 12 module types (q/k/v/o/gate/up/down_proj, in_proj_a/b/qkv/z, out_proj) = 992 tensors, ~112 MB.
131
  - **Merge math**: per module `W = codes × scale(blockwise)` dequantized to FP32, LoRA delta `(B·A)·scaling` added, re-quantized per 128×128 block (`scale = amax/448`). Mean re-quantization relative error 0.33% — the same order as the base's own FP8 storage noise. Equivalence probes (greedy, 3 prompts × 48 tokens, adapter vs merged): see `MERGE_REPORT.md`.
132
  - **Training substrate**: a local FP8 copy of Qwen3.8-27B (community redistribution). Bit-equivalence with `Qwen/Qwen3.8-27B-FP8` was not verified; the adapter config points to the official release for loading.
133
 
 
182
 
183
  ## 项目定位与理念
184
 
185
+ Qwen3.8-27B-LabOpen v1 是基于 Qwen3.8-27B 开源基础模型开展领域微调与优化的研究模型,重点面向编程、物理学、生命科学、材料科学等科学研究领域。
186
 
187
  项目并不以取代通用大模型为目标,而是希望在保留通用模型综合能力的基础上,进一步增强其对科学专业知识、领域问题及研究任务的适应能力。
188
 
 
225
  | DeepSeek v4.1 flash | 6/10 | 48/78(62%) | #4 |
226
  | Qwen3.8-27B(基座) | 8/10 | 25/78(32%) | #5 |
227
 
228
+ 27B + r4 LoRA 以 15 个训练窗口进入前沿模型的智能体编程区间,这是本发布的头条结果;仍存在的差距(首过率、与 100B+ 模型的通用知识差距)见 `EVALUATION.md`。
229
 
230
  ## 使用方法
231
 
 
277
  ## 技术说明
278
 
279
  - **架构**:Qwen3.8-27B 混合——64 个解码层:48 层线性注意力 + 16 层全注意力。
280
+ - **LoRA**:r=4,α=4(缩放 1.0),dropout 0,覆盖 12 类模块(q/k/v/o/gate/up/down_proj、in_proj_a/b/qkv/z、out_proj)共 496 个投影模块 = 992 张量,约 112 MB。
281
  - **合并数学**:逐模块 `W = codes × scale`(分块)反量化至 FP32,加入 LoRA 增量 `(B·A)·scaling`,再按 128×128 块重量化(`scale = amax/448`)。平均重量化相对误差 0.33%——与基座自身 FP8 存储噪声同量级。等价探针(greedy,3 提示 × 48 token,适配器 vs 合并):见 `MERGE_REPORT.md`。
282
  - **训练基材**:Qwen3.8-27B 的本地 FP8 副本(社区再分发)。未与 `Qwen/Qwen3.8-27B-FP8` 做逐位等价核验;适配器配置指向官方发布以便加载。
283
 
284
  ## 训练方法(摘要)
285
 
286
+ 15 个强化窗口(G69–G84),运行于带精确权重/更新契约的冻结 FP8 服务栈:组相对优势 + k=8 采样 + 机械可验证奖励;零起点域的 oracle 注入;冠军检查点的验证蒸馏;冻结域标记;多步组合的子步优势;逐窗 heldout 门与保持保护。单种子单次运行——本卡中的全部能力声明均来自训练未见过的评测集。
287
 
288
  ## 诚实边界
289