HoomanBio commited on
Commit
c24ec49
·
verified ·
1 Parent(s): c7b2e93

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +158 -0
README.md CHANGED
@@ -32,6 +32,14 @@ Qwen3.8-27B-LabOpen - v1 是基于 Qwen3.8-27B 开源基础模型开展领域微
32
 
33
  我们相信,科学研究中的人工智能不应仅仅依赖远程通用模型服务。科研机构也应有机会在自身的计算基础设施上部署、使用和持续优化专业模型,形成符合本机构研究任务、数据管理要求和专业知识体系的人工智能能力。
34
 
 
 
 
 
 
 
 
 
35
  ## What's in this repo
36
 
37
  | Path | Content |
@@ -156,3 +164,153 @@ We thank these teams for pushing open, measurable frontiers — this release aim
156
  license = {Apache-2.0}
157
  }
158
  ```
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
32
 
33
  我们相信,科学研究中的人工智能不应仅仅依赖远程通用模型服务。科研机构也应有机会在自身的计算基础设施上部署、使用和持续优化专业模型,形成符合本机构研究任务、数据管理要求和专业知识体系的人工智能能力。
34
 
35
+ **English** — Qwen3.8-27B-LabOpen v1 is a research model built on the open Qwen3.8-27B foundation through domain fine-tuning and optimization, focused on scientific research fields including programming, physics, life sciences, and materials science.
36
+
37
+ The project does not aim to replace general-purpose large language models. It seeks to preserve the comprehensive strengths of a general model while further strengthening its adaptation to scientific knowledge, domain-specific problems, and research workloads.
38
+
39
+ The model is intended for universities, research institutes, corporate R&D centers, and professional laboratories, and supports local or private deployment scaled to the institution's actual computing resources.
40
+
41
+ We believe that AI for scientific research should not depend solely on remote general-purpose model services. Research institutions deserve the opportunity to deploy, operate, and continuously refine specialized models on their own computing infrastructure — forming AI capability that fits their own research missions, data-governance requirements, and domain expertise.
42
+
43
  ## What's in this repo
44
 
45
  | Path | Content |
 
164
  license = {Apache-2.0}
165
  }
166
  ```
167
+
168
+ ---
169
+
170
+ # 中文版模型卡
171
+
172
+ # Qwen3.8-27B-LabOpen v1
173
+
174
+ 面向可验证科学计算强化的 Qwen3.8-27B——同时以**合并 FP8 全权重**(与基座即插即用)与原始 **LoRA 适配器**两种形态发布。
175
+
176
+ LabOpen v1 在 [Qwen/Qwen3.8-27B-FP8](https://huggingface.co/Qwen/Qwen3.8-27B-FP8) 之上新增六个可验证能力域(流体物理、材料混合律、经典遗传学、运维动作查询、散文文风、智能体编程),同时保留基座原生的代码生成、函数调用、意图理解与公式显示能力。最大实测增益:78 项确定性智能体编程测试上 **32% → 72%(+40pp)**。
177
+
178
+ - **基座模型**:Qwen3.8-27B(FP8 版本,Apache 2.0)
179
+ - **训练**:15 个强化窗口(G69–G84),LoRA r=4,组相对强化学习(RLOO 式,k=8 采样),机械可验证奖励
180
+ - **许可证**:Apache 2.0(与基座相同)
181
+ - **硬件要求**:任意支持 FP8 的 GPU(H100 / GB10 / B200 级别);FP8 下约 28 GB
182
+
183
+ ## 项目定位与理念
184
+
185
+ Qwen3.8-27B-LabOpen - v1 是基于 Qwen3.8-27B 开源基础模型开展领域微调与优化的研究模型,重点面向编程、物理学、生命科学、材料科学等科学研究领域。
186
+
187
+ 项目并不以取代通用大模型为目标,而是希望在保留通用模型综合能力的基础上,进一步增强其对科学专业知识、领域问题及研究任务的适应能力。
188
+
189
+ 模型主要面向高校、科研院所、企业研发中心及专业实验室等使用场景,支持根据实际计算资源条件进行本地化或私有化部署。
190
+
191
+ 我们相信,科学研究中的人工智能不应仅仅依赖远程通用模型服务。科研机构也应有机会在自身的计算基础设施上部署、使用和持续优化专业模型,形成符合本机构研究任务、数据管理要求和专业知识体系的人工智能能力。
192
+
193
+ ## 仓库内容
194
+
195
+ | 路径 | 内容 |
196
+ |---|---|
197
+ | `model-0000X-of-00007.safetensors` + index | **合并 FP8 全权重**(基座 + LoRA,分块 FP8 重量化)。张量布局与量化格式和基座完全相同——即插即用替换 |
198
+ | `adapter/` | **LoRA 适配器**(112 MB,PEFT 格式,992 张量)。训练时的精确数值工件,无重量化 |
199
+ | `MERGE_REPORT.md` | 合并溯源:摘要、分片 SHA-256、重量化误差统计、输出等价探针 |
200
+ | `EVALUATION.md` | 实测能力矩阵与五模型外部对比 |
201
+ | `USAGE.md` | 加载方式、域标记、温度建议、故障排查 |
202
+
203
+ 部署服务用**合并权重**(vLLM/SGLang);需要训练时精确数值或更小下载量时用**适配器**加载基座。
204
+
205
+ ## 能力矩阵(heldout 集实测)
206
+
207
+ | 域 | 指标 | 得分 | 对比基座 |
208
+ |---|---|---|---|
209
+ | **智能体编程** | 78 项确定性测试,三轮修复 | **72%**(56/78) | **+40pp**(基座:32%) |
210
+ | **意图理解** | 10 场景深层意图探针 | **8/10** | 保持 |
211
+ | **公式显示** | LaTeX 完整性,5 题 | **5/5** | 保持 |
212
+ | 流体物理(CFM) | heldout 池 B,T=0.3 k=8,带标记 | 44% 采样命中 | 新增(基座 ≈ 0) |
213
+ | 材料(混合律) | heldout 40 项,T=0.3 | 32% 采样命中 | 新增(基座 ≈ 0) |
214
+ | 经典遗传学 | heldout 20 项,带标记 | 79% 采样命中 | 新增(基座自然 47%) |
215
+ | 运维(动作查询) | 8 项,双温 | 4–5/8 | 新增 |
216
+ | 散文文风 | 20 项开放题,T=0.3 k=8 | 75% any-correct | 新增 |
217
+
218
+ ### 外部对比(同一测试组,2026-10)
219
+
220
+ | 模型 | 意图 | 智能体测试 | 排名 |
221
+ |---|---|---|---|
222
+ | GLM 5.3 | 8/10 | 57/78(73%) | #1 |
223
+ | **LabOpen v1(本模型)** | **8/10** | **56/78(72%)** | **#2** |
224
+ | Qwen3.8-max | 8/10 | 54/78(69%) | #3 |
225
+ | DeepSeek v4.1 flash | 6/10 | 48/78(62%) | #4 |
226
+ | Qwen3.8-27B(基座) | 8/10 | 25/78(32%) | #5 |
227
+
228
+ 27B + r4 LoRA 以约 20 个训练窗口进入前沿模型的智能体编程区间,这是本发布的头条结果;仍存在的差距(首过率、与 100B+ 模型的通用知识差距)见 `EVALUATION.md`。
229
+
230
+ ## 使用方法
231
+
232
+ ### 部署合并权重(推荐)
233
+
234
+ ```bash
235
+ vllm serve HoomanBio/Qwen3.8-27B-LabOpen-v1
236
+ # 或:docker run ... vllm/vllm-openai --model HoomanBio/Qwen3.8-27B-LabOpen-v1
237
+ ```
238
+
239
+ 合并检查点与基座采用完全相同的分块 FP8(e4m3,128×128 块尺度)格式——任何能加载 `Qwen/Qwen3.8-27B-FP8` 的运行时均可直接加载本仓库,无需改动。
240
+
241
+ ### 加载适配器(训练时精确数值)
242
+
243
+ ```python
244
+ from transformers import AutoModelForCausalLM, AutoTokenizer
245
+ from peft import PeftModel
246
+
247
+ base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.8-27B-FP8", device_map="auto")
248
+ model = PeftModel.from_pretrained(base, "HoomanBio/Qwen3.8-27B-LabOpen-v1", subfolder="adapter")
249
+ tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.8-27B-FP8")
250
+ ```
251
+
252
+ > **不要自行对 FP8 基座执行 `merge_and_unload()`。** 基座权重以分块 FP8 码 + 128×128 块尺度存储;朴素 PEFT 合并会把 BF16 增量直接加到 FP8 码上,静默损坏权重。请使用本仓库提供的合并检查点——它按「反量化 → 加增量 → 按块重量化」生成,并经与适配器的等价探针验证(见 `MERGE_REPORT.md`)。
253
+
254
+ ### 域标记
255
+
256
+ 强化域通过置于提示首行的单行标记寻址:
257
+
258
+ | 标记 | 域 |
259
+ |---|---|
260
+ | `[domain: cfm-chain]` | 流体物理链 |
261
+ | `[domain: mat-table]` | 材料混合律 |
262
+ | `[domain: bio-genetics]` | 经典遗传学 |
263
+ | `[domain: ops-action]` | 运维动作查询 |
264
+ | `[domain: general-prose]` | 开放式散文文风 |
265
+
266
+ 不加标记时模型保持基座行为(代码 / 函数调用无需标记)。
267
+
268
+ ### 温度
269
+
270
+ | 场景 | 温度 |
271
+ |---|---|
272
+ | 域计算(cfm/mat/bio/ops) | 0.3(部分域 greedy 退化) |
273
+ | 开放式散文 | 0.3(散文在分布中但未必是众数) |
274
+ | 代码生成 | 0.0–0.2 |
275
+ | 通用问答 | 0.3–0.7 |
276
+
277
+ ## 技术说明
278
+
279
+ - **架构**:Qwen3.8-27B 混合——64 个解码层:48 层线性注意力 + 16 层全注意力。
280
+ - **LoRA**:r=4,α=4(缩放 1.0),dropout 0,覆盖 13 类模块(q/k/v/o/gate/up/down_proj、in_proj_a/b/qkv/z、out_proj)共 496 个投影模块 = 992 张量,约 112 MB。
281
+ - **合并数学**:逐模块 `W = codes × scale`(分块)反量化至 FP32,加入 LoRA 增量 `(B·A)·scaling`,再按 128×128 块重量化(`scale = amax/448`)。平均重量化相对误差 0.33%——与基座自身 FP8 存储噪声同量级。等价探针(greedy,3 提示 × 48 token,适配器 vs 合并):见 `MERGE_REPORT.md`。
282
+ - **训练基材**:Qwen3.8-27B 的本地 FP8 副本(社区再分发)。未与 `Qwen/Qwen3.8-27B-FP8` 做逐位等价核验;适配器配置指向官方发布以便加载。
283
+
284
+ ## 训练方法(摘要)
285
+
286
+ 15 个强化窗口(G69–G84),运行于带精确权重/更新契约的冻结 FP8 服务栈:组相对优势 + k=8 采样 + 机械可验证奖励;零起点域的 oracle 注入;冠军检查点的验证蒸馏;冻结域标记;多步组合的子步优势;逐窗 heldout 门与保持保护。单种子单次运行——本卡中任何能力声明均不来自训练中见过的集合。
287
+
288
+ ## 诚实边界
289
+
290
+ - 单种子单次训练;方差带未完全表征
291
+ - 散文文风在 T=0.3 采样下稳定,greedy 解码下不稳定
292
+ - 域能力需要标记;无标记行为即基座行为
293
+ - 27B 参数量——通用知识不可与 100B+ 模型相比
294
+ - 合并 FP8 权重相对适配器路径存在重量化噪声(统计见 `MERGE_REPORT.md`);适配器是精确数值工件
295
+ - 所有得分均为 heldout 集上的单次评估
296
+
297
+ ## 致谢
298
+
299
+ - **阿里巴巴 Qwen 团队**——感谢 Qwen3.8-27B 这一开放基座模型,以及 Apache-2.0 开放发布使此类衍生研究成为可能。
300
+ - **智谱 AI(Z.ai)**——GLM 5.3 在我们的评估测试组中是最强外部基准,并在发布工程流程中担任工程助手。
301
+ - **月之暗面(Moonshot AI)**——Kimi K3 在长上下文与智能体推理上的公开工作,为我们的意图理解与多步工具使用评测设计提供了参考。
302
+
303
+ 我们感谢这些团队推动开放、可度量的前沿——本次发布希望以同样的精神回馈社区。
304
+
305
+ ## 引用
306
+
307
+ ```bibtex
308
+ @software{labopen_v1,
309
+ title = {Qwen3.8-27B-LabOpen v1: Six-Domain Reinforcement of Qwen3.8-27B},
310
+ author = {Hooman AI Lab},
311
+ year = {2026},
312
+ url = {https://huggingface.co/HoomanBio/Qwen3.8-27B-LabOpen-v1},
313
+ base = {Qwen/Qwen3.8-27B-FP8},
314
+ license = {Apache-2.0}
315
+ }
316
+ ```