Text Generation
Transformers
Safetensors
English
Chinese
qwen3_5
image-text-to-text
qwen
lora
reinforcement-learning
fp8
agentic-coding
scientific-computing
physics
materials-science
genetics
conversational
Instructions to use HoomanBio2021/LabOpen-v1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use HoomanBio2021/LabOpen-v1 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="HoomanBio2021/LabOpen-v1") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] pipe(text=messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("HoomanBio2021/LabOpen-v1") model = AutoModelForMultimodalLM.from_pretrained("HoomanBio2021/LabOpen-v1", device_map="auto") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] inputs = processor.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use HoomanBio2021/LabOpen-v1 with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "HoomanBio2021/LabOpen-v1" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "HoomanBio2021/LabOpen-v1", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/HoomanBio2021/LabOpen-v1
- SGLang
How to use HoomanBio2021/LabOpen-v1 with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "HoomanBio2021/LabOpen-v1" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "HoomanBio2021/LabOpen-v1", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "HoomanBio2021/LabOpen-v1" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "HoomanBio2021/LabOpen-v1", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use HoomanBio2021/LabOpen-v1 with Docker Model Runner:
docker model run hf.co/HoomanBio2021/LabOpen-v1
Upload README.md with huggingface_hub
Browse files
README.md
CHANGED
|
@@ -32,6 +32,14 @@ Qwen3.8-27B-LabOpen - v1 是基于 Qwen3.8-27B 开源基础模型开展领域微
|
|
| 32 |
|
| 33 |
我们相信,科学研究中的人工智能不应仅仅依赖远程通用模型服务。科研机构也应有机会在自身的计算基础设施上部署、使用和持续优化专业模型,形成符合本机构研究任务、数据管理要求和专业知识体系的人工智能能力。
|
| 34 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 35 |
## What's in this repo
|
| 36 |
|
| 37 |
| Path | Content |
|
|
@@ -156,3 +164,153 @@ We thank these teams for pushing open, measurable frontiers — this release aim
|
|
| 156 |
license = {Apache-2.0}
|
| 157 |
}
|
| 158 |
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 32 |
|
| 33 |
我们相信,科学研究中的人工智能不应仅仅依赖远程通用模型服务。科研机构也应有机会在自身的计算基础设施上部署、使用和持续优化专业模型,形成符合本机构研究任务、数据管理要求和专业知识体系的人工智能能力。
|
| 34 |
|
| 35 |
+
**English** — Qwen3.8-27B-LabOpen v1 is a research model built on the open Qwen3.8-27B foundation through domain fine-tuning and optimization, focused on scientific research fields including programming, physics, life sciences, and materials science.
|
| 36 |
+
|
| 37 |
+
The project does not aim to replace general-purpose large language models. It seeks to preserve the comprehensive strengths of a general model while further strengthening its adaptation to scientific knowledge, domain-specific problems, and research workloads.
|
| 38 |
+
|
| 39 |
+
The model is intended for universities, research institutes, corporate R&D centers, and professional laboratories, and supports local or private deployment scaled to the institution's actual computing resources.
|
| 40 |
+
|
| 41 |
+
We believe that AI for scientific research should not depend solely on remote general-purpose model services. Research institutions deserve the opportunity to deploy, operate, and continuously refine specialized models on their own computing infrastructure — forming AI capability that fits their own research missions, data-governance requirements, and domain expertise.
|
| 42 |
+
|
| 43 |
## What's in this repo
|
| 44 |
|
| 45 |
| Path | Content |
|
|
|
|
| 164 |
license = {Apache-2.0}
|
| 165 |
}
|
| 166 |
```
|
| 167 |
+
|
| 168 |
+
---
|
| 169 |
+
|
| 170 |
+
# 中文版模型卡
|
| 171 |
+
|
| 172 |
+
# Qwen3.8-27B-LabOpen v1
|
| 173 |
+
|
| 174 |
+
面向可验证科学计算强化的 Qwen3.8-27B——同时以**合并 FP8 全权重**(与基座即插即用)与原始 **LoRA 适配器**两种形态发布。
|
| 175 |
+
|
| 176 |
+
LabOpen v1 在 [Qwen/Qwen3.8-27B-FP8](https://huggingface.co/Qwen/Qwen3.8-27B-FP8) 之上新增六个可验证能力域(流体物理、材料混合律、经典遗传学、运维动作查询、散文文风、智能体编程),同时保留基座原生的代码生成、函数调用、意图理解与公式显示能力。最大实测增益:78 项确定性智能体编程测试上 **32% → 72%(+40pp)**。
|
| 177 |
+
|
| 178 |
+
- **基座模型**:Qwen3.8-27B(FP8 版本,Apache 2.0)
|
| 179 |
+
- **训练**:15 个强化窗口(G69–G84),LoRA r=4,组相对强化学习(RLOO 式,k=8 采样),机械可验证奖励
|
| 180 |
+
- **许可证**:Apache 2.0(与基座相同)
|
| 181 |
+
- **硬件要求**:任意支持 FP8 的 GPU(H100 / GB10 / B200 级别);FP8 下约 28 GB
|
| 182 |
+
|
| 183 |
+
## 项目定位与理念
|
| 184 |
+
|
| 185 |
+
Qwen3.8-27B-LabOpen - v1 是基于 Qwen3.8-27B 开源基础模型开展领域微调与优化的研究模型,重点面向编程、物理学、生命科学、材料科学等科学研究领域。
|
| 186 |
+
|
| 187 |
+
项目并不以取代通用大模型为目标,而是希望在保留通用模型综合能力的基础上,进一步增强其对科学专业知识、领域问题及研究任务的适应能力。
|
| 188 |
+
|
| 189 |
+
模型主要面向高校、科研院所、企业研发中心及专业实验室等使用场景,支持根据实际计算资源条件进行本地化或私有化部署。
|
| 190 |
+
|
| 191 |
+
我们相信,科学研究中的人工智能不应仅仅依赖远程通用模型服务。科研机构也应有机会在自身的计算基础设施上部署、使用和持续优化专业模型,形成符合本机构研究任务、数据管理要求和专业知识体系的人工智能能力。
|
| 192 |
+
|
| 193 |
+
## 仓库内容
|
| 194 |
+
|
| 195 |
+
| 路径 | 内容 |
|
| 196 |
+
|---|---|
|
| 197 |
+
| `model-0000X-of-00007.safetensors` + index | **合并 FP8 全权重**(基座 + LoRA,分块 FP8 重量化)。张量布局与量化格式和基座完全相同——即插即用替换 |
|
| 198 |
+
| `adapter/` | **LoRA 适配器**(112 MB,PEFT 格式,992 张量)。训练时的精确数值工件,无重量化 |
|
| 199 |
+
| `MERGE_REPORT.md` | 合并溯源:摘要、分片 SHA-256、重量化误差统计、输出等价探针 |
|
| 200 |
+
| `EVALUATION.md` | 实测能力矩阵与五模型外部对比 |
|
| 201 |
+
| `USAGE.md` | 加载方式、域标记、温度建议、故障排查 |
|
| 202 |
+
|
| 203 |
+
部署服务用**合并权重**(vLLM/SGLang);需要训练时精确数值或更小下载量时用**适配器**加载基座。
|
| 204 |
+
|
| 205 |
+
## 能力矩阵(heldout 集实测)
|
| 206 |
+
|
| 207 |
+
| 域 | 指标 | 得分 | 对比基座 |
|
| 208 |
+
|---|---|---|---|
|
| 209 |
+
| **智能体编程** | 78 项确定性测试,三轮修复 | **72%**(56/78) | **+40pp**(基座:32%) |
|
| 210 |
+
| **意图理解** | 10 场景深层意图探针 | **8/10** | 保持 |
|
| 211 |
+
| **公式显示** | LaTeX 完整性,5 题 | **5/5** | 保持 |
|
| 212 |
+
| 流体物理(CFM) | heldout 池 B,T=0.3 k=8,带标记 | 44% 采样命中 | 新增(基座 ≈ 0) |
|
| 213 |
+
| 材料(混合律) | heldout 40 项,T=0.3 | 32% 采样命中 | 新增(基座 ≈ 0) |
|
| 214 |
+
| 经典遗传学 | heldout 20 项,带标记 | 79% 采样命中 | 新增(基座自然 47%) |
|
| 215 |
+
| 运维(动作查询) | 8 项,双温 | 4–5/8 | 新增 |
|
| 216 |
+
| 散文文风 | 20 项开放题,T=0.3 k=8 | 75% any-correct | 新增 |
|
| 217 |
+
|
| 218 |
+
### 外部对比(同一测试组,2026-10)
|
| 219 |
+
|
| 220 |
+
| 模型 | 意图 | 智能体测试 | 排名 |
|
| 221 |
+
|---|---|---|---|
|
| 222 |
+
| GLM 5.3 | 8/10 | 57/78(73%) | #1 |
|
| 223 |
+
| **LabOpen v1(本模型)** | **8/10** | **56/78(72%)** | **#2** |
|
| 224 |
+
| Qwen3.8-max | 8/10 | 54/78(69%) | #3 |
|
| 225 |
+
| DeepSeek v4.1 flash | 6/10 | 48/78(62%) | #4 |
|
| 226 |
+
| Qwen3.8-27B(基座) | 8/10 | 25/78(32%) | #5 |
|
| 227 |
+
|
| 228 |
+
27B + r4 LoRA 以约 20 个训练窗口进入前沿模型的智能体编程区间,这是本发布的头条结果;仍存在的差距(首过率、与 100B+ 模型的通用知识差距)见 `EVALUATION.md`。
|
| 229 |
+
|
| 230 |
+
## 使用方法
|
| 231 |
+
|
| 232 |
+
### 部署合并权重(推荐)
|
| 233 |
+
|
| 234 |
+
```bash
|
| 235 |
+
vllm serve HoomanBio/Qwen3.8-27B-LabOpen-v1
|
| 236 |
+
# 或:docker run ... vllm/vllm-openai --model HoomanBio/Qwen3.8-27B-LabOpen-v1
|
| 237 |
+
```
|
| 238 |
+
|
| 239 |
+
合并检查点与基座采用完全相同的分块 FP8(e4m3,128×128 块尺度)格式——任何能加载 `Qwen/Qwen3.8-27B-FP8` 的运行时均可直接加载本仓库,无需改动。
|
| 240 |
+
|
| 241 |
+
### 加载适配器(训练时精确数值)
|
| 242 |
+
|
| 243 |
+
```python
|
| 244 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 245 |
+
from peft import PeftModel
|
| 246 |
+
|
| 247 |
+
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.8-27B-FP8", device_map="auto")
|
| 248 |
+
model = PeftModel.from_pretrained(base, "HoomanBio/Qwen3.8-27B-LabOpen-v1", subfolder="adapter")
|
| 249 |
+
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.8-27B-FP8")
|
| 250 |
+
```
|
| 251 |
+
|
| 252 |
+
> **不要自行对 FP8 基座执行 `merge_and_unload()`。** 基座权重以分块 FP8 码 + 128×128 块尺度存储;朴素 PEFT 合并会把 BF16 增量直接加到 FP8 码上,静默损坏权重。请使用本仓库提供的合并检查点——它按「反量化 → 加增量 → 按块重量化」生成,并经与适配器的等价探针验证(见 `MERGE_REPORT.md`)。
|
| 253 |
+
|
| 254 |
+
### 域标记
|
| 255 |
+
|
| 256 |
+
强化域通过置于提示首行的单行标记寻址:
|
| 257 |
+
|
| 258 |
+
| 标记 | 域 |
|
| 259 |
+
|---|---|
|
| 260 |
+
| `[domain: cfm-chain]` | 流体物理链 |
|
| 261 |
+
| `[domain: mat-table]` | 材料混合律 |
|
| 262 |
+
| `[domain: bio-genetics]` | 经典遗传学 |
|
| 263 |
+
| `[domain: ops-action]` | 运维动作查询 |
|
| 264 |
+
| `[domain: general-prose]` | 开放式散文文风 |
|
| 265 |
+
|
| 266 |
+
不加标记时模型保持基座行为(代码 / 函数调用无需标记)。
|
| 267 |
+
|
| 268 |
+
### 温度
|
| 269 |
+
|
| 270 |
+
| 场景 | 温度 |
|
| 271 |
+
|---|---|
|
| 272 |
+
| 域计算(cfm/mat/bio/ops) | 0.3(部分域 greedy 退化) |
|
| 273 |
+
| 开放式散文 | 0.3(散文在分布中但未必是众数) |
|
| 274 |
+
| 代码生成 | 0.0–0.2 |
|
| 275 |
+
| 通用问答 | 0.3–0.7 |
|
| 276 |
+
|
| 277 |
+
## 技术说明
|
| 278 |
+
|
| 279 |
+
- **架构**:Qwen3.8-27B 混合——64 个解码层:48 层线性注意力 + 16 层全注意力。
|
| 280 |
+
- **LoRA**:r=4,α=4(缩放 1.0),dropout 0,覆盖 13 类模块(q/k/v/o/gate/up/down_proj、in_proj_a/b/qkv/z、out_proj)共 496 个投影模块 = 992 张量,约 112 MB。
|
| 281 |
+
- **合并数学**:逐模块 `W = codes × scale`(分块)反量化至 FP32,加入 LoRA 增量 `(B·A)·scaling`,再按 128×128 块重量化(`scale = amax/448`)。平均重量化相对误差 0.33%——与基座自身 FP8 存储噪声同量级。等价探针(greedy,3 提示 × 48 token,适配器 vs 合并):见 `MERGE_REPORT.md`。
|
| 282 |
+
- **训练基材**:Qwen3.8-27B 的本地 FP8 副本(社区再分发)。未与 `Qwen/Qwen3.8-27B-FP8` 做逐位等价核验;适配器配置指向官方发布以便加载。
|
| 283 |
+
|
| 284 |
+
## 训练方法(摘要)
|
| 285 |
+
|
| 286 |
+
15 个强化窗口(G69–G84),运行于带精确权重/更新契约的冻结 FP8 服务栈:组相对优势 + k=8 采样 + 机械可验证奖励;零起点域的 oracle 注入;冠军检查点的验证蒸馏;冻结域标记;多步组合的子步优势;逐窗 heldout 门与保持保护。单种子单次运行——本卡中任何能力声明均不来自训练中见过的集合。
|
| 287 |
+
|
| 288 |
+
## 诚实边界
|
| 289 |
+
|
| 290 |
+
- 单种子单次训练;方差带未完全表征
|
| 291 |
+
- 散文文风在 T=0.3 采样下稳定,greedy 解码下不稳定
|
| 292 |
+
- 域能力需要标记;无标记行为即基座行为
|
| 293 |
+
- 27B 参数量——通用知识不可与 100B+ 模型相比
|
| 294 |
+
- 合并 FP8 权重相对适配器路径存在重量化噪声(统计见 `MERGE_REPORT.md`);适配器是精确数值工件
|
| 295 |
+
- 所有得分均为 heldout 集上的单次评估
|
| 296 |
+
|
| 297 |
+
## 致谢
|
| 298 |
+
|
| 299 |
+
- **阿里巴巴 Qwen 团队**——感谢 Qwen3.8-27B 这一开放基座模型,以及 Apache-2.0 开放发布使此类衍生研究成为可能。
|
| 300 |
+
- **智谱 AI(Z.ai)**——GLM 5.3 在我们的评估测试组中是最强外部基准,并在发布工程流程中担任工程助手。
|
| 301 |
+
- **月之暗面(Moonshot AI)**——Kimi K3 在长上下文与智能体推理上的公开工作,为我们的意图理解与多步工具使用评测设计提供了参考。
|
| 302 |
+
|
| 303 |
+
我们感谢这些团队推动开放、可度量的前沿——本次发布希望以同样的精神回馈社区。
|
| 304 |
+
|
| 305 |
+
## 引用
|
| 306 |
+
|
| 307 |
+
```bibtex
|
| 308 |
+
@software{labopen_v1,
|
| 309 |
+
title = {Qwen3.8-27B-LabOpen v1: Six-Domain Reinforcement of Qwen3.8-27B},
|
| 310 |
+
author = {Hooman AI Lab},
|
| 311 |
+
year = {2026},
|
| 312 |
+
url = {https://huggingface.co/HoomanBio/Qwen3.8-27B-LabOpen-v1},
|
| 313 |
+
base = {Qwen/Qwen3.8-27B-FP8},
|
| 314 |
+
license = {Apache-2.0}
|
| 315 |
+
}
|
| 316 |
+
```
|