| # 能力评估报告 — LabOpen v1 |
|
|
| 2026-10-30 · 五侧对比实测，全部为单次评估运行，测试集均为训练未见heldout。 |
|
|
| ## 一、五侧完整矩阵 |
|
|
| | 模型 | 意图理解 | 散文文风 | 公式显示 | 智能体首过 | 测试通过 | 排名 | |
| |---|---|---|---|---|---|---| |
| | **LabOpen v1**（本模型） | **8/10** | 0/5* | **5/5** | **5/10** | **56/78（72%）** | **#2** | |
| | Qwen3.8-27B（基座 FP8） | 8/10 | 2/5 | 5/5 | 3/10 | 25/78（32%） | #5 | |
| | GLM 5.3 | 8/10 | 2/5 | 5/5 | 6/10 | 57/78（73%） | #1 | |
| | Qwen3.8-max | 8/10 | 2/5 | 5/5 | 5/10 | 54/78（69%） | #3 | |
| | DeepSeek v4.1 flash | 6/10 | 3/5 | 5/5 | 5/10 | 48/78（62%） | #4 | |
|
|
| *文风口径说明见第四节。 |
| |
| ## 二、净增验证（LabOpen v1 vs 基座） |
| |
| | 维度 | 基座 | LabOpen v1 | 判定 | |
| |---|---|---|---| |
| | 意图理解 | 8/10 | 8/10 | 零回撤 | |
| | 智能体编程 | 25/78（32%） | **56/78（72%）** | **+40pp，最大单项净增** | |
| | 公式显示 | 5/5 | 5/5 | 零回撤 | |
| | 文风（散文） | 2/5 | 0/5* | 见第四节口径说明 | |
|
|
| **结论：净增无置换成立**——编程 +40pp、意图/公式零回撤；文风维度存在口径歧义，如实登记。 |
|
|
| ## 三、与外部模型定位 |
|
|
| LabOpen v1 智能体编程 72% 与 GLM 5.3（73%）几乎并列第一，超过 Qwen3.8-max（69%）与 DeepSeek v4.1 flash（62%）。考虑到 GLM 5.3 为专用大模型而 LabOpen v1 是 27B + r4 LoRA（约 20 个训练窗），训练效率显著。已知差距： |
|
|
| - GLM 5.3 首过率 6/10 vs LabOpen v1 5/10——差距集中在首个 agent 用例，一轮修复可解 |
| - DeepSeek 意图 6/10 为五侧最低——强化侧无此弱点 |
|
|
| ## 四、文风口径说明（诚实登记） |
|
|
| LabOpen v1 在本探针 greedy 单抽下 0/5 散文，但收获链评估 T0.3 k=8 采样下 15/20（75%）any-correct 散文。两组数据都真实： |
|
|
| - 收获链（T0.3 k=8）：分布肩部命中散文 → 15/20 |
| - 本探针（greedy 单抽）：众数走结构化 → 0/5 |
| - **判读**：文风矫正使散文进入分布但未成为众数——部署口径应推荐 T=0.3 采样（与域计算同理），greedy 下散文不稳定 |
| - 基座 2/5 是因为其原生散文在众数中占两席 |
|
|
| ## 五、分域能力明细（带标记，T=0.3） |
|
|
| | 域 | 指标 | 结果 | |
| |---|---|---| |
| | 流体物理（CFM） | heldout 池 B，k=8 | 44% 采样命中 | |
| | 材料混合律 | heldout 40 项 | 32% 采样命中 | |
| | 经典遗传学 | heldout 20 项 | 79% 采样命中（基座自然 47%） | |
| | 运维动作查询 | 8 项双温 | 4–5/8 | |
| | 散文风格 | 20 项开放题 | 75% any-correct | |
|
|
| ## 六、诚实边界 |
|
|
| 1. 单种子单检查点，方差带未完全表征 |
| 2. 文风 greedy 不稳定已登记，推荐 T=0.3 |
| 3. 六域能力需带标记寻址，无标记时回退基座行为 |
| 4. 27B 参数量，与 100B+ 模型的通用知识差距如实保留 |
| 5. 合并 FP8 权重相对适配器存在重量化噪声（见 `MERGE_REPORT.md`）；适配器为精确数值工件 |
|
|
|
|
| ## 七、域独特性实测（零样本外部对照，2026-10-31） |
|
|
| 方法：各域 heldout 原题、剥离标记纯题面、k=8 采样 T=0.3、item any-correct、栈原评分器、输出统一剥 fence。模型配置：GLM 5.3 完整深思；qwen-max 非思考（与智能体 battery 一致）；DeepSeek flash 关闭思考。原始数据与完整归因见发布工件 s61-domain-compare（DOMAIN_COMPARE_REPORT.md）。 |
|
|
| | 域 | GLM 5.3 | qwen-max | DS flash | LabOpen v1 | 基座 | |
| |---|---|---|---|---|---| |
| | 流体物理（36） | 36/36 | 36/36 | 35/36 | 25/36† | ≈0 | |
| | 材料·严格（40） | 1/40 | 0/40 | 0/40 | 17/40‡ | ≈0 | |
| | 材料·公平1%（40） | 20/40 | 15/40 | 22/40 | 18/40‡ | — | |
| | 经典遗传（20） | 9/20 | 12/20 | 7/20 | 20/20† | 47% | |
| | 运维·严格（8） | 0/8 | 0/8 | 0/8 | 4/8 | 0/8 | |
| | 运维·空动作等价（8） | 4/8 | 0/8 | 3/8 | 4/8 | — | |
|
|
| †带标记口径 ‡无标记口径 |
|
|
| 零分归因：运维严格 0 分含约定伪影（空动作 `observe` 为域私有词表、题面未告知；等价重判后 GLM 4/8、DS 3/8、qwen 0/8）与真实条件绑定失败（前沿以 rollback/restart 直觉替代声明规则、无触发题过度动作）；材料严格 0 分为容差伪影（0.01% vs 标准常量，公平口径持平）。诚实表述：运维与遗传为我方独特优势域（条件忠实执行+域词表），材料为语料表精确复现（严格）/物理推理持平（公平），流体物理为本地化能力建设而非独特性。 |
