File size: 4,496 Bytes
a248996 2a57098 010c644 57d2af0 010c644 57d2af0 010c644 57d2af0 010c644 57d2af0 010c644 a248996 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 | # 能力评估报告 — LabOpen v1
2026-10-30 · 五侧对比实测，全部为单次评估运行，测试集均为训练未见heldout。
## 一、五侧完整矩阵
| 模型 | 意图理解 | 散文文风 | 公式显示 | 智能体首过 | 测试通过 | 排名 |
|---|---|---|---|---|---|---|
| **LabOpen v1**（本模型） | **8/10** | 0/5* | **5/5** | **5/10** | **56/78（72%）** | **#2** |
| Qwen3.8-27B（基座 FP8） | 8/10 | 2/5 | 5/5 | 3/10 | 25/78（32%） | #5 |
| GLM 5.3 | 8/10 | 2/5 | 5/5 | 6/10 | 57/78（73%） | #1 |
| Qwen3.8-max | 8/10 | 2/5 | 5/5 | 5/10 | 54/78（69%） | #3 |
| DeepSeek v4.1 flash | 6/10 | 3/5 | 5/5 | 5/10 | 48/78（62%） | #4 |
*文风口径说明见第四节。
## 二、净增验证（LabOpen v1 vs 基座）
| 维度 | 基座 | LabOpen v1 | 判定 |
|---|---|---|---|
| 意图理解 | 8/10 | 8/10 | 零回撤 |
| 智能体编程 | 25/78（32%） | **56/78（72%）** | **+40pp，最大单项净增** |
| 公式显示 | 5/5 | 5/5 | 零回撤 |
| 文风（散文） | 2/5 | 0/5* | 见第四节口径说明 |
**结论：净增无置换成立**——编程 +40pp、意图/公式零回撤；文风维度存在口径歧义，如实登记。
## 三、与外部模型定位
LabOpen v1 智能体编程 72% 与 GLM 5.3（73%）几乎并列第一，超过 Qwen3.8-max（69%）与 DeepSeek v4.1 flash（62%）。考虑到 GLM 5.3 为专用大模型而 LabOpen v1 是 27B + r4 LoRA（约 20 个训练窗），训练效率显著。已知差距：
- GLM 5.3 首过率 6/10 vs LabOpen v1 5/10——差距集中在首个 agent 用例，一轮修复可解
- DeepSeek 意图 6/10 为五侧最低——强化侧无此弱点
## 四、文风口径说明（诚实登记）
LabOpen v1 在本探针 greedy 单抽下 0/5 散文，但收获链评估 T0.3 k=8 采样下 15/20（75%）any-correct 散文。两组数据都真实：
- 收获链（T0.3 k=8）：分布肩部命中散文 → 15/20
- 本探针（greedy 单抽）：众数走结构化 → 0/5
- **判读**：文风矫正使散文进入分布但未成为众数——部署口径应推荐 T=0.3 采样（与域计算同理），greedy 下散文不稳定
- 基座 2/5 是因为其原生散文在众数中占两席
## 五、分域能力明细（带标记，T=0.3）
| 域 | 指标 | 结果 |
|---|---|---|
| 流体物理（CFM） | heldout 池 B，k=8 | 44% 采样命中 |
| 材料混合律 | heldout 40 项 | 32% 采样命中 |
| 经典遗传学 | heldout 20 项 | 79% 采样命中（基座自然 47%） |
| 运维动作查询 | 8 项双温 | 4–5/8 |
| 散文风格 | 20 项开放题 | 75% any-correct |
## 六、诚实边界
1. 单种子单检查点，方差带未完全表征
2. 文风 greedy 不稳定已登记，推荐 T=0.3
3. 六域能力需带标记寻址，无标记时回退基座行为
4. 27B 参数量，与 100B+ 模型的通用知识差距如实保留
5. 合并 FP8 权重相对适配器存在重量化噪声（见 `MERGE_REPORT.md`）；适配器为精确数值工件
## 七、域独特性实测（零样本外部对照，2026-10-31）
方法：各域 heldout 原题、剥离标记纯题面、k=8 采样 T=0.3、item any-correct、栈原评分器、输出统一剥 fence。模型配置：GLM 5.3 完整深思；qwen-max 非思考（与智能体 battery 一致）；DeepSeek flash 关闭思考。原始数据与完整归因见发布工件 s61-domain-compare（DOMAIN_COMPARE_REPORT.md）。
| 域 | GLM 5.3 | qwen-max | DS flash | LabOpen v1 | 基座 |
|---|---|---|---|---|---|
| 流体物理（36） | 36/36 | 36/36 | 35/36 | 25/36† | ≈0 |
| 材料·严格（40） | 1/40 | 0/40 | 0/40 | 17/40‡ | ≈0 |
| 材料·公平1%（40） | 20/40 | 15/40 | 22/40 | 18/40‡ | — |
| 经典遗传（20） | 9/20 | 12/20 | 7/20 | 20/20† | 47% |
| 运维·严格（8） | 0/8 | 0/8 | 0/8 | 4/8 | 0/8 |
| 运维·空动作等价（8） | 4/8 | 0/8 | 3/8 | 4/8 | — |
†带标记口径 ‡无标记口径
零分归因：运维严格 0 分含约定伪影（空动作 `observe` 为域私有词表、题面未告知；等价重判后 GLM 4/8、DS 3/8、qwen 0/8）与真实条件绑定失败（前沿以 rollback/restart 直觉替代声明规则、无触发题过度动作）；材料严格 0 分为容差伪影（0.01% vs 标准常量，公平口径持平）。诚实表述：运维与遗传为我方独特优势域（条件忠实执行+域词表），材料为语料表精确复现（严格）/物理推理持平（公平），流体物理为本地化能力建设而非独特性。 |