Upload EVALUATION.md with huggingface_hub
Browse files- EVALUATION.md +61 -0
EVALUATION.md
CHANGED
|
@@ -1,3 +1,64 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
|
| 2 |
## 七、域独特性实测（零样本外部对照，2026-10-31）
|
| 3 |
|
|
|
|
| 1 |
+
# 能力评估报告 — Qwen3.8-27B-LabOpen v1
|
| 2 |
+
|
| 3 |
+
2026-10-30 · 五侧对比实测，全部为单次评估运行，测试集均为训练未见heldout。
|
| 4 |
+
|
| 5 |
+
## 一、五侧完整矩阵
|
| 6 |
+
|
| 7 |
+
| 模型 | 意图理解 | 散文文风 | 公式显示 | 智能体首过 | 测试通过 | 排名 |
|
| 8 |
+
|---|---|---|---|---|---|---|
|
| 9 |
+
| **LabOpen v1**（本模型） | **8/10** | 0/5* | **5/5** | **5/10** | **56/78（72%）** | **#2** |
|
| 10 |
+
| Qwen3.8-27B（基座 FP8） | 8/10 | 2/5 | 5/5 | 3/10 | 25/78（32%） | #5 |
|
| 11 |
+
| GLM 5.3 | 8/10 | 2/5 | 5/5 | 6/10 | 57/78（73%） | #1 |
|
| 12 |
+
| Qwen3.8-max | 8/10 | 2/5 | 5/5 | 5/10 | 54/78（69%） | #3 |
|
| 13 |
+
| DeepSeek v4.1 flash | 6/10 | 3/5 | 5/5 | 5/10 | 48/78（62%） | #4 |
|
| 14 |
+
|
| 15 |
+
*文风口径说明见第四节。
|
| 16 |
+
|
| 17 |
+
## 二、净增验证（LabOpen v1 vs 基座）
|
| 18 |
+
|
| 19 |
+
| 维度 | 基座 | LabOpen v1 | 判定 |
|
| 20 |
+
|---|---|---|---|
|
| 21 |
+
| 意图理解 | 8/10 | 8/10 | 零回撤 |
|
| 22 |
+
| 智能体编程 | 25/78（32%） | **56/78（72%）** | **+40pp，最大单项净增** |
|
| 23 |
+
| 公式显示 | 5/5 | 5/5 | 零回撤 |
|
| 24 |
+
| 文风（散文） | 2/5 | 0/5* | 见第四节口径说明 |
|
| 25 |
+
|
| 26 |
+
**结论：净增无置换成立**——编程 +40pp、意图/公式零回撤；文风维度存在口径歧义，如实登记。
|
| 27 |
+
|
| 28 |
+
## 三、与外部模型定位
|
| 29 |
+
|
| 30 |
+
LabOpen v1 智能体编程 72% 与 GLM 5.3（73%）几乎并列第一，超过 Qwen3.8-max（69%）与 DeepSeek v4.1 flash（62%）。考虑到 GLM 5.3 为专用大模型而 LabOpen v1 是 27B + r4 LoRA（约 20 个训练窗），训练效率显著。已知差距：
|
| 31 |
+
|
| 32 |
+
- GLM 5.3 首过率 6/10 vs LabOpen v1 5/10——差距集中在首个 agent 用例，一轮修复可解
|
| 33 |
+
- DeepSeek 意图 6/10 为五侧最低——强化侧无此弱点
|
| 34 |
+
|
| 35 |
+
## 四、文风口径说明（诚实登记）
|
| 36 |
+
|
| 37 |
+
LabOpen v1 在本探针 greedy 单抽下 0/5 散文，但收获链评估 T0.3 k=8 采样下 15/20（75%）any-correct 散文。两组数据都真实：
|
| 38 |
+
|
| 39 |
+
- 收获链（T0.3 k=8）：分布肩部命中散文 → 15/20
|
| 40 |
+
- 本探针（greedy 单抽）：众数走结构化 → 0/5
|
| 41 |
+
- **判读**：文风矫正使散文进入分布但未成为众数——部署口径应推荐 T=0.3 采样（与域计算同理），greedy 下散文不稳定
|
| 42 |
+
- 基座 2/5 是因为其原生散文在众数中占两席
|
| 43 |
+
|
| 44 |
+
## 五、分域能力明细（带标记，T=0.3）
|
| 45 |
+
|
| 46 |
+
| 域 | 指标 | 结果 |
|
| 47 |
+
|---|---|---|
|
| 48 |
+
| 流体物理（CFM） | heldout 池 B，k=8 | 44% 采样命中 |
|
| 49 |
+
| 材料混合律 | heldout 40 项 | 32% 采样命中 |
|
| 50 |
+
| 经典遗传学 | heldout 20 项 | 79% 采样命中（基座自然 47%） |
|
| 51 |
+
| 运维动作查询 | 8 项双温 | 4–5/8 |
|
| 52 |
+
| 散文风格 | 20 项开放题 | 75% any-correct |
|
| 53 |
+
|
| 54 |
+
## 六、诚实边界
|
| 55 |
+
|
| 56 |
+
1. 单种子单检查点，方差带未完全表征
|
| 57 |
+
2. 文风 greedy 不稳定已登记，推荐 T=0.3
|
| 58 |
+
3. 六域能力需带标记寻址，无标记时回退基座行为
|
| 59 |
+
4. 27B 参数量，与 100B+ 模型的通用知识差距如实保留
|
| 60 |
+
5. 合并 FP8 权重相对适配器存在重量化噪声（见 `MERGE_REPORT.md`）；适配器为精确数值工件
|
| 61 |
+
|
| 62 |
|
| 63 |
## 七、域独特性实测（零样本外部对照，2026-10-31）
|
| 64 |
|