Upload EVALUATION.md with huggingface_hub
Browse files- EVALUATION.md +12 -55
EVALUATION.md
CHANGED
|
@@ -1,60 +1,17 @@
|
|
| 1 |
-
# 能力评估报告 — Qwen3.8-27B-LabOpen v1
|
| 2 |
|
| 3 |
-
|
| 4 |
|
| 5 |
-
|
| 6 |
|
| 7 |
-
|
|
| 8 |
-
|---|---|---|---|---|---|
|
| 9 |
-
|
|
| 10 |
-
|
|
| 11 |
-
|
|
| 12 |
-
|
|
| 13 |
-
|
|
|
|
|
| 14 |
|
| 15 |
-
|
| 16 |
|
| 17 |
-
|
| 18 |
-
|
| 19 |
-
| 维度 | 基座 | LabOpen v1 | 判定 |
|
| 20 |
-
|---|---|---|---|
|
| 21 |
-
| 意图理解 | 8/10 | 8/10 | 零回撤 |
|
| 22 |
-
| 智能体编程 | 25/78（32%） | **56/78（72%）** | **+40pp，最大单项净增** |
|
| 23 |
-
| 公式显示 | 5/5 | 5/5 | 零回撤 |
|
| 24 |
-
| 文风（散文） | 2/5 | 0/5* | 见第四节口径说明 |
|
| 25 |
-
|
| 26 |
-
**结论：净增无置换成立**——编程 +40pp、意图/公式零回撤；文风维度存在口径歧义，如实登记。
|
| 27 |
-
|
| 28 |
-
## 三、与外部模型定位
|
| 29 |
-
|
| 30 |
-
LabOpen v1 智能体编程 72% 与 GLM 5.3（73%）几乎并列第一，超过 Qwen3.8-max（69%）与 DeepSeek v4.1 flash（62%）。考虑到 GLM 5.3 为专用大模型而 LabOpen v1 是 27B + r4 LoRA（约 20 个训练窗），训练效率显著。已知差距：
|
| 31 |
-
|
| 32 |
-
- GLM 5.3 首过率 6/10 vs LabOpen v1 5/10——差距集中在首个 agent 用例，一轮修复可解
|
| 33 |
-
- DeepSeek 意图 6/10 为五侧最低——强化侧无此弱点
|
| 34 |
-
|
| 35 |
-
## 四、文风口径说明（诚实登记）
|
| 36 |
-
|
| 37 |
-
LabOpen v1 在本探针 greedy 单抽下 0/5 散文，但收获链评估 T0.3 k=8 采样下 15/20（75%）any-correct 散文。两组数据都真实：
|
| 38 |
-
|
| 39 |
-
- 收获链（T0.3 k=8）：分布肩部命中散文 → 15/20
|
| 40 |
-
- 本探针（greedy 单抽）：众数走结构化 → 0/5
|
| 41 |
-
- **判读**：文风矫正使散文进入分布但未成为众数——部署口径应推荐 T=0.3 采样（与域计算同理），greedy 下散文不稳定
|
| 42 |
-
- 基座 2/5 是因为其原生散文在众数中占两席
|
| 43 |
-
|
| 44 |
-
## 五、分域能力明细（带标记，T=0.3）
|
| 45 |
-
|
| 46 |
-
| 域 | 指标 | 结果 |
|
| 47 |
-
|---|---|---|
|
| 48 |
-
| 流体物理（CFM） | heldout 池 B，k=8 | 44% 采样命中 |
|
| 49 |
-
| 材料混合律 | heldout 40 项 | 32% 采样命中 |
|
| 50 |
-
| 经典遗传学 | heldout 20 项 | 79% 采样命中（基座自然 47%） |
|
| 51 |
-
| 运维动作查询 | 8 项双温 | 4–5/8 |
|
| 52 |
-
| 散文风格 | 20 项开放题 | 75% any-correct |
|
| 53 |
-
|
| 54 |
-
## 六、诚实边界
|
| 55 |
-
|
| 56 |
-
1. 单种子单检查点，方差带未完全表征
|
| 57 |
-
2. 文风 greedy 不稳定已登记，推荐 T=0.3
|
| 58 |
-
3. 六域能力需带标记寻址，无标记时回退基座行为
|
| 59 |
-
4. 27B 参数量，与 100B+ 模型的通用知识差距如实保留
|
| 60 |
-
5. 合并 FP8 权重相对适配器存在重量化噪声（见 `MERGE_REPORT.md`）；适配器为精确数值工件
|
|
|
|
|
|
|
| 1 |
|
| 2 |
+
## 七、域独特性实测（零样本外部对照，2026-10-31）
|
| 3 |
|
| 4 |
+
方法：各域 heldout 原题、剥离标记纯题面、k=8 采样 T=0.3、item any-correct、栈原评分器、输出统一剥 fence。模型配置：GLM 5.3 完整深思；qwen-max 非思考（与智能体 battery 一致）；DeepSeek flash 关闭思考。原始数据与完整归因见发布工件 s61-domain-compare（DOMAIN_COMPARE_REPORT.md）。
|
| 5 |
|
| 6 |
+
| 域 | GLM 5.3 | qwen-max | DS flash | LabOpen v1 | 基座 |
|
| 7 |
+
|---|---|---|---|---|---|
|
| 8 |
+
| 流体物理（36） | 36/36 | 36/36 | 35/36 | 25/36† | ≈0 |
|
| 9 |
+
| 材料·严格（40） | 1/40 | 0/40 | 0/40 | 17/40‡ | ≈0 |
|
| 10 |
+
| 材料·公平1%（40） | 20/40 | 15/40 | 22/40 | 18/40‡ | — |
|
| 11 |
+
| 经典遗传（20） | 9/20 | 12/20 | 7/20 | 20/20† | 47% |
|
| 12 |
+
| 运维·严格（8） | 0/8 | 0/8 | 0/8 | 4/8 | 0/8 |
|
| 13 |
+
| 运维·空动作等价（8） | 4/8 | 0/8 | 3/8 | 4/8 | — |
|
| 14 |
|
| 15 |
+
†带标记口径 ‡无标记口径
|
| 16 |
|
| 17 |
+
零分归因：运维严格 0 分含约定伪影（空动作 `observe` 为域私有词表、题面未告知；等价重判后 GLM 4/8、DS 3/8、qwen 0/8）与真实条件绑定失败（前沿以 rollback/restart 直觉替代声明规则、无触发题过度动作）；材料严格 0 分为容差伪影（0.01% vs 标准常量，公平口径持平）。诚实表述：运维与遗传为我方独特优势域（条件忠实执行+域词表），材料为语料表精确复现（严格）/物理推理持平（公平），流体物理为本地化能力建设而非独特性。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|