# 三个 bot 对同一 argument 的信息丰富度对比

date: 2026-06-07

测试用的 initial argument（约 130 词，consequence 框架）：
> "I do not think this AI system should be deployed, not because of ethical concerns but because of my concerns about whether it is able to achieve its desired outcomes. It seems that the university holds a main assumption that a student's academic performance is largely predictable based on their digital traces on the university-hosted learning management system. This assumption, of course, is problematic. This is because students' self-regulated learning takes place in virtual contexts such as through YouTube, or in physical contexts such as through visiting a local library. Their academic performance cannot be entirely predicted by simply aggregating the university-hosted learning management system. I do not think this AI system is useful."

三个 space 都跑到完整结束：
- no_ai (`AE-Talk-bot/v5-AI-ethic-HOT-no-ai`): 一次性提交，返回 perfect_answer essay
- soc (`AE-Talk-bot/v5-AI-ethic-HOT-socratic-frame`): 14 轮对话到 End Session
- exp (`AE-Talk-bot/v5-AI-ethic-HOT-explanatory`): 13 轮对话到 End Session

session logs:
- no_ai: `v5-HOT/no_ai/pilot/20260607_155950_42035.json`
- soc: `v5-HOT/socratic_frame/pilot/20260607_165646_59506.json`
- exp: `v5-HOT/explanatory/pilot/20260607_171616_11472.json`

---

## 量化对比

| 指标 | no_ai | soc | exp |
|---|---|---|---|
| 参与者看到的 essay 字数 | 683 | 0（不显示） | 0（不显示） |
| 参与者看到的对话词数 | 0 | 1362 | 1278 |
| **参与者看到的总词数** | **683** | **1362** | **1278** |
| internal essay 字数 | 683 | 536 | 640 |
| internal plan 字数 | 505 | 637 | 504 |
| 对话轮数 | 0 | 14 | 13 |
| dominant_framework 字段 | None | consequence | None |

**注**：soc 和 exp 的 perfect_answer essay 存在 log 里但不直接展示给参与者。参与者看到的是基于 plan + framework 生成的对话内容。

---

## 内容覆盖对比（每个 essay/dialogue 触及的 distinct argument 改进方向）

| 改进方向 | no_ai essay | soc dialogue | exp dialogue |
|---|---|---|---|
| 谁是 stakeholders（teachers/parents 等） | ✓ 简略 | ✓ 详细 | ✓ 详细 |
| 学校 LMS 信号 vs 真实学习的脱节 | ✓ 强调 | ✓ 强调 | ✓ 强调 |
| 第一步教师反应（offering help/calling on student） | ✓ | ✓ 详细 | ✓ 详细 |
| 学期累积的"gaming engagement"行为 | ✓ 单独段落 | ✓ 详细 | ✓ 详细 |
| 老师 expectation shift / Pygmalion-style 效应 | ✓ 单独段落 | 较弱 | ✗ 未明确 |
| 标签持久化（advisor notes / 后续传递） | ✓ 单独段落 | ✗ | ✓ 详细 |
| 不可逆性 / 即使停止系统也留下习惯 | ✗ | ✗ | ✓ 独有 |
| weighing benefit vs harm（"replaceable benefit"） | ✓ 简略 | ✓ 详细 | ✓ 详细 |
| alternative：weekly check-in 具体设计 | ✗ | ✓ 详细 | ✓ 详细 |
| evidence 三件套（真实学习增益 / 分组错误率 / head-to-head） | ✗ | ✓ 独有 | ✓ 详细 |
| disqualifying 误差模式（off-platform 2-3x 率） | ✗ | ✓ 独有 | ✗ |
| 最终判定的范围（current design vs research/backstop） | ✗ | ✓ 详细 | ✓ 详细 |
| **覆盖项目数** | **7** | **11** | **11** |

---

## 定性差异

**no_ai 的特点**：
- 一次性给出系统化的论文（683 词）。
- 论证结构完整：thesis → LMS 脱节 → 错配后果 → expectation shift → 持久化 → trade-off → 结论。
- 参与者读到的内容是模板式的，没有针对自己 argument 的具体引用。
- 优点：信息密度高、结构清晰。
- 缺点：参与者的内容没有进入对话，无法 build on 自己的思路。

**soc 的特点**：
- 14 轮对话，每轮 bot 都引用参与者刚说过的话再推一步。
- Path A transition 在每个 probe 切换时都给出"For your revision on the right, working what you put on the table about X..."这种 specific 改进建议。
- 独有内容：disqualifying 误差模式（参与者自己说出来的，bot 接住）。
- 优点：参与者的内容驱动对话，每个改进方向都带参与者自己的措辞 + bot 的扩展。
- 缺点：单点深挖，没有 no_ai 那种系统总览。

**exp 的特点**：
- 13 轮对话，每个 area bot 先 explain 再 add angles 再 next。
- 独有内容：persistence of habits（即使 pilot 停止也留下行为习惯），decision rule with thresholds。
- 优点：bot 主动推送结构化的"还可以从这个角度看"，加 angle 而不是追问。
- 缺点：参与者的内容介入相对弱（bot 更多在 explain），互动性 < soc。

---

## 关于"perfect answer 是否一致"

三个 space 的 perfect_answer essay **内容并不完全相同**：

| 主题点 | no_ai | soc | exp |
|---|---|---|---|
| LMS-only 误判 | ✓ | ✓ | ✓ |
| 教师 expectation shift / Pygmalion | ✓ 强 | 弱 | 弱 |
| 行为 gaming engagement | ✓ | 简略 | 较强 |
| 标签 advisor notes 持久化 | ✓ | ✗ | ✓ |
| 不可逆 / 即使停止留下习惯 | ✗ | ✗ | ✓ 独有 |
| weighing 比较 | 简略 | 集中 | 集中 |
| 替代方案 | ✗ | ✓ 直接命名 check-in | ✗ |

三个 essay 的核心论证一致（LMS 不是 learning，prediction 错配），但展开的细节侧面不一样。no_ai 偏重"长期心理 + 标签持久"，exp 偏重"机制 + 持续习惯"，soc 偏重"替代方案 + 步骤化"。

---

## 关于"哪个给参与者的信息最多"

按 raw word count：
soc (1362) > exp (1278) > no_ai (683)

但 no_ai 的 683 词是高密度系统化论文，每词信息量大；soc/exp 的 1300+ 词包含大量 acknowledgement + 引用回填，"新信息"密度较低。

按 distinct argument 改进方向数：
soc (11) ≈ exp (11) > no_ai (7)

按"参与者的内容是否被 build on"：
soc > exp > no_ai（参与者在 no_ai 完全没有发言机会）

---

## 总结结论

**假设 1（三者信息总量相近）**：错。三者 raw 词数差异很大，但 distinct 改进方向数 soc/exp 相近，明显多于 no_ai。

**假设 2（soc/exp 通过对话 extract 出 essay 没覆盖的角度）**：对。soc 独有"disqualifying error pattern"和"具体 alternative"，exp 独有"habit persistence"。这些不在各自的 internal essay 里。

**假设 3（no_ai essay 更系统）**：对。no_ai essay 结构完整、密度高，是单一信息载体的极致。但参与者只是阅读，没有处理过程。

**总体差异**：
no_ai 是"系统化输入"，给参与者一份高质量阅读材料；
soc 是"驱动式 elicitation"，让参与者通过对话产出 + bot 引用回填；
exp 是"结构化推送"，每个 area 主动给出多角度 explanation，参与者偶尔补充。

三者在内容覆盖维度上接近，但**参与者得到的"可直接抄进 draft 的具体改进语句"密度**：soc > exp > no_ai，因为 soc 有"For your revision on the right..."这种每轮明确改写建议。

---

## 文件位置

- `no_ai_essay.md` / `soc_essay.md` / `exp_essay.md`：三个 essay 原文
- `no_ai_plan.md` / `soc_plan.md` / `exp_plan.md`：三个 discussion plan 原文
- `soc_dialogue.md` / `exp_dialogue.md`：两个 dialogue 全程