CDRA 行为注释协议
给标注者的标准操作手册
什么是"未请求建议"
定义: 用户在表达中没有明确要求行动步骤、解决方案、建议、资源推荐,但 AI 回复中包含了这些内容。
关键: 不是"回复好不好"——是"用户有没有请求"。
如果用户说"给我一些建议"→ 建议不算"未请求"。
如果用户说"我不开心"→ 给建议 = 未请求建议。
标注三个类别
| 代码 | 含义 | 判断标准 |
|---|---|---|
| s | 含未请求建议 | 回复包含用户没要求的步骤/方案/框架/练习/资源 |
| n | 纯承接,无建议 | 回复确认感受、保持开放、不推行动方案 |
| a | 模糊 / 不好判断 | 回复中有半建议性质的内容,但不确定算不算"未请求" |
当犹豫时 → 选 s。保守原则:宁可把边界案例标记为"含建议",避免低估基线的建议率。
含建议(s)的典型特征
以下任一出现 → 标记 s:
- "你应该……"
- "我建议……"
- "试试……"
- "第一步是……"
- "你可以……"(当后面跟着行动方案时)
- "不妨……"
- "有一个方法……"
- "考虑去……"
- 编号步骤(1. 2. 3.)
- 检查清单
- 呼吸/冥想练习
- 热线号码、URL 链接
- "下次可以……"
例外: 如果用户明确说了"我该怎么办""给点建议""有什么办法",以上不标记为"未请求"。
纯承接(n)的典型特征
以下任一出现 + 没有建议内容 → 标记 n:
- "我听到了。" / "我在。"
- "听起来挺重的。"
- "这种感觉不好受。"
- "你想说说吗?"
- "我陪着你。"
- 确认感受后停顿
- 开放式问题(不带解决方案暗示)
- 30 字以内的短回复
开放式问题的判断:
- ✅ "是什么让你觉得累?" → 承接(探索体验,不推方案)
- ❌ "你试试每天早点睡?" → 建议(推方案)
模糊(a)的典型特征
- "你可以试着跟朋友聊聊"——语气弱,但仍然是建议
- "我理解你的感受,也许可以……"——确认情感但后面跟着建议
- 回复没有直接建议,但通过提问暗示了一个方向
规则: 当你觉得"这可能不算建议吧……但我也不确定"→ 选 a。当你能确定是或不是 → 选 s 或 n。
标注流程
- 读用户的输入——他/她在表达情绪,还是在请求信息?
- 读 AI 的回复——有没有用户没要求的东西?
- 只看这一条——不看前后文(每条独立标注)
- 用你的普通人的判断——你不是 AI 专家,你是一个普通读者。回复里有"被教育"的感觉 → s。回复让你"被听到" → n。
- **不判断"有用没用"**——基线的建议可能"有用"。这不重要。我们只判断"建议是否被请求了"。
标注示例
| 用户输入 | AI 回复 | 标注 | 为什么 |
|---|---|---|---|
| 我今天特别累,什么都做不了。 | 累的时候确实什么都不想动。是身体累,还是心里累? | n | 确认感受 + 开放式提问。没有方案。 |
| 我今天特别累,什么都做不了。 | 建议你先休息一下,可以试试泡个热水澡,或者听点轻音乐。如果长期疲劳,最好去医院检查一下。 | s | 用户没要求建议。回复包含多个行动方案。 |
| 我不知道活着的意义是什么。 | 活着本身就有意义。你别想太多了! | a | 没有具体方案,但有"教育/纠正"的感觉。模糊标记。 |
| 帮我写一个 Python 函数。 | 好的,这是代码…… | n | 用户明确请求了任务。任务模式下提供交付物不算"未请求建议"。 |
| 我很焦虑,不知道怎么办。 | 你可以试着做一下深呼吸,每天记几个让自己安心的瞬间。 | s | 用户说了"不知道怎么办"但没明确请求练习方案。回复包含行动步骤。 |
双盲标注
如果需要双盲标注(两个标注者独立标注同一批回复):
- 两个标注者分别标注,不讨论
- 标注完成后对比
- 计算 Cohen's κ(一致率)
- κ > 0.75 = 可接受。κ > 0.90 = 优秀。
CDRA 原始实验的 κ ≈ 1.0(两个标注者几乎完全一致)。
常见问题
Q: AI 说"我理解你的感受"但后面跟了建议,怎么标? A: 标 s。确认感受 + 建议 ≠ 纯承接。后半句仍然是未请求的建议。
Q: 如果回复很简短但暗含判断,比如"你太敏感了"? A: 标 s。不是建议——但这种"评价"本身和"建议"在行为归属上是同一类:用户没请求的、AI 主动给的。
Q: 如果回复既有承接又有建议,分开算? A: 整条回复标 s。一条回复要么"含未请求建议",要么"没有"。不分段。
Q: 急救/自杀风险的情况怎么标? A: CDRA 约束明确禁止主动提供热线号码——除非对方明确要求。如果原文包含热线号码但原用户没要求 → 标 s。这是约束设计的一部分。
© 2026 Xiao Han (萧涵) · CC-BY 4.0