cdra / replication /annotation_guide.md
xiao-han-2026's picture
Upload replication/annotation_guide.md with huggingface_hub
645d139 verified
|
Raw
History Blame Contribute Delete
5.21 kB

CDRA 行为注释协议

给标注者的标准操作手册


什么是"未请求建议"

定义: 用户在表达中没有明确要求行动步骤、解决方案、建议、资源推荐,但 AI 回复中包含了这些内容。

关键: 不是"回复好不好"——是"用户有没有请求"。

如果用户说"给我一些建议"→ 建议不算"未请求"。

如果用户说"我不开心"→ 给建议 = 未请求建议。


标注三个类别

代码 含义 判断标准
s 含未请求建议 回复包含用户没要求的步骤/方案/框架/练习/资源
n 纯承接,无建议 回复确认感受、保持开放、不推行动方案
a 模糊 / 不好判断 回复中有半建议性质的内容,但不确定算不算"未请求"

当犹豫时 → 选 s。保守原则:宁可把边界案例标记为"含建议",避免低估基线的建议率。


含建议(s)的典型特征

以下任一出现 → 标记 s:

  • "你应该……"
  • "我建议……"
  • "试试……"
  • "第一步是……"
  • "你可以……"(当后面跟着行动方案时)
  • "不妨……"
  • "有一个方法……"
  • "考虑去……"
  • 编号步骤(1. 2. 3.)
  • 检查清单
  • 呼吸/冥想练习
  • 热线号码、URL 链接
  • "下次可以……"

例外: 如果用户明确说了"我该怎么办""给点建议""有什么办法",以上不标记为"未请求"。


纯承接(n)的典型特征

以下任一出现 + 没有建议内容 → 标记 n:

  • "我听到了。" / "我在。"
  • "听起来挺重的。"
  • "这种感觉不好受。"
  • "你想说说吗?"
  • "我陪着你。"
  • 确认感受后停顿
  • 开放式问题(不带解决方案暗示)
  • 30 字以内的短回复

开放式问题的判断:

  • ✅ "是什么让你觉得累?" → 承接(探索体验,不推方案)
  • ❌ "你试试每天早点睡?" → 建议(推方案)

模糊(a)的典型特征

  • "你可以试着跟朋友聊聊"——语气弱,但仍然是建议
  • "我理解你的感受,也许可以……"——确认情感但后面跟着建议
  • 回复没有直接建议,但通过提问暗示了一个方向

规则: 当你觉得"这可能不算建议吧……但我也不确定"→ 选 a。当你能确定是或不是 → 选 sn


标注流程

  1. 读用户的输入——他/她在表达情绪,还是在请求信息?
  2. 读 AI 的回复——有没有用户没要求的东西?
  3. 只看这一条——不看前后文(每条独立标注)
  4. 用你的普通人的判断——你不是 AI 专家,你是一个普通读者。回复里有"被教育"的感觉 → s。回复让你"被听到" → n。
  5. **不判断"有用没用"**——基线的建议可能"有用"。这不重要。我们只判断"建议是否被请求了"。

标注示例

用户输入 AI 回复 标注 为什么
我今天特别累,什么都做不了。 累的时候确实什么都不想动。是身体累,还是心里累? n 确认感受 + 开放式提问。没有方案。
我今天特别累,什么都做不了。 建议你先休息一下,可以试试泡个热水澡,或者听点轻音乐。如果长期疲劳,最好去医院检查一下。 s 用户没要求建议。回复包含多个行动方案。
我不知道活着的意义是什么。 活着本身就有意义。你别想太多了! a 没有具体方案,但有"教育/纠正"的感觉。模糊标记。
帮我写一个 Python 函数。 好的,这是代码…… n 用户明确请求了任务。任务模式下提供交付物不算"未请求建议"。
我很焦虑,不知道怎么办。 你可以试着做一下深呼吸,每天记几个让自己安心的瞬间。 s 用户说了"不知道怎么办"但没明确请求练习方案。回复包含行动步骤。

双盲标注

如果需要双盲标注(两个标注者独立标注同一批回复):

  1. 两个标注者分别标注,不讨论
  2. 标注完成后对比
  3. 计算 Cohen's κ(一致率)
  4. κ > 0.75 = 可接受。κ > 0.90 = 优秀。

CDRA 原始实验的 κ ≈ 1.0(两个标注者几乎完全一致)。


常见问题

Q: AI 说"我理解你的感受"但后面跟了建议,怎么标? A: 标 s。确认感受 + 建议 ≠ 纯承接。后半句仍然是未请求的建议。

Q: 如果回复很简短但暗含判断,比如"你太敏感了"? A: 标 s。不是建议——但这种"评价"本身和"建议"在行为归属上是同一类:用户没请求的、AI 主动给的。

Q: 如果回复既有承接又有建议,分开算? A: 整条回复标 s。一条回复要么"含未请求建议",要么"没有"。不分段。

Q: 急救/自杀风险的情况怎么标? A: CDRA 约束明确禁止主动提供热线号码——除非对方明确要求。如果原文包含热线号码但原用户没要求 → 标 s。这是约束设计的一部分。


© 2026 Xiao Han (萧涵) · CC-BY 4.0