metadata
title: README
emoji: 🚀
colorFrom: yellow
colorTo: purple
sdk: static
pinned: false
stage2 各任务说明
任务一：RoBERTa 校准（成员 2）
输入什么
/pred_roberta_{val,test_id,test_ood}.csv（三列id,label,p_ai，只读）/metrics.py+ 校准 notebook（/calibrater.ipynb）流程
要做什么
RUN="fit"：只用 val → 拟合温度 T → 在校准 val 上选 tau_fpr5 / tau_f1 → 选 t → 冻结RUN="apply"：冻结参数应用到三个 split，绝不重选- AUROC 校准前后必须一致（单调变换）
输出什么（= 本目录现有 7 个文件）
thresholds.json（roberta 条目）、3 份pred_roberta_*_calibrated.csv（新增p_ai_calibrated列，原始列不覆盖）、metrics_roberta_binary.csv（9 行）、metrics_roberta_three_way.csv（3 行）、middle/diagnostics_roberta_abstention.csv（51 行扫描，自查不交付）
任务二：TF-IDF 校准（成员 1，复用calibrate.ipynb）
输入什么
pred_tfidf_{val,test_id,test_ood}.csv（三列id,label,p_ai）- 校准流程代码（
calibrate.ipynb）+metrics.py
要做什么
RUN="fit"：只用 val → 拟合 TF-IDF 自己的 T → 在校准 val 上选自己的 tau_fpr5/tau_f1 → 选自己的 tRUN="apply"：把冻结参数应用到三个 split，绝不重选- AUROC 校准前后必须一致；ECE/Brier 记录变化
输出什么
pred_tfidf_{val,test_id,test_ood}_calibrated.csvmetrics_tfidf_binary.csv（9 行）、metrics_tfidf_three_way.csv（3 行）thresholds.json新增tfidf条目（TF-IDF 自己的 T/tau/t，不共用 RoBERTa 的参数）
任务三：Qwen 零样本/少样本校准（成员 3，复用calibrate.ipynb）
输入什么
- Qwen 在 val/test 上的预测（零样本、少样本两个版本分开，各一套
id,label,p_ai） - 校准流程代码 +
../metrics.py - 固定 200 条平衡子集（成员 1 已产出）
要做什么
- 两个版本各自走一遍与任务一相同的 fit → apply 流程，参数不能共用、结果不能混
- 零样本/少样本分别记录到 thresholds.json 的
qwen_zeroshot/qwen_fewshot条目 - 所有指标结论注明"固定 200 条人工平衡子集，小样本限定"
输出什么
pred_qwen_zeroshot/和pred_qwen_fewshot/两个版本的 calibrated 预测与两张 metrics 表- thresholds.json 新增
qwen_zeroshot、qwen_fewshot两个条目
已知卡点：目前成员 1 的子集只从 test_id 抽，Qwen 没有 val 预测，fit 没原料——需先确认是否补跑一份 val 预测（可同为固定子集），并同步全组口径。
任务四：FP/FN 错误分析（成员 2）
输入什么
pred_roberta_test_id_calibrated.csv、pred_roberta_test_ood_calibrated.csv→ 取p_ai_calibrated列thresholds.json→ 取tau_fpr5（本条目 = 0.994）/dataset/test_id.csv、test_ood.csv→ 取text_hash, text, label, source（按id = text_hashjoin）metrics_roberta_binary.csv→calibrated + tau_fpr5行的 tn/fp/fn/tp（test_id 5170/6/2/2513，test_ood 1172/74/4/1301），用于对账
要做什么
- 对两个 split 各自：join dataset → 用
tau_fpr5标误判 → 与 metrics 表逐格核对（不一致直接报错，不准继续算） - 按三个维度汇总：
source（领域）、len(text)（字符长度桶）、以及全部 FP 明细 - FP 并非只挑典型，全部收录（共 80 条）
输出什么
- 同目录三张表：
fp_by_domain.csv（各领域样本数/FPR/FNR）、fp_by_length.csv（各长度桶样本数/human-FPR）、fp_cases.csv（全部 FP，待人工填归因）
任务五：三分类 Demo（成员 2）
输入什么
- RoBERTa 训练产出的 checkpoint 目录（含模型权重）
thresholds.json→ 取T（=1.81834）和t（=0.5）- 一段或多段待检测文本
要做什么
- 文本 → tokenizer（
distilroberta-base，截断 256 token）→ 模型 → 原始p_ai - 用
T温度校准：q = sigmoid(logit(p_ai)/T) - 三分判定：
q < 0.5→ Human；q > 0.5→ AI；q == 0.5→ Uncertain（与 metrics.py 边界规则一致） - 不重新拟合任何参数
输出什么
stage2/demo.py的detect(text)返回(Human/AI/Uncertain, 校准后的 p_ai)- 已知现状：
t=0.5区间退化，实际上永远不输出 Uncertain（README/报告须如实说明）
任务六：跨模型汇总与 id 对齐（成员 1）
输入什么
- 各模型的
pred_*_calibrated.csv（RoBERTa 由任务一、TF-IDF 由任务二、Qwen 由任务三产出） - 各模型两张 metrics 表
- thresholds.json（四模型条目齐后）
要做什么
- 按
id把三个模型在同一批样本上的预测对齐；标签不一致/缺 id 直接报错 - 合并
thresholds.json为统一参数文件 - 汇总各模型指标成对比表；对齐后的数据交给成员 3 画图、交给成员 2 做跨模型错误对照（任务七）
输出什么
- 统一的
thresholds.json（四模型参数全齐） - 汇总指标对比表
- 跨模型对齐数据（供错误对照与画图）
任务七：跨模型错误对照（成员 1）
输入什么
- 任务六产出的按 id 对齐数据（RoBERTa / TF-IDF 在同一批样本上的预测）
- 各模型自己的冻结 tau_fpr5（RoBERTa 0.994、TF-IDF 用它 fit 出的值，不得混用）
要做什么
- 校准口径下各自标出 FP/FN，比较两模型在同一批 id 上的误判异同
- 注意区分：成员 1 的预研 csv（raw 口径、经验阈值 0.8/0.2、只 test_id 10 FP + 9 FN）是早期素材，不作为对照口径
输出什么
- 错误对比补充表/段落（归属阶段三报告）
任务八：终版绘图（成员 3）
输入什么
- 各模型
pred_*_calibrated.csv（raw 与 calibrated 两列概率都要用） - 各模型两张 metrics 表（混淆矩阵直接取 tn/fp/fn/tp，不重算）
- thresholds.json（图上标注所用参数）
- Qwen 固定 200 条子集 id
要做什么
- 混淆矩阵：2×2 二分类 + 2×3 三分类，数据直接取 metrics 表
- 校准图：按概率分桶画 raw 与 calibrated 对比曲线，每桶标注样本数 n
- 风险—覆盖率曲线：用 three_way 表（或续算）画 coverage 与 decided_acc，标出参考点
- Qwen 所有图基于 200 条人工平衡子集，图注写明小样本限定
输出什么
figures/confusion_*.png（2×2 与 2×3）figures/calibration_*.png（对角线 + raw/calibrated 对比 + 每 bin n）figures/risk_coverage.png（模型对比与参考点）- 绘图代码：
stage2/plots.py或 notebook
任务九：交付目录对齐
stage2/（共 24 个文件）：
runs/stage2/
├── thresholds.json # 四模型参数齐全
├── pred_roberta_val_calibrated.csv # 成员 2：RoBERTa 校准预测
├── pred_roberta_test_id_calibrated.csv
├── pred_roberta_test_ood_calibrated.csv
├── metrics_roberta_binary.csv # 9 行
├── metrics_roberta_three_way.csv # 3 行
├── pred_tfidf_val_calibrated.csv # 成员 1：TF-IDF 校准预测
├── pred_tfidf_test_id_calibrated.csv
├── pred_tfidf_test_ood_calibrated.csv
├── metrics_tfidf_binary.csv
├── metrics_tfidf_three_way.csv
├── pred_qwen_zeroshot_val_calibrated.csv # 成员 3：Qwen 零样本
├── pred_qwen_zeroshot_test_id_calibrated.csv
├── pred_qwen_zeroshot_test_ood_calibrated.csv
├── metrics_qwen_zeroshot_binary.csv
├── metrics_qwen_zeroshot_three_way.csv
├── pred_qwen_fewshot_val_calibrated.csv # 成员 3：Qwen 少样本
├── pred_qwen_fewshot_test_id_calibrated.csv
├── pred_qwen_fewshot_test_ood_calibrated.csv
├── metrics_qwen_fewshot_binary.csv
├── metrics_qwen_fewshot_three_way.csv
├── fp_by_domain.csv # 成员 2：错误分析三张表
├── fp_by_length.csv
├── fp_cases.csv
└── code/ # 代码交付（源文件仍在 src/ 相应位置，此处为镜像）
├── demo.py # 成员 2：三分类 Demo，detect(text) 判定+校准概率
├── test_demo.py # 成员 2：Demo 纯逻辑测试（pytest）
├── README_demo.md # 成员 2：Demo 用法/参数/已知限制
├── plots.py # 成员 3：绘图代码（或画图 notebook）
├── calibrate.ipynb # 成员 2：共享校准流程（成员 1/3 复用的那份）
└── metrics.py # 全组唯一指标入口（复现指标所必需）
figures/（共 13 张）：
figures/
├── confusion_binary_roberta.png # 2×2 混淆矩阵，每模型一张
├── confusion_binary_tfidf.png
├── confusion_binary_qwen_zeroshot.png
├── confusion_binary_qwen_fewshot.png
├── confusion_threeway_roberta.png # 2×3 混淆矩阵（含 Uncertain 列）
├── confusion_threeway_tfidf.png
├── confusion_threeway_qwen_zeroshot.png
├── confusion_threeway_qwen_fewshot.png
├── calibration_roberta.png # 校准图：raw vs calibrated + 每桶 n
├── calibration_tfidf.png
├── calibration_qwen_zeroshot.png
├── calibration_qwen_fewshot.png
└── risk_coverage.png # 风险—覆盖率曲线（模型对比 + 参考点）
附：通用红线
- 一切判定只用
p_ai_calibrated，不用p_ai - 一切阈值/温度只从 thresholds.json 读，val 定参数，test 只应用
- 指标只调
../metrics.py，任何人不得自算另写口径 - 各模型参数独立（各自的 T/tau/t），跨模型比较按 id 对齐，Qwen 只在固定子集上比