| --- |
| title: README |
| emoji: 🚀 |
| colorFrom: yellow |
| colorTo: purple |
| sdk: static |
| pinned: false |
| --- |
| # stage2 各任务说明 |
|
|
|
|
| ## 任务一：RoBERTa 校准（成员 2） |
|
|
| **输入什么** |
|
|
| 1. `/pred_roberta_{val,test_id,test_ood}.csv`（三列`id,label,p_ai`，只读） |
| 2. `/metrics.py` + 校准 notebook（`/calibrater.ipynb`）流程 |
|
|
| **要做什么** |
|
|
| 1. `RUN="fit"`：只用 val → 拟合温度 T → 在校准 val 上选 tau_fpr5 / tau_f1 → 选 t → 冻结 |
| 2. `RUN="apply"`：冻结参数应用到三个 split，绝不重选 |
| 3. AUROC 校准前后必须一致（单调变换） |
|
|
| **输出什么**（= 本目录现有 7 个文件） |
|
|
| - `thresholds.json`（roberta 条目）、3 份 `pred_roberta_*_calibrated.csv`（新增 `p_ai_calibrated` 列，原始列不覆盖）、`metrics_roberta_binary.csv`（9 行）、`metrics_roberta_three_way.csv`（3 行）、`middle/diagnostics_roberta_abstention.csv`（51 行扫描，自查不交付） |
|
|
| --- |
|
|
| ## 任务二：TF-IDF 校准（成员 1，复用calibrate.ipynb） |
|
|
| **输入什么** |
|
|
| 1. `pred_tfidf_{val,test_id,test_ood}.csv`（三列 `id,label,p_ai`） |
| 2. 校准流程代码（`calibrate.ipynb`）+ `metrics.py` |
|
|
| **要做什么** |
|
|
| 1. `RUN="fit"`：只用 val → 拟合 TF-IDF 自己的 T → 在校准 val 上选自己的 tau_fpr5/tau_f1 → 选自己的 t |
| 2. `RUN="apply"`：把冻结参数应用到三个 split，绝不重选 |
| 3. AUROC 校准前后必须一致；ECE/Brier 记录变化 |
|
|
| **输出什么** |
|
|
| - `pred_tfidf_{val,test_id,test_ood}_calibrated.csv` |
| - `metrics_tfidf_binary.csv`（9 行）、`metrics_tfidf_three_way.csv`（3 行） |
| - `thresholds.json` 新增 `tfidf` 条目（TF-IDF 自己的 T/tau/t，不共用 RoBERTa 的参数） |
|
|
| --- |
|
|
| ## 任务三：Qwen 零样本/少样本校准（成员 3，复用calibrate.ipynb） |
|
|
| **输入什么** |
|
|
| 1. Qwen 在 val/test 上的预测（零样本、少样本**两个版本分开**，各一套 `id,label,p_ai`） |
| 2. 校准流程代码 + `../metrics.py` |
| 3. 固定 200 条平衡子集（成员 1 已产出） |
|
|
| **要做什么** |
|
|
| 1. 两个版本各自走一遍与任务一相同的 fit → apply 流程，参数不能共用、结果不能混 |
| 2. 零样本/少样本分别记录到 thresholds.json 的 `qwen_zeroshot` / `qwen_fewshot` 条目 |
| 3. 所有指标结论注明"固定 200 条人工平衡子集，小样本限定" |
|
|
| **输出什么** |
|
|
| - `pred_qwen_zeroshot/` 和 `pred_qwen_fewshot/` 两个版本的 calibrated 预测与两张 metrics 表 |
| - thresholds.json 新增 `qwen_zeroshot`、`qwen_fewshot` 两个条目 |
|
|
| **已知卡点**：目前成员 1 的子集只从 test_id 抽，**Qwen 没有 val 预测，fit 没原料**——需先确认是否补跑一份 val 预测（可同为固定子集），并同步全组口径。 |
| |
| --- |
| |
| ## 任务四：FP/FN 错误分析（成员 2） |
| |
| **输入什么** |
| |
| 1. `pred_roberta_test_id_calibrated.csv`、`pred_roberta_test_ood_calibrated.csv` → 取 `p_ai_calibrated` 列 |
| 2. `thresholds.json` → 取 `tau_fpr5`（本条目 = 0.994） |
| 3. `/dataset/test_id.csv`、`test_ood.csv` → 取 `text_hash, text, label, source`（按 `id = text_hash` join） |
| 4. `metrics_roberta_binary.csv` → `calibrated + tau_fpr5` 行的 tn/fp/fn/tp（test_id 5170/6/2/2513，test_ood 1172/74/4/1301），用于对账 |
|
|
| **要做什么** |
|
|
| 1. 对两个 split 各自：join dataset → 用 `tau_fpr5` 标误判 → 与 metrics 表逐格核对（不一致直接报错，不准继续算） |
| 2. 按三个维度汇总：`source`（领域）、`len(text)`（字符长度桶）、以及全部 FP 明细 |
| 3. FP 并非只挑典型，全部收录（共 80 条） |
|
|
| **输出什么** |
|
|
| - 同目录三张表：`fp_by_domain.csv`（各领域样本数/FPR/FNR）、`fp_by_length.csv`（各长度桶样本数/human-FPR）、`fp_cases.csv`（全部 FP，待人工填归因） |
|
|
| --- |
|
|
| ## 任务五：三分类 Demo（成员 2） |
|
|
| **输入什么** |
|
|
| 1. RoBERTa 训练产出的 checkpoint 目录（含模型权重） |
| 2. `thresholds.json` → 取 `T`（=1.81834）和 `t`（=0.5） |
| 3. 一段或多段待检测文本 |
|
|
| **要做什么** |
|
|
| 1. 文本 → tokenizer（`distilroberta-base`，截断 256 token）→ 模型 → 原始 `p_ai` |
| 2. 用 `T` 温度校准：`q = sigmoid(logit(p_ai)/T)` |
| 3. 三分判定：`q < 0.5` → Human；`q > 0.5` → AI；`q == 0.5` → Uncertain（与 metrics.py 边界规则一致） |
| 4. 不重新拟合任何参数 |
|
|
| **输出什么** |
|
|
| - `stage2/demo.py` 的 `detect(text)` 返回 `(Human/AI/Uncertain, 校准后的 p_ai)` |
| - 已知现状：`t=0.5` 区间退化，实际上永远不输出 Uncertain（README/报告须如实说明） |
|
|
| --- |
|
|
| ## 任务六：跨模型汇总与 id 对齐（成员 1） |
|
|
| **输入什么** |
|
|
| 1. 各模型的 `pred_*_calibrated.csv`（RoBERTa 由任务一、TF-IDF 由任务二、Qwen 由任务三产出） |
| 2. 各模型两张 metrics 表 |
| 3. thresholds.json（四模型条目齐后） |
|
|
| **要做什么** |
|
|
| 1. 按 `id` 把三个模型在同一批样本上的预测对齐；标签不一致/缺 id 直接报错 |
| 2. 合并 `thresholds.json` 为统一参数文件 |
| 3. 汇总各模型指标成对比表；对齐后的数据交给成员 3 画图、交给成员 2 做跨模型错误对照（任务七） |
|
|
| **输出什么** |
|
|
| - 统一的 `thresholds.json`（四模型参数全齐） |
| - 汇总指标对比表 |
| - 跨模型对齐数据（供错误对照与画图） |
|
|
| --- |
|
|
| ## 任务七：跨模型错误对照（成员 1） |
|
|
| **输入什么** |
|
|
| 1. 任务六产出的按 id 对齐数据（RoBERTa / TF-IDF 在同一批样本上的预测） |
| 2. 各模型自己的冻结 tau_fpr5（RoBERTa 0.994、TF-IDF 用它 fit 出的值，不得混用） |
| |
| **要做什么** |
| |
| 1. 校准口径下各自标出 FP/FN，比较两模型在同一批 id 上的误判异同 |
| 2. 注意区分：成员 1 的预研 csv（raw 口径、经验阈值 0.8/0.2、只 test_id 10 FP + 9 FN）是早期素材，不作为对照口径 |
|
|
| **输出什么** |
|
|
| - 错误对比补充表/段落（归属阶段三报告） |
|
|
| --- |
|
|
| ## 任务八：终版绘图（成员 3） |
|
|
| **输入什么** |
|
|
| 1. 各模型 `pred_*_calibrated.csv`（raw 与 calibrated 两列概率都要用） |
| 2. 各模型两张 metrics 表（混淆矩阵直接取 tn/fp/fn/tp，不重算） |
| 3. thresholds.json（图上标注所用参数） |
| 4. Qwen 固定 200 条子集 id |
|
|
| **要做什么** |
|
|
| 1. 混淆矩阵：2×2 二分类 + 2×3 三分类，数据直接取 metrics 表 |
| 2. 校准图：按概率分桶画 raw 与 calibrated 对比曲线，每桶标注样本数 n |
| 3. 风险—覆盖率曲线：用 three_way 表（或续算）画 coverage 与 decided_acc，标出参考点 |
| 4. Qwen 所有图基于 200 条人工平衡子集，图注写明小样本限定 |
|
|
| **输出什么** |
|
|
| - `figures/confusion_*.png`（2×2 与 2×3） |
| - `figures/calibration_*.png`（对角线 + raw/calibrated 对比 + 每 bin n） |
| - `figures/risk_coverage.png`（模型对比与参考点） |
| - 绘图代码：`stage2/plots.py` 或 notebook |
|
|
| --- |
|
|
| ## 任务九：交付目录对齐 |
| `stage2/`（共 24 个文件）： |
|
|
| ```text |
| runs/stage2/ |
| ├── thresholds.json # 四模型参数齐全 |
| ├── pred_roberta_val_calibrated.csv # 成员 2：RoBERTa 校准预测 |
| ├── pred_roberta_test_id_calibrated.csv |
| ├── pred_roberta_test_ood_calibrated.csv |
| ├── metrics_roberta_binary.csv # 9 行 |
| ├── metrics_roberta_three_way.csv # 3 行 |
| ├── pred_tfidf_val_calibrated.csv # 成员 1：TF-IDF 校准预测 |
| ├── pred_tfidf_test_id_calibrated.csv |
| ├── pred_tfidf_test_ood_calibrated.csv |
| ├── metrics_tfidf_binary.csv |
| ├── metrics_tfidf_three_way.csv |
| ├── pred_qwen_zeroshot_val_calibrated.csv # 成员 3：Qwen 零样本 |
| ├── pred_qwen_zeroshot_test_id_calibrated.csv |
| ├── pred_qwen_zeroshot_test_ood_calibrated.csv |
| ├── metrics_qwen_zeroshot_binary.csv |
| ├── metrics_qwen_zeroshot_three_way.csv |
| ├── pred_qwen_fewshot_val_calibrated.csv # 成员 3：Qwen 少样本 |
| ├── pred_qwen_fewshot_test_id_calibrated.csv |
| ├── pred_qwen_fewshot_test_ood_calibrated.csv |
| ├── metrics_qwen_fewshot_binary.csv |
| ├── metrics_qwen_fewshot_three_way.csv |
| ├── fp_by_domain.csv # 成员 2：错误分析三张表 |
| ├── fp_by_length.csv |
| ├── fp_cases.csv |
| └── code/ # 代码交付（源文件仍在 src/ 相应位置，此处为镜像） |
| ├── demo.py # 成员 2：三分类 Demo，detect(text) 判定+校准概率 |
| ├── test_demo.py # 成员 2：Demo 纯逻辑测试（pytest） |
| ├── README_demo.md # 成员 2：Demo 用法/参数/已知限制 |
| ├── plots.py # 成员 3：绘图代码（或画图 notebook） |
| ├── calibrate.ipynb # 成员 2：共享校准流程（成员 1/3 复用的那份） |
| └── metrics.py # 全组唯一指标入口（复现指标所必需） |
| ``` |
|
|
| `figures/`（共 13 张）： |
|
|
| ```text |
| figures/ |
| ├── confusion_binary_roberta.png # 2×2 混淆矩阵，每模型一张 |
| ├── confusion_binary_tfidf.png |
| ├── confusion_binary_qwen_zeroshot.png |
| ├── confusion_binary_qwen_fewshot.png |
| ├── confusion_threeway_roberta.png # 2×3 混淆矩阵（含 Uncertain 列） |
| ├── confusion_threeway_tfidf.png |
| ├── confusion_threeway_qwen_zeroshot.png |
| ├── confusion_threeway_qwen_fewshot.png |
| ├── calibration_roberta.png # 校准图：raw vs calibrated + 每桶 n |
| ├── calibration_tfidf.png |
| ├── calibration_qwen_zeroshot.png |
| ├── calibration_qwen_fewshot.png |
| └── risk_coverage.png # 风险—覆盖率曲线（模型对比 + 参考点） |
| ``` |
|
|
|
|
|
|
| --- |
|
|
| ## 附：通用红线 |
|
|
| 1. 一切判定只用 `p_ai_calibrated`，不用 `p_ai` |
| 2. 一切阈值/温度只从 thresholds.json 读，val 定参数，test 只应用 |
| 3. 指标只调 `../metrics.py`，任何人不得自算另写口径 |
| 4. 各模型参数独立（各自的 T/tau/t），跨模型比较按 id 对齐，Qwen 只在固定子集上比 |
|
|
|
|
|
|
|
|
