Update README.md
Browse files
README.md
CHANGED
|
@@ -7,4 +7,50 @@ sdk: static
|
|
| 7 |
pinned: false
|
| 8 |
---
|
| 9 |
|
| 10 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 7 |
pinned: false
|
| 8 |
---
|
| 9 |
|
| 10 |
+
|
| 11 |
+
# 按任务推进,三人并行
|
| 12 |
+
|
| 13 |
+
思路:**每个阶段只做一件事,三人各跑一份自己的 Colab,阶段末汇总**。数据由一个人清洗,其他人同时做不依赖数据的准备。
|
| 14 |
+
|
| 15 |
+
## 阶段 0:数据准备(今天,约半天)
|
| 16 |
+
|
| 17 |
+
| 成员 | 任务 | 产出 |
|
| 18 |
+
| ---- | -------------------------------------------------------------------------------------------------------- | ---------------------------------- |
|
| 19 |
+
| 1 | 下载 HC3,清洗(去空值、去重)、展开成一行一条、按 `qid` 划分,生成 4 个 csv | `train/val/test_id/test_ood.csv` |
|
| 20 |
+
| 2 | 写 `metrics.py`(Acc、Macro-F1、AUROC、人类 FPR、ECE、Brier、Coverage、风险-覆盖率曲线),用假数据测试 | `metrics.py` |
|
| 21 |
+
| 3 | 写好 DistilRoBERTa 微调脚本骨架和 Qwen 提示词(零样本/少样本),建 Overleaf 模板 | 脚本骨架、提示词、报告模板 |
|
| 22 |
+
|
| 23 |
+
**汇总**:1 把 4 个 csv 放进共享 Drive,2、3 的代码放同一个文件夹。
|
| 24 |
+
|
| 25 |
+
## 阶段 1:三个模型并行跑(各自云端)
|
| 26 |
+
|
| 27 |
+
| 成员 | 任务 | 产出 |
|
| 28 |
+
| ---- | ------------------------------------------------------- | ---------------------- |
|
| 29 |
+
| 1 | TF-IDF + 逻辑回归 | `pred_tfidf_*.csv` |
|
| 30 |
+
| 2 | 微调 DistilRoBERTa(每个 epoch 存 checkpoint 到 Drive) | `pred_roberta_*.csv` |
|
| 31 |
+
| 3 | Qwen2.5-7B 零样本 + 少样本(4-bit 量化,固定平衡子集) | `pred_qwen_*.csv` |
|
| 32 |
+
|
| 33 |
+
三份预测文件格式统一:`id, label, p_ai`。
|
| 34 |
+
|
| 35 |
+
**汇总**:用 `metrics.py` 出第一版"域内 vs 留出领域"对比表。
|
| 36 |
+
|
| 37 |
+
## 阶段 2:可靠性分析(并行)
|
| 38 |
+
|
| 39 |
+
| 成员 | 任务 |
|
| 40 |
+
| ---- | -------------------------------------------------- |
|
| 41 |
+
| 1 | 错误案例分析:人类文本误判,按领域、长度分组 |
|
| 42 |
+
| 2 | 温度缩放 + 验证集选阈值 + "不确定"输出 + 检测 Demo |
|
| 43 |
+
| 3 | 画图:混淆矩阵、校准图、风险-覆盖率曲线 |
|
| 44 |
+
|
| 45 |
+
## 阶段 3:报告与展示(并行)
|
| 46 |
+
|
| 47 |
+
按章节分写:1 写数据与基线,2 写主模型与校准拒绝,3 写 Qwen、结果与总结。幻灯片同样按这三块各讲各的,最后合并并计时彩排。
|
| 48 |
+
|
| 49 |
+
## 三条规则
|
| 50 |
+
|
| 51 |
+
- **统一接口**:数据 4 个 csv、预测文件 `id, label, p_ai`,不改格式。
|
| 52 |
+
- **阈值只在验证集上选**,按 `qid` 划分防泄漏。
|
| 53 |
+
- **每个阶段结束碰头 15 分钟**,确认产出齐了再进入下一阶段。
|
| 54 |
+
|
| 55 |
+
阶段 0 的数据清洗与划分代码我可以直接帮你们写,要先给成员 1 吗?
|
| 56 |
+
|