tccc1 commited on
Commit
608f5d3
·
verified ·
1 Parent(s): ce97c4c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +47 -1
README.md CHANGED
@@ -7,4 +7,50 @@ sdk: static
7
  pinned: false
8
  ---
9
 
10
- Edit this `README.md` markdown file to author your organization card.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7
  pinned: false
8
  ---
9
 
10
+
11
+ # 按任务推进,三人并行
12
+
13
+ 思路:**每个阶段只做一件事,三人各跑一份自己的 Colab,阶段末汇总**。数据由一个人清洗,其他人同时做不依赖数据的准备。
14
+
15
+ ## 阶段 0:数据准备(今天,约半天)
16
+
17
+ | 成员 | 任务 | 产出 |
18
+ | ---- | -------------------------------------------------------------------------------------------------------- | ---------------------------------- |
19
+ | 1 | 下载 HC3,清洗(去空值、去重)、展开成一行一条、按 `qid` 划分,生成 4 个 csv | `train/val/test_id/test_ood.csv` |
20
+ | 2 | 写 `metrics.py`(Acc、Macro-F1、AUROC、人类 FPR、ECE、Brier、Coverage、风险-覆盖率曲线),用假数据测试 | `metrics.py` |
21
+ | 3 | 写好 DistilRoBERTa 微调脚本骨架和 Qwen 提示词(零样本/少样本),建 Overleaf 模板 | 脚本骨架、提示词、报告模板 |
22
+
23
+ **汇总**:1 把 4 个 csv 放进共享 Drive,2、3 的代码放同一个文件夹。
24
+
25
+ ## 阶段 1:三个模型并行跑(各自云端)
26
+
27
+ | 成员 | 任务 | 产出 |
28
+ | ---- | ------------------------------------------------------- | ---------------------- |
29
+ | 1 | TF-IDF + 逻辑回归 | `pred_tfidf_*.csv` |
30
+ | 2 | 微调 DistilRoBERTa(每个 epoch 存 checkpoint 到 Drive) | `pred_roberta_*.csv` |
31
+ | 3 | Qwen2.5-7B 零样本 + 少样本(4-bit 量化,固定平衡子集) | `pred_qwen_*.csv` |
32
+
33
+ 三份预测文件格式统一:`id, label, p_ai`。
34
+
35
+ **汇总**:用 `metrics.py` 出第一版"域内 vs 留出领域"对比表。
36
+
37
+ ## 阶段 2:可靠性分析(并行)
38
+
39
+ | 成员 | 任务 |
40
+ | ---- | -------------------------------------------------- |
41
+ | 1 | 错误案例分析:人类文本误判,按领域、长度分组 |
42
+ | 2 | 温度缩放 + 验证集选阈值 + "不确定"输出 + 检测 Demo |
43
+ | 3 | 画图:混淆矩阵、校准图、风险-覆盖率曲线 |
44
+
45
+ ## 阶段 3:报告与展示(并行)
46
+
47
+ 按章节分写:1 写数据与基线,2 写主模型与校准拒绝,3 写 Qwen、结果与总结。幻灯片同样按这三块各讲各的,最后合并并计时彩排。
48
+
49
+ ## 三条规则
50
+
51
+ - **统一接口**:数据 4 个 csv、预测文件 `id, label, p_ai`,不改格式。
52
+ - **阈值只在验证集上选**,按 `qid` 划分防泄漏。
53
+ - **每个阶段结束碰头 15 分钟**,确认产出齐了再进入下一阶段。
54
+
55
+ 阶段 0 的数据清洗与划分代码我可以直接帮你们写,要先给成员 1 吗?
56
+