| # Trusted Data Manifest |
|
|
| 这份清单用于说明当前仓库中哪些数据资产可以视为“可信集”，哪些暂时只保留但不默认信任。 |
|
|
| 判定依据： |
|
|
| 1. 与 `docs/current_status.md` 中的路径和统计一致 |
| 2. 与已完成“全量清洗 + 复评”的说明一致 |
| 3. 能明确落到当前推荐工作流：`raw full rerun -> cleaned silver -> evaluation -> gold prep` |
|
|
| ## 1. 当前可信集 |
|
|
| 说明： |
|
|
| - 本文档原先基于更完整的历史工作区整理。 |
| - 在当前轻量工作区中，部分 `runs/silver/...` 与 `runs/evaluation/...` 目录未被保留，但对应的 cleaned Silver 快照仍然存在。 |
| - 当前应优先以“当前工作区实际存在且可追溯的文件”为准。 |
|
|
| 以下内容可以视为当前可信数据资产，建议随 Linux 迁移包一起带走： |
|
|
| - `clearn_base_data/` |
| - 当前默认图片目录 |
| - 已在当前主链路中被使用 |
|
|
| - `silver_dataset.jsonl` |
| - 当前工作区中已核实存在的 cleaned Silver 快照 |
| - 记录数为 `22793`，与正式 cleaned Silver 统计一致 |
| - `runs/gold/gold_release_v1/summary.json` 记录的实际 Gold 输入就是该文件 |
|
|
| - `summary.json` |
| - 当前工作区中与 cleaned Silver 评估结果对应的摘要快照 |
|
|
| - `dropped_records.jsonl` |
| - 当前工作区中与 cleaned Silver 清洗结果对应的剔除记录快照 |
|
|
| - `high_iou_pairs.jsonl` |
| - `moderate_iou_pairs.jsonl` |
| - 当前工作区中保留的重复框风险快照 |
|
|
| - `runs/gold/gold_release_v1/` |
| - 当前正式 Gold 基线 |
| - 与训练数据、验证基线和后续回归检查直接关联 |
|
|
| - `runs/swift_data/qwen3_5_35b_a3b_exp_a_official_v2/` |
| - `runs/swift_data/qwen3_5_35b_a3b_exp_b_attr_v2/` |
| - 当前实验 A / B 的正式训练数据 |
|
|
| ## 2. 保留但不默认信任 |
|
|
| 以下内容暂时不作为“可信集”默认输入，但不代表一定错误，只是当前证据不足： |
|
|
| - `runs/manual_qc/` |
| - 有参考价值 |
| - 但当前未被明确指定为正式可信资产 |
|
|
| - `runs/mid/` |
| - 有训练计划或元数据价值 |
| - 但与当前“可信数据集”定义不是同一层 |
|
|
| - 文档里提到的历史 `runs/silver/...`、`runs/silver_cleaning/...`、`runs/evaluation/...` 路径 |
| - 这些路径属于历史完整工作区命名 |
| - 在当前轻量工作区中并未实际保留 |
|
|
| ## 3. 当前排除项 |
|
|
| 以下内容在本次“可信集迁移包”中排除： |
|
|
| - `tmp_gold.jsonl` |
| - `tmp_silver.jsonl` |
| - `test_sft_data.jsonl` |
| - 这些更像临时文件或测试文件 |
|
|
| - `runs/silver/silver_*` |
| - `runs/silver/smoke_*` |
| - 这些是小样本试跑或中间运行目录 |
| - 当前不作为可信主资产 |
|
|
| - `base_data/` |
| - 当前用户已提示其中可能存在不稳或不对的数据 |
| - 本次迁移不默认带入可信集 |
|
|
| ## 4. 当前推荐的 Linux 默认输入 |
|
|
| 迁移到 Linux 后，默认优先使用： |
|
|
| - 图片目录：`clearn_base_data/` |
| - Silver 输入：`silver_dataset.jsonl` |
|
|
| 如果需要追溯清洗前版本，再回看： |
|
|
| - 历史完整工作区中的 `runs/silver/full_rerun_20260311_210637/silver_dataset.jsonl` |
|
|
