docs/reference/trusted_data_manifest.md

Trusted Data Manifest

这份清单用于说明当前仓库中哪些数据资产可以视为“可信集”，哪些暂时只保留但不默认信任。

判定依据：

1. 与 docs/current_status.md 中的路径和统计一致
2. 与已完成“全量清洗 + 复评”的说明一致
3. 能明确落到当前推荐工作流：raw full rerun -> cleaned silver -> evaluation -> gold prep

1. 当前可信集

说明：

• 本文档原先基于更完整的历史工作区整理。
• 在当前轻量工作区中，部分 runs/silver/... 与 runs/evaluation/... 目录未被保留，但对应的 cleaned Silver 快照仍然存在。
• 当前应优先以“当前工作区实际存在且可追溯的文件”为准。

以下内容可以视为当前可信数据资产，建议随 Linux 迁移包一起带走：

• clearn_base_data/

  • 当前默认图片目录
  • 已在当前主链路中被使用

• silver_dataset.jsonl

  • 当前工作区中已核实存在的 cleaned Silver 快照
  • 记录数为 22793，与正式 cleaned Silver 统计一致
  • runs/gold/gold_release_v1/summary.json 记录的实际 Gold 输入就是该文件

• summary.json

  • 当前工作区中与 cleaned Silver 评估结果对应的摘要快照

• dropped_records.jsonl

  • 当前工作区中与 cleaned Silver 清洗结果对应的剔除记录快照

• high_iou_pairs.jsonl

• moderate_iou_pairs.jsonl

  • 当前工作区中保留的重复框风险快照

• runs/gold/gold_release_v1/

  • 当前正式 Gold 基线
  • 与训练数据、验证基线和后续回归检查直接关联

• runs/swift_data/qwen3_5_35b_a3b_exp_a_official_v2/

• runs/swift_data/qwen3_5_35b_a3b_exp_b_attr_v2/

  • 当前实验 A / B 的正式训练数据

2. 保留但不默认信任

以下内容暂时不作为“可信集”默认输入，但不代表一定错误，只是当前证据不足：

• runs/manual_qc/

  • 有参考价值
  • 但当前未被明确指定为正式可信资产

• runs/mid/

  • 有训练计划或元数据价值
  • 但与当前“可信数据集”定义不是同一层

• 文档里提到的历史 runs/silver/...、runs/silver_cleaning/...、runs/evaluation/... 路径

  • 这些路径属于历史完整工作区命名
  • 在当前轻量工作区中并未实际保留

3. 当前排除项

以下内容在本次“可信集迁移包”中排除：

• tmp_gold.jsonl

• tmp_silver.jsonl

• test_sft_data.jsonl

  • 这些更像临时文件或测试文件

• runs/silver/silver_*

• runs/silver/smoke_*

  • 这些是小样本试跑或中间运行目录
  • 当前不作为可信主资产

• base_data/

  • 当前用户已提示其中可能存在不稳或不对的数据
  • 本次迁移不默认带入可信集

4. 当前推荐的 Linux 默认输入

迁移到 Linux 后，默认优先使用：

• 图片目录：clearn_base_data/
• Silver 输入：silver_dataset.jsonl

如果需要追溯清洗前版本，再回看：

• 历史完整工作区中的 runs/silver/full_rerun_20260311_210637/silver_dataset.jsonl