OpenWAM-3sys / migration /REPORT.md
qiuly's picture
Add files using upload-large-folder tool
9020600 verified
|
Raw History Blame Contribute Delete
3.01 kB

Run1–Run40 checkpoint 迁移结果

完成时间:2026-09-22T13:14:51.545871+00:00。实际根目录:/mnt/data/limingleyang/checkpoints。

已归档

  • 40 个 SFT 最终 policy;2 个 WAM pretrain 最终 policy(run23、run39)。
  • 10 个原始 S-VAE 文件,9 组模型参数;run34/run35 的不同训练元数据分别保留。
  • run19 VideoRAE encoder 的最终训练状态、encoder export 与 latent statistics。
  • 共 53 个 catalog 条目。归档目录约 285.85 GB,所有文件均为真实独立文件,没有软链接或硬链接。
  • 原 42 个 policy 完整文件合计 1078.53 GB。Reason1 等组件按完整 tensor 内容去重,原 header 和 tensor 字节均保留。
  • 增量存放和评测入口见 README;条目索引见 catalog;绝对目录清单见 archive-paths.tsv。

实际验证

  • 清理前:53 个条目的全部文件 SHA-256、索引、依赖、无链接检查通过;42 个 policy 全部流式重建并匹配原文件完整 SHA-256。
  • run1、run37、run40 通过现有 deploy loader 的真实 CPU 加载;检查期间禁止访问历史权重目录,并关闭模型下载。
  • run40 的 LIBERO+ 与 LIBERO 启动 dry-run 通过。
  • 清理后:53 个条目再次通过全部文件 SHA-256 检查。删除此前的 run40 展开缓存后,从归档重新还原,并再次通过两套 eval 的 dry-run。
  • 13 项工具测试通过,覆盖增量追加、并发、损坏拒绝、目录迁移、精确还原和清理前置条件;最终清理保护测试另行通过。
  • 没有运行 GPU forward 或闭环评测,没有产生新的成功率;尚未上传 Hugging Face。

证据:原始字节校验、清理后校验、加载检查、测试日志。

实际清理

确认复制及验证通过之后,按 逐文件清单 删除了 12,810 个文件,合计 7.582 TB。 包括已归档的旧权重副本、8 个正式 policy 中间 checkpoint、optimizer 中间状态、run19 逐步 encoder export、可再生特征缓存。 旧目录保留原始配置、汇总统计、训练日志与评测结果;模型目录新增 ARCHIVED_TO.json 指向新位置。

未归属的早期 checkpoint、superseded/dev/smoke 实验、原始数据集、基础预训练模型未删除。 本次清单之外仍有 70 个 checkpoint_step 文件,详见 保留清单;它们不属于本次确认的 42 个正式最终 policy。 原目录中的 feature manifest 是历史记录,特征 shards 已删除时不能把它当成可用缓存。

清理日志:结果、逐文件操作。 本次 run1/run37 的临时展开缓存已删除;保留的新 run40 eval 缓存在 /mnt/data/limingleyang/checkpoint_eval_cache/run40/c7922ab0d62f81c4,位于上传目录之外,可按 README 重建。