Blame for README.md

---
tags:
- exo-to-ego
- video-generation
- safetensors
- lora
- research
---
# Ego-Exo / Any2Ego — 5GB 分片权重包

**发布的是已有研究检查点与基础模型的无损分片，不是新训练结果。** 所有文件不超过
5,000,000,000 字节（包含 safetensors 头）。不是 split/tar 片段；
模型张量保留完整，一个张量不会被切成两半。原始模型/检查点没有修改。

## 目录与分片

- `models/Wan2.1-VACE-1.3B/transformer/`：原生 DiT+VACE 底座，2 片；
  `diffusion_pytorch_model.safetensors.index.json`。
- `models/Wan2.1-VACE-1.3B/text_encoder/`：原生 umT5-XXL BF16，3 片；
  `model.safetensors.index.json`。原 .pth 的完整存储逐字节转存 safetensors，
  不改变 key、shape、dtype 或值；只用 weights_only/FakeTensor 读取元信息。
- Wan VAE 和 `google/umt5-xxl/` tokenizer 保留原格式。
- `models/Qwen3-VL-8B-Instruct/`：官方基座原有 4 片已小于 5GB，完整保留。
- `models/CLIP-ViT-H-14-laion2B-s32B-b79K/`：Transformers 格式原单文件保留；
  未重复打包 OpenCLIP/bin 副本。
- `checkpoints/`：7 个主链路训练产物；`research/`：5 个辅助实验快照。
  它们本来就小于 5GB，保留原 safetensors/.pt 与必要的 adapter 配置。
- `code_support/`、`tools/`：分片加载兼容补丁、校验/安装/重新分片工具与 CPU 小测试。

基础模型仍是上游模型，不是合并后的 Any2Ego 训练权重；没有合并 LoRA。
上游模型各自遵守原许可证，不能把整个 bundle 统一声明为新的自有模型。
训练数据、caption、视频、optimizer/RNG/log/缓存不包含在这个**权重包**里。

## 训练产物选择

| Component | MiB | 来源/选择 |
|---|---:|---|
| generator_hoi | 166.9 | paper-index HOI LoRA, epoch4 |
| generator_global | 630.4 | paper-index Global caption branch, epoch4 |
| generator_spatial | 630.5 | paper-index Spatial caption branch, epoch2; historical teacher caption training |
| reward_preview | 630.4 | teacher-caption Global reward preview, epoch4 |
| mask_predictor | 21.2 | historical evaluated PhiSeg, epoch9; exo_full_context/BN settings must match |
| sft_only | 83.3 | Qwen3-VL-8B LoRA, step4070 |
| caption_grpo | 83.3 | Qwen3-VL-8B GRPO LoRA, step3800 |
| mask_predictor_paperalign_candidate | 21.2 | last existing paper-align checkpoint, not validated best/final |
| vlm_comparison | 720.4 | paper-index continuous VLM comparison, epoch0 |
| joint_branch | 1350.8 | last normal joint checkpoint; gate-edited ablations excluded |
| caption_dpo | 630.4 | last available DPO checkpoint, not asserted best |
| native_narr_dit | 333.8 | native narration DiT LoRA, epoch4 |

Historical Spatial epoch2 使用 teacher captions 训练，不冒称新的 GRPO-caption
重训结果；PhiSeg epoch9 对应 exo_full_context/BN 实验支路，推理需匹配
`--exo_full_context --bn_batch_stats` 与数据设置。paperalign epoch4 只是候选，
未声明最佳/收敛。辅助 joint/VLM/DPO/native-narr 权重不可替代主分支。
SFT/GRPO 为 Qwen3-VL-8B 的 rank16/alpha32 LoRA，非机器人项目的 27B 权重。
Adapter 权重原样保留，配置只将基座路径规范为官方 Qwen ID。

## 接到现有代码（不会自动训练或推理）

GitHub 源码：`https://github.com/coisini-gif/exo-ego-video-converter`（私密仓库需访问权限）。
下载权重包后，在源码 checkout 的 `code/core` 下使用模型。

```bash
BUNDLE=/your/downloaded/ego_exo_5gb_20261102
CORE=/your/exo-ego-video-converter/code/core
# 先看计划；无写入、无模型加载
python "$BUNDLE/tools/attach_model_bundle.py" --bundle "$BUNDLE" --code-root "$CORE"
# 仅对不存在的资源建链接，旧版 loader 按已知 SHA256 安全补丁；有自定义改动会拒绝覆盖
python "$BUNDLE/tools/attach_model_bundle.py" --bundle "$BUNDLE" --code-root "$CORE" --apply
# 文件完整性校验（需要读完整包，但不使用 GPU）
python "$BUNDLE/tools/verify_model_bundle.py" --bundle "$BUNDLE"
```

Wan 的这两个索引**不能直接传入旧版二进制 loader**。兼容补丁分别把
DiT、T5 的 shard 列表传给一个 `ModelConfig(path=[...])`，再加入 VAE；
已覆盖 HOI/Global/Spatial 推理、generator training defaults 和 reward preview
共用的 build_pipe。原单文件路径仍然兼容，`WAN_MODEL_ROOT` 可覆盖 Wan 位置。
这不是标准 diffusers 架构转换；不要直接对 Wan 分片子目录调用
`transformers.AutoModel.from_pretrained`，也不需要先合并回 >5GB 文件。

若用 research 旧入口，设置 `MODEL_ROOT=$BUNDLE/models`，并显式指定对应
`$BUNDLE/research/...` 检查点；这些旧入口仍需用 `wan_model_paths` 解析 Wan
组件，或采用 core 主入口。未声称所有历史脚本均已自动改为分片加载。
运行推理/训练还需要论文对应数据、mask、caption、第三方框架和正确版本。
**权重完整性校验并不等于完整 GPU 复现或论文指标复现。**

## 校验与 HF

`bundle_manifest.json` / `CHECKSUMS.sha256` 提供文件哈希；两个大组件各自的
`reshard_manifest.json` 还包含每个原张量的 SHA256，输出独立回读逐张量验证。
`native_reader_validation.json` 使用原生 safetensors CPU reader 验证所有
名称、形状和 dtype，未实例化模型/分配 GPU。

整个目录可作为 **public HF model repo** 的上传目录（含模型/权重 README）。
如只发布自训产物，可仅上传 `checkpoints/` 和 `research/`，依赖官方基座。
本地分片流程**没有运行网络上传**；本包分发目标为 `diffusion-gif/any2ego` 公开模型仓。GitHub token
不能用于 HF。不保存或打包密钥。可在 HF 单独建 repo 后使用 `hf upload`
或 huggingface_hub 上传目录；Wan 模型资源布局需保留不变。

## 分发与导出记录

分发目标：`diffusion-gif/any2ego`，`model`，Public。基座与自训权重未合并，原张量内容未改变。`bundle_manifest.json` 中的 `upload_run=false` 等运行字段描述原始**本地导出阶段**，不是此 HF 仓库的传输状态。分发版只调整 README 的分发说明并相应更新文件校验清单；数据和密钥不在包内。

## Public distribution status

Repository: `diffusion-gif/any2ego` (`model`, Public). All listed tensor files are complete and remote hashes verified.
Source export execution booleans describe the original local export, not current Hub upload status.
See `LICENSES/UPSTREAM.md` for upstream attribution and component licenses.

## Historical training-data index

`TRAINING_DATA_INDEX.json` is attached to this model download. It identifies
retained ORIGINAL training JSON/CSV/Parquet, pinned protected snapshot revisions,
file hashes, original legacy observation backups and separately labeled later data.
Original restricted annotations remain private; no data-owner credentials are included.

Public registry: https://huggingface.co/datasets/diffusion-gif/training-data-index

```bash
# For old trajectory checkpoints; inspect other dataset IDs for Any2Ego:
python tools/fetch_training_data.py --index TRAINING_DATA_INDEX.json --dataset ego_exo_original_training_inputs --output data_download
# after owner login / dry-run inspection add --execute
```

A pointer index cannot guarantee that an unbacked original video remains available
forever. The large Ego-Exo RGB/GT-mask collection is not mirrored here. Launch-time
content hashes were not recorded for all components; current retained snapshots
and actual verified path bindings are explicitly distinguished in the index.