| --- |
| language: |
| - zh |
| - en |
| base_model: Wan-AI/Wan2.1-T2V-1.3B |
| tags: |
| - stereo |
| - wan2.1 |
| - pytorch |
| - image-to-image |
| --- |
| |
| # 3D VAE Step2 |
|
|
| 图像与视频混合训练的左目生成右目，训练至 **14,000 steps** 的原始 full checkpoint。 |
|
|
| 代码与完整准备流程：[WangHaiyan378/3D_VAE](https://github.com/WangHaiyan378/3D_VAE)，发布时对应提交 `77f53f5`。 |
|
|
| - 权重文件：`step_14000.pt`，17,030,129,902 bytes。 |
| - Wan2.1-T2V-1.3B DiT，全量微调；32 通道输入由噪声 latent（16）与左目 latent（16）拼接。 |
| - checkpoint 包含 `model`、`optim`、`step`、`finetune`、`cfg`，保留完整优化器状态。 |
| - 配套 `stage2_mix.yaml` 是代码仓库的可迁移配置模板；原始训练配置保存在 checkpoint 的 `cfg` 中，包含原训练环境路径，使用时请按本机路径调整。 |
| - 本仓库只提供该阶段 checkpoint；官方 Wan/VAE/T5 权重和文本缓存需要按代码仓库说明准备。 |
| - 文件是项目自定义 PyTorch checkpoint，需要先安装并在代码仓库内使用；不是 Diffusers 或 Transformers 的 `from_pretrained` 格式。原始配置包含项目 Config 对象，项目加载器使用 `weights_only=False`。 |
|
|
| ## 下载及使用 |
|
|
| 在代码仓库根目录、安装依赖后执行： |
|
|
| ```python |
| from huggingface_hub import hf_hub_download |
| from pathlib import Path |
| import shutil |
| |
| downloaded = hf_hub_download('sdfwasdf/3D_VAE_Step2_model', 'step_14000.pt') |
| target = Path('output/mix_1.3b_full/checkpoints/latest.pt') |
| target.parent.mkdir(parents=True, exist_ok=True) |
| shutil.copyfile(downloaded, target) |
| ``` |
|
|
| 按代码仓库 README 准备官方权重与文本缓存，再运行： |
|
|
| ```bash |
| python -m video.stereo_mix.infer.infer_video --config configs/stage2_mix.yaml --ckpt output/mix_1.3b_full/checkpoints/latest.pt --input left.mp4 --output right.mp4 --num-frames 81 --steps 30 |
| ``` |
|
|
| 本阶段从 [Step1 的 step_4000.pt](https://huggingface.co/sdfwasdf/3D_VAE_Step1_model) 初始化。可直接作为代码仓库 Stage3 深度条件训练的 `model.init_from`。 |
|
|
| 文件字节数与 SHA-256 见 `checkpoint_info.json` 和 `SHA256SUMS`。 |
|
|
