---
language:
- zh
- en
base_model: Wan-AI/Wan2.1-T2V-1.3B
tags:
- stereo
- wan2.1
- pytorch
- image-to-image
---

# 3D VAE Step2

图像与视频混合训练的左目生成右目，训练至 **14,000 steps** 的原始 full checkpoint。

代码与完整准备流程：[WangHaiyan378/3D_VAE](https://github.com/WangHaiyan378/3D_VAE)，发布时对应提交 `77f53f5`。

- 权重文件：`step_14000.pt`，17,030,129,902 bytes。
- Wan2.1-T2V-1.3B DiT，全量微调；32 通道输入由噪声 latent（16）与左目 latent（16）拼接。
- checkpoint 包含 `model`、`optim`、`step`、`finetune`、`cfg`，保留完整优化器状态。
- 配套 `stage2_mix.yaml` 是代码仓库的可迁移配置模板；原始训练配置保存在 checkpoint 的 `cfg` 中，包含原训练环境路径，使用时请按本机路径调整。
- 本仓库只提供该阶段 checkpoint；官方 Wan/VAE/T5 权重和文本缓存需要按代码仓库说明准备。
- 文件是项目自定义 PyTorch checkpoint，需要先安装并在代码仓库内使用；不是 Diffusers 或 Transformers 的 `from_pretrained` 格式。原始配置包含项目 Config 对象，项目加载器使用 `weights_only=False`。

## 下载及使用

在代码仓库根目录、安装依赖后执行：

```python
from huggingface_hub import hf_hub_download
from pathlib import Path
import shutil

downloaded = hf_hub_download('sdfwasdf/3D_VAE_Step2_model', 'step_14000.pt')
target = Path('output/mix_1.3b_full/checkpoints/latest.pt')
target.parent.mkdir(parents=True, exist_ok=True)
shutil.copyfile(downloaded, target)
```

按代码仓库 README 准备官方权重与文本缓存，再运行：

```bash
python -m video.stereo_mix.infer.infer_video --config configs/stage2_mix.yaml --ckpt output/mix_1.3b_full/checkpoints/latest.pt --input left.mp4 --output right.mp4 --num-frames 81 --steps 30
```

本阶段从 [Step1 的 step_4000.pt](https://huggingface.co/sdfwasdf/3D_VAE_Step1_model) 初始化。可直接作为代码仓库 Stage3 深度条件训练的 `model.init_from`。

文件字节数与 SHA-256 见 `checkpoint_info.json` 和 `SHA256SUMS`。