Upload trained step_14000.pt with config and SHA-256

README.md

@@ -0,0 +1,49 @@
+---
+language:
+- zh
+- en
+base_model: Wan-AI/Wan2.1-T2V-1.3B
+tags:
+- stereo
+- wan2.1
+- pytorch
+- image-to-image
+---
+
+# 3D VAE Step2
+
+图像与视频混合训练的左目生成右目，训练至 **14,000 steps** 的原始 full checkpoint。
+
+代码与完整准备流程：[WangHaiyan378/3D_VAE](https://github.com/WangHaiyan378/3D_VAE)，发布时对应提交 `77f53f5`。
+
+- 权重文件：`step_14000.pt`，17,030,129,902 bytes。
+- Wan2.1-T2V-1.3B DiT，全量微调；32 通道输入由噪声 latent（16）与左目 latent（16）拼接。
+- checkpoint 包含 `model`、`optim`、`step`、`finetune`、`cfg`，保留完整优化器状态。
+- 配套 `stage2_mix.yaml` 是代码仓库的可迁移配置模板；原始训练配置保存在 checkpoint 的 `cfg` 中，包含原训练环境路径，使用时请按本机路径调整。
+- 本仓库只提供该阶段 checkpoint；官方 Wan/VAE/T5 权重和文本缓存需要按代码仓库说明准备。
+- 文件是项目自定义 PyTorch checkpoint，需要先安装并在代码仓库内使用；不是 Diffusers 或 Transformers 的 `from_pretrained` 格式。原始配置包含项目 Config 对象，项目加载器使用 `weights_only=False`。
+
+## 下载及使用
+
+在代码仓库根目录、安装依赖后执行：
+
+```python
+from huggingface_hub import hf_hub_download
+from pathlib import Path
+import shutil
+
+downloaded = hf_hub_download('sdfwasdf/3D_VAE_Step2_model', 'step_14000.pt')
+target = Path('output/mix_1.3b_full/checkpoints/latest.pt')
+target.parent.mkdir(parents=True, exist_ok=True)
+shutil.copyfile(downloaded, target)
+```
+
+按代码仓库 README 准备官方权重与文本缓存，再运行：
+
+```bash
+python -m video.stereo_mix.infer.infer_video --config configs/stage2_mix.yaml --ckpt output/mix_1.3b_full/checkpoints/latest.pt --input left.mp4 --output right.mp4 --num-frames 81 --steps 30
+```
+
+本阶段从 [Step1 的 step_4000.pt](https://huggingface.co/sdfwasdf/3D_VAE_Step1_model) 初始化。可直接作为代码仓库 Stage3 深度条件训练的 `model.init_from`。
+
+文件字节数与 SHA-256 见 `checkpoint_info.json` 和 `SHA256SUMS`。

SHA256SUMS

@@ -0,0 +1,4 @@
+67df9a81ca47b715617a3c7020274b8a6a166b92931ba05decee686688a395ee  README.md
+fe5353ab444328dd2a96bd8c3cb219b1e052d5b39b487c684abc57161ebaffe3  checkpoint_info.json
+8c2618a9462489fee7d130e2b39b05269fd5f0c4f0a5b1bcbdd36e9b2cad22a7  stage2_mix.yaml
+b05f711da2a2af2ae0d2d92b8c8ced48eb051ffcf5ad238fcb667666e4ee7f82  step_14000.pt

checkpoint_info.json

@@ -0,0 +1,28 @@
+{
+  "repo_id": "sdfwasdf/3D_VAE_Step2_model",
+  "stage": 2,
+  "step": 14000,
+  "finetune": "full",
+  "filename": "step_14000.pt",
+  "size_bytes": 17030129902,
+  "sha256": "b05f711da2a2af2ae0d2d92b8c8ced48eb051ffcf5ad238fcb667666e4ee7f82",
+  "checkpoint_keys": [
+    "model",
+    "optim",
+    "step",
+    "finetune",
+    "cfg"
+  ],
+  "model_parameter_keys": 825,
+  "patch_embedding_shape": [
+    1536,
+    32,
+    1,
+    2,
+    2
+  ],
+  "includes_optimizer": true,
+  "code_repository": "https://github.com/WangHaiyan378/3D_VAE",
+  "code_revision": "77f53f5e2cc759f6418e0bd0e73eec1def63016a",
+  "initialization": "sdfwasdf/3D_VAE_Step1_model/step_4000.pt"
+}

stage2_mix.yaml

@@ -0,0 +1,73 @@
+# ============================================================================
+# 图像+视频混合 左目->右目（Wan2.1-T2V-1.3B 主干）—— 全量微调 DiT
+#   结构与单帧图像模型完全一致：输入 32 通道 = [噪声(16) | 左目(16)]，
+#   不改 Conv3d；一次送入整段 clip（视频81帧->21潜时片；图像->1潜时片）。
+#   无历史/mask 通道；损失只在潜空间做 flow-matching MSE。
+#   按 video_ratio 混合图像 batch 与视频 batch，保留原图像左转右能力。
+# ============================================================================
+seed: 42
+
+# ---- 数据 ----
+data:
+  # 图像：stereo_concat.prepare_data 产出的预处理根目录（uuid/left.jpg,right.jpg + splits.json）
+  image_processed_root: datasets/picture_480x832
+  image_max_items: null
+  # 视频：下载脚本产出的左右目视频根目录 + scan_videos 生成的 splits.json
+  video_root: datasets/videos
+  video_split_file: null       # 留空则默认 <video_root>/splits.json
+  video_max_items: null
+  size: [480, 832]             # 统一分辨率 [H, W]（横屏），图像/视频一致
+  num_frames: 81               # 视频每 clip 帧数，需 4k+1
+  samples_per_video: 4         # 每段视频每 epoch 随机采样次数
+  video_ratio: 0.5             # 每个优化步选「视频 batch」的概率（其余为图像 batch）
+
+  # eval 集（从各自 train 划分预留，不参与训练）
+  eval_images: 20              # 预留作 eval 的图像对数量
+  eval_videos: 5               # 预留作 eval 的视频段数量
+
+# ---- 模型（与图像模型一致）----
+model:
+  backbone: t2v-1.3B
+  checkpoint_dir: checkpoints/Wan2.1
+  wan_repo: third_party/Wan2.1
+  vae_checkpoint: null
+  text_cache: datasets/text_ctx_1.3b.pt
+  # 用预训练图像模型 checkpoint 初始化（结构一致，键完全对齐）
+  init_from: output/concat_1.3b_full/checkpoints/latest.pt
+  dtype: bfloat16
+  device: cuda
+
+  finetune: full               # full | lora
+
+  flow_match:
+    scheme: logit_normal
+    logit_mean: 0.0
+    logit_std: 1.0
+    shift: 1.0
+  infer:
+    shift: 5.0
+
+  lora:                        # finetune=lora 时生效
+    r: 16
+    alpha: 16
+    dropout: 0.0
+    targets: [q, k, v, o, ffn]
+
+# ---- 训练 ----
+train:
+  output_dir: output/mix_1.3b_full
+  lr: 2.0e-5                   # 已有图像能力，做视频泛化用更小 lr
+  beta2: 0.95
+  weight_decay: 0.0
+  image_batch_size: 16          # 图像 batch（单帧，显存小）
+  video_batch_size: 2          # 视频 batch（81帧，显存重）
+  num_workers: 4
+  grad_accum: 2
+  max_steps: 40000
+  log_every: 20
+  save_every: 1000
+  eval_every: 500              # 每多少步在 eval 集上算一次 图像/视频 loss
+  max_grad_norm: 1.0
+  grad_checkpointing: true
+  ddp_find_unused: false
+  resume: auto

step_14000.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b05f711da2a2af2ae0d2d92b8c8ced48eb051ffcf5ad238fcb667666e4ee7f82
+size 17030129902