File size: 6,322 Bytes
76b7b25
 
 
 
 
 
 
 
 
 
 
 
932dae4
76b7b25
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
932dae4
 
3da673c
76b7b25
 
 
 
 
 
 
 
 
 
3da673c
76b7b25
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
# TurboT2VA-LTX2

LTX-2 19B 音视频生成模型的 DCM、SCM、RCM 与 DMD-only 训练整理,依据 2026-11-19 工作区实际源码、保存配置、checkpoint 元数据和评测文件建立。本仓库保留完整训练实现、推理、LMDB 工具、精确 JVP、恢复逻辑,以及可追溯的训练分支记录。

模型基座是 `Lightricks/LTX-2` 的 `ltx-2-19b-dev.safetensors`。这是研究训练快照;最新 checkpoint 不自动代表质量最佳,直接 SCM 和部分后期分支含故障/退化对照。

## 从哪里读

| 文件 | 内容 |
| --- | --- |
| [训练指南](docs/TRAINING.md) | 配置参数、分支来源、数据流、显存设置、跨阶段与同阶段恢复 |
| [权重清单](docs/CHECKPOINTS.md) | 15 个关键版本、真实 completed/next step、分片、体积、续训范围 |
| [推理指南](docs/INFERENCE.md) | 已发布 generator 的下载、SHA256、基座依赖与推理命令 |
| [评测说明](docs/EVALUATION.md) | 原始/增强提示、种子、质量与多样性、已知限制 |
| [源码整理说明](docs/CODE_LAYOUT.md) | 主训练工作树、上游/推理副本、历史源码、许可证 |
| [发布交接](docs/PUBLISHING.md) | GitHub/HF 职责、上传命令、远端核验及当前状态 |
| [带注释的配置](configs/) | 10 条实际训练配方;配置默认不继承原机器的恢复路径 |
| [机器可读实验总清单](docs/experiments/inventory.json) | 56 个目录、91 个 checkpoint、元数据、optimizer 是否保留 |

## 环境

训练工作区实际使用 Python 3.11、PyTorch `2.7.0+cu128`、CUDA 12.8、8 张 H20;部分早期实验是 16 卡,不能按文件夹名推断等价训练预算。保留 [Pixi 配置](LTX-2/pyproject.toml) 和 lockfile;原包依赖里的版本范围不是全部依赖的精确冻结版本。

```bash
cd LTX-2
pixi install
pixi run install-local
cd ..
```

也可在 Python 3.11 环境中先安装固定 CUDA PyTorch,再安装四个本地包:

```bash
python -m pip install torch==2.7.0+cu128 torchvision==0.22.0+cu128 torchaudio==2.7.0+cu128 \
  --index-url https://download.pytorch.org/whl/cu128
python -m pip install -e LTX-2/packages/ltx-core -e LTX-2/packages/ltx-pipelines \
  -e LTX-2/packages/ltx-causal -e LTX-2/packages/ltx-distillation pyyaml
```

下载官方 LTX-2 dev 权重与 `google/gemma-3-12b-it-qat-q4_0-unquantized` 文本编码器,准备 `video_id,prompt` 两列 CSV 和 SCM 音视频 latent LMDB。基础权重、真实训练视频、LMDB 与登录凭据不包含在 GitHub 包里。

```bash
export TURBO_CHECKPOINT_PATH=/path/to/ltx-2-19b-dev.safetensors
export TURBO_GEMMA_PATH=/path/to/gemma-3-12b-it-qat-q4_0-unquantized
export TURBO_DATA_PATH=/path/to/mapping.csv
export TURBO_SCM_DATA_PATH=/path/to/scm_latent_lmdb
```

## 训练入口

先查看 dry-run 的最终 YAML 和 torchrun 命令。以下命令在已安装四个包的 Python 环境里执行;使用 Pixi 时将 `python` 换为 `LTX-2/.pixi/envs/default/bin/python`。

```bash
python scripts/launch.py dcm_beta0 --output ./outputs/dcm_beta0 --max-steps 2000 --dry-run
python scripts/launch.py dcm_beta0 --output ./outputs/dcm_beta0 --max-steps 2000

# DCM -> SCM:只继承 generator,SCM optimizer 和步数重新开始。
python scripts/launch.py scm_from_dcm2000 --output ./outputs/scm_prefix \
  --init ./outputs/dcm_beta0/checkpoints/checkpoint_002000 --max-steps 500

# SCM -> RCM:只继承 generator,critic/teacher 从官方基座初始化。
python scripts/launch.py rcm_from_scm500 --output ./outputs/rcm \
  --init ./outputs/scm_prefix/checkpoints/checkpoint_000500

# 同阶段恢复:需要该 checkpoint 的 optim/、rng/ 和 sharded/ 全部齐全。
python scripts/launch.py rcm_from_scm500 --output ./outputs/rcm \
  --resume ./outputs/rcm/checkpoints/checkpoint_003500
```

`configs/` 中保留原实验的实际 `keep_optimizer_states`。若希望保留所有恢复状态,添加 `--keep-optimizer-states 0`;这会显著增加存储量。`max_steps=0` 表示没有预定终点;需要固定预算时显式设置 `--max-steps`。安全停止使用输出目录的 `STOP_REQUESTED`,训练在步边界保存后退出。

## 推理与发布

当前 HF 已上传并校验 `inference/published_turbot2av_main/model.pth`(37.75 GB,仅 generator)及其两份元数据,下载与调用见 [推理指南](docs/INFERENCE.md)。它的原标签是 stage3/3500,尚未证明与 exp5 同步训练快照相同。

15 份 DCP 训练快照的全部模型分片已上传并核验,HF 保存 `checkpoints/<artifact>/sharded/` 和 `metadata.pth`,并在指定恢复版本附 `optim/`、`rng/`。原推理入口直接支持该目录:

```bash
python -m ltx_distillation.tools.run_av_inference_eval \
  --config_path configs/rcm_from_scm500.yaml --prompts_file examples/prompts.txt \
  --model_kind student --student_checkpoint /path/to/checkpoints/rcm_scm500_step3500 \
  --student_param rcm_trig --student_strict --output_dir ./outputs/inference --seed 12345
```

也可用 `scripts/export_generator.py` 从 DCP 导出 generator `.pth`。原训练恢复器需要 critic 的联合模型不能使用该文件精确恢复;文件用于推理或 weights-only 初始化。

目标 GitHub 名称与 HF 模型仓库名称均为 `turbot2va-ltx2`。2026-11-19 已创建私有 GitHub `liuyuxiang1021/turbot2va-ltx2` 和公开 HF 模型仓库 `luyu1021/turbot2va-ltx2`,代码及模型说明已上传并核验。37.75 GB generator 推理参考及两份元数据已上传,大小与远端 SHA256 核验通过。15 份 DCP 训练快照约 1.322 TB 已全部上传并核验,其中 4 份带完整 8-rank optimizer/RNG。HF 已公开并核验匿名访问,GitHub 保持私有。实际发布范围见 [机器可读记录](release/PUBLISHED_SCOPE.json),具体范围和进度见 [发布交接](docs/PUBLISHING.md)。

## 许可证和来源

保留完整 [LTX-2 Community License](LICENSE);本训练代码与衍生模型沿用该许可证。各已修改源码包含 TurboT2VA 修改说明,[来源清单](release/source_manifest.json) 记录原文件哈希。原始工作树基于 `liuyuxiang1021/TurboT2AV` commit `402c7b304c4bbf21e1b35312ad59c2c7abe88aab`,另包含未提交的恢复与保存变更,已保留 patch。上游模型、Gemma 和数据分别依赖其来源条款。