# LTX-2 训练配方、实际参数和恢复语义 日期:2026-11-19。本指南引用本地保存的 `config.yaml`、checkpoint 元数据和 run provenance。模板、文件夹名称和论文读图估值不能替代这些实际记录。 ## 训练分支 ```mermaid flowchart TD B[官方 LTX-2 dev] --> D0[DCM beta1=0 / exp1] B --> D9[DCM beta1=0.9 / exp4] D0 -->|step2000 weights-only| S[SCM500 / exp3] S -->|weights-only| R5[RCM / exp5 / checkpoint3500] S -->|weights-only| DM[DMD-only / next_step1525] S -->|full resume| SC[SCM-only继续 / next_step2119] D9 -->|step2500 weights-only| R6[RCM / exp6 / checkpoint5000] B --> DR[直接RCM / next_step3504] B --> S0[直接SCM beta1=0] B --> S9[直接SCM beta1=0.9 / next_step1619] ``` exp6 没有独立 SCM500 阶段;它从 DCM2500 直接进入联合 RCM。exp5 与 DMD-only 使用相同 SCM500 父权重,但关闭 SCM 会改变数据入口,所以不能把两支称为严格 loss-only 单变量因果消融。 ## 实际核心参数 | 发布配方 | G LR | critic LR | beta1 | SCM scale | grad clip | 更新节奏 | 来源 | | --- | ---: | ---: | ---: | ---: | ---: | --- | --- | | dcm_beta0 | 2e-5 | 无更新 | 0 | 无 SCM | 3 | 每步 G | exp1_dcm_8gpu | | dcm_beta09 | 2e-5 | 无更新 | 0.9 | 无 SCM | 3 | 每步 G | exp4_dcm_beta1_09 | | scm_from_dcm2000 | 1e-5 | 无更新 | 0 | 100 | 99999 | 每步 G | exp3_dcm2000_scm500 | | rcm_from_scm500 | 2e-5 | 2e-5 | 0 | 1 | 3 | 5 loop steps: 1 G + 4 critic | exp5_dcm2000_scm500_rcm | | rcm_from_dcm2500_beta09 | 2e-5 | 2e-5 | 0 | 1 | 3 | 1 G + 4 critic | exp6_dcm2500_beta09_rcm | | dmd_only_from_scm500 | 2e-5 | 2e-5 | 0 | 关闭 | 3 | 1 G + 4 critic | dcm2000_scm500_dmdonly_20261117 | | rcm_direct | 2e-5 | 2e-5 | 0 | 1 | 3 | 1 G + 4 critic | direct_rcm_retrain_20261116 | | scm_direct_beta0 | 1e-5 | 无更新 | 0 | 100 | 99999 | 每步 G | exp2_scm_8gpu | | scm_direct_beta09 | 1e-5 | 无更新 | 0.9 | 100 | 99999 | 每步 G | direct_scm_beta09_20261116 | | scm_continue_from_prefix | 1e-5 | 无更新 | 0 | 100 | 99999 | 每步 G | b_scm_only_cont_20261116 | 共同设置:AdamW beta2=0.999、weight decay=0.01、constant LR scheduler、seed=42、每卡 batch=1、视频 121 帧 / 512×768 / 24fps。联合阶段 `dmd_weight=1`、`scm_weight=1`。权重之间的比较还需考虑前置阶段和 G 更新次数。 `lr` 是通用默认值,生成器 optimizer 优先取 `generator_lr`。DCM 保存配置中的 `lr=2e-6`,实际生成器是 `2e-5`,写训练参数时应引用后者。日志 `clip_grad_norm_` 返回值是裁剪前梯度范数。 DCM 的 `dcm_loss_scale=100`、teacher 离散 48 格、skip=1、time shift=5。SCM strict 路径使用 `scm_fd_type=0` 的精确 JVP;模型内部 JVP 实现见 `models/ltx_internal_jvp.py` 与 FlashAttention JVP 支持模块。改成有限差分会改变训练目标。 TrigFlow 推理时间序列为 `pi/2 -> 1.5 -> 1.4 -> 1.0 -> 0`,产生 4 次模型步。teacher CFG video=3、audio=5;student benchmark 的 CFG 关闭。teacher benchmark 与训练中的 teacher 前向计算是两件事;禁用 teacher benchmark 不会移除训练目标的 teacher。 ## 数据准备和分布限制 `TextDataset` 支持每行一个 prompt 的文本或带 `prompt`/`caption` 列的 CSV;正式本地训练使用 `data/inputs/mapping.csv`。SCM/DCM 使用 `ODERegressionLMDBDataset` 读取预编码音视频 latent 和对应文本。准备工具: ```bash python -m ltx_distillation.tools.create_scm_latent_lmdb \ --mapping_csv /path/to/mapping.csv --video_dir /path/to/videos \ --checkpoint_path /path/to/ltx-2-19b-dev.safetensors \ --output_lmdb /path/to/scm_latent_lmdb --num_workers 8 ``` 本地主要 latent 数据位于 `data/datasets/scm_latent_lmdb_60k`。名字里的“60k”不能代替数据库的真实条目计数。训练 CSV 和 latent/视频留在原工作区;发布附来源 hash 与运行配置,不复制全部训练输入。 exp5 的 DMD/critic 共享 SCM batch 的 prompt,并设置 `reverse_scm_data_order=true`。DMD-only 关闭 SCM 后走 CSV TextDataset,虽然配置里仍可能保留 `scm_data_path`,实际不打开该 SCM LMDB。两套 prompt 集合和顺序未逐条证明一致。 ## 初始化和恢复 跨阶段:`--init <父checkpoint>` 等价于 `resume_training_state=false`。载入 generator、建立新 optimizer/scheduler、step 归零。首次 RCM/DMD-only 的 critic 与 teacher 从官方 dev 初始化,不能把父 SCM student 复制成 critic。 同阶段:`--resume <本阶段checkpoint>` 设置 `resume_training_state=true` 和 `require_full_resume_state=true`。精确恢复需要 generator、存在时的 critic、对应优化器、scheduler、每 rank RNG、dataloader 位置。`optim/rank_*.pth` 是 rank-local optimizer,恢复使用与保存一致的 world size 和模型参数布局;本次 4 份完整发布状态均为 8 卡。 `scm_continue_from_prefix` 从已有 SCM500 延续,不新建 SCM optimizer,使用 `--resume`。新 recipe 不能自动猜测父 checkpoint;`scripts/launch.py` 缺少父路径时直接报错,避免从基座误启动。 文件夹步数存在不同语义。周期性保存可能记录 `completed_step=3500,next_step=3501`;安全停止 `checkpoint_001525` 记录 `completed_step=1524,next_step=1525`。恢复始终读取元数据,不能把目录编号直接当已完成 G 更新数。 历史 `keep_optimizer_states=2` 删除较旧优化器分片;元数据保留模型可读性,并不意味着其 optimizer 仍在磁盘。`keep_optimizer_states=0` 保留全部。只上传模型层的版本不会称为完整恢复快照,即使原 `metadata.pth` 还记录源机器曾有 optimizer;以 `RELEASE_METADATA.json` 和发布清单为准。 ## 显存和多机 生成器 FSDP full_shard、gradient checkpointing、BF16;联合阶段 `separate_generator_critic_phases=true`,`TURBO_PARK_CRITIC_OPTIM=1` 在不更新 critic 时暂存其 optimizer 到 CPU。teacher/critic 的 FSDP offload 设置见每条 YAML。不同分支 offload 与数据流并不完全相同。 单机原环境使用 `expandable_segments:True` 缓解 allocator 碎片;早期 16 卡 RDMA 情况不设置这一值。新入口只为单机默认启用。多机需要可达 `master_addr`、共享权重/数据路径,以及按集群网卡实际配置 NCCL,不保留原机器 IP 和接口名作为默认值。 ## 日志、停止和验证边界 输出保存最终有效 `config.yaml`、训练日志、`benchmark/`、`checkpoints/`。创建 `/STOP_REQUESTED` 请求安全停止;再次恢复前由操作者明确移除停止文件。本整理没有启动或接管任何训练。 历史源码与 launch-time 配置保存在 `docs/experiments//provenance/`,部分运行的训练器经过未提交修复,不能只引用 Git HEAD 证明源码完全一致。CPU 数学/数据回归与 dry-run 用于核对发布代码;它们不代替新机器上的 8 卡恢复及端到端视频生成验证。