turbot2va-ltx2 / code /docs /TRAINING.md
luyu1021's picture
Add documented LTX-2 training source, recipes and checkpoint release plan
3da673c verified
|
Raw History Blame Contribute Delete
6.99 kB

LTX-2 训练配方、实际参数和恢复语义

日期:2026-11-19。本指南引用本地保存的 config.yaml、checkpoint 元数据和 run provenance。模板、文件夹名称和论文读图估值不能替代这些实际记录。

训练分支

flowchart TD
  B[官方 LTX-2 dev] --> D0[DCM beta1=0 / exp1]
  B --> D9[DCM beta1=0.9 / exp4]
  D0 -->|step2000 weights-only| S[SCM500 / exp3]
  S -->|weights-only| R5[RCM / exp5 / checkpoint3500]
  S -->|weights-only| DM[DMD-only / next_step1525]
  S -->|full resume| SC[SCM-only继续 / next_step2119]
  D9 -->|step2500 weights-only| R6[RCM / exp6 / checkpoint5000]
  B --> DR[直接RCM / next_step3504]
  B --> S0[直接SCM beta1=0]
  B --> S9[直接SCM beta1=0.9 / next_step1619]

exp6 没有独立 SCM500 阶段;它从 DCM2500 直接进入联合 RCM。exp5 与 DMD-only 使用相同 SCM500 父权重,但关闭 SCM 会改变数据入口,所以不能把两支称为严格 loss-only 单变量因果消融。

实际核心参数

发布配方 G LR critic LR beta1 SCM scale grad clip 更新节奏 来源
dcm_beta0 2e-5 无更新 0 无 SCM 3 每步 G exp1_dcm_8gpu
dcm_beta09 2e-5 无更新 0.9 无 SCM 3 每步 G exp4_dcm_beta1_09
scm_from_dcm2000 1e-5 无更新 0 100 99999 每步 G exp3_dcm2000_scm500
rcm_from_scm500 2e-5 2e-5 0 1 3 5 loop steps: 1 G + 4 critic exp5_dcm2000_scm500_rcm
rcm_from_dcm2500_beta09 2e-5 2e-5 0 1 3 1 G + 4 critic exp6_dcm2500_beta09_rcm
dmd_only_from_scm500 2e-5 2e-5 0 关闭 3 1 G + 4 critic dcm2000_scm500_dmdonly_20261117
rcm_direct 2e-5 2e-5 0 1 3 1 G + 4 critic direct_rcm_retrain_20261116
scm_direct_beta0 1e-5 无更新 0 100 99999 每步 G exp2_scm_8gpu
scm_direct_beta09 1e-5 无更新 0.9 100 99999 每步 G direct_scm_beta09_20261116
scm_continue_from_prefix 1e-5 无更新 0 100 99999 每步 G b_scm_only_cont_20261116

共同设置:AdamW beta2=0.999、weight decay=0.01、constant LR scheduler、seed=42、每卡 batch=1、视频 121 帧 / 512×768 / 24fps。联合阶段 dmd_weight=1、scm_weight=1。权重之间的比较还需考虑前置阶段和 G 更新次数。

lr 是通用默认值,生成器 optimizer 优先取 generator_lr。DCM 保存配置中的 lr=2e-6,实际生成器是 2e-5,写训练参数时应引用后者。日志 clip_grad_norm_ 返回值是裁剪前梯度范数。

DCM 的 dcm_loss_scale=100、teacher 离散 48 格、skip=1、time shift=5。SCM strict 路径使用 scm_fd_type=0 的精确 JVP;模型内部 JVP 实现见 models/ltx_internal_jvp.py 与 FlashAttention JVP 支持模块。改成有限差分会改变训练目标。

TrigFlow 推理时间序列为 pi/2 -> 1.5 -> 1.4 -> 1.0 -> 0,产生 4 次模型步。teacher CFG video=3、audio=5;student benchmark 的 CFG 关闭。teacher benchmark 与训练中的 teacher 前向计算是两件事;禁用 teacher benchmark 不会移除训练目标的 teacher。

数据准备和分布限制

TextDataset 支持每行一个 prompt 的文本或带 prompt/caption 列的 CSV;正式本地训练使用 data/inputs/mapping.csv。SCM/DCM 使用 ODERegressionLMDBDataset 读取预编码音视频 latent 和对应文本。准备工具:

python -m ltx_distillation.tools.create_scm_latent_lmdb \
  --mapping_csv /path/to/mapping.csv --video_dir /path/to/videos \
  --checkpoint_path /path/to/ltx-2-19b-dev.safetensors \
  --output_lmdb /path/to/scm_latent_lmdb --num_workers 8

本地主要 latent 数据位于 data/datasets/scm_latent_lmdb_60k。名字里的“60k”不能代替数据库的真实条目计数。训练 CSV 和 latent/视频留在原工作区;发布附来源 hash 与运行配置,不复制全部训练输入。

exp5 的 DMD/critic 共享 SCM batch 的 prompt,并设置 reverse_scm_data_order=true。DMD-only 关闭 SCM 后走 CSV TextDataset,虽然配置里仍可能保留 scm_data_path,实际不打开该 SCM LMDB。两套 prompt 集合和顺序未逐条证明一致。

初始化和恢复

跨阶段:--init <父checkpoint> 等价于 resume_training_state=false。载入 generator、建立新 optimizer/scheduler、step 归零。首次 RCM/DMD-only 的 critic 与 teacher 从官方 dev 初始化,不能把父 SCM student 复制成 critic。

同阶段:--resume <本阶段checkpoint> 设置 resume_training_state=true 和 require_full_resume_state=true。精确恢复需要 generator、存在时的 critic、对应优化器、scheduler、每 rank RNG、dataloader 位置。optim/rank_*.pth 是 rank-local optimizer,恢复使用与保存一致的 world size 和模型参数布局;本次 4 份完整发布状态均为 8 卡。

scm_continue_from_prefix 从已有 SCM500 延续,不新建 SCM optimizer,使用 --resume。新 recipe 不能自动猜测父 checkpoint;scripts/launch.py 缺少父路径时直接报错,避免从基座误启动。

文件夹步数存在不同语义。周期性保存可能记录 completed_step=3500,next_step=3501;安全停止 checkpoint_001525 记录 completed_step=1524,next_step=1525。恢复始终读取元数据,不能把目录编号直接当已完成 G 更新数。

历史 keep_optimizer_states=2 删除较旧优化器分片;元数据保留模型可读性,并不意味着其 optimizer 仍在磁盘。keep_optimizer_states=0 保留全部。只上传模型层的版本不会称为完整恢复快照,即使原 metadata.pth 还记录源机器曾有 optimizer;以 RELEASE_METADATA.json 和发布清单为准。

显存和多机

生成器 FSDP full_shard、gradient checkpointing、BF16;联合阶段 separate_generator_critic_phases=true,TURBO_PARK_CRITIC_OPTIM=1 在不更新 critic 时暂存其 optimizer 到 CPU。teacher/critic 的 FSDP offload 设置见每条 YAML。不同分支 offload 与数据流并不完全相同。

单机原环境使用 expandable_segments:True 缓解 allocator 碎片;早期 16 卡 RDMA 情况不设置这一值。新入口只为单机默认启用。多机需要可达 master_addr、共享权重/数据路径,以及按集群网卡实际配置 NCCL,不保留原机器 IP 和接口名作为默认值。

日志、停止和验证边界

输出保存最终有效 config.yaml、训练日志、benchmark/、checkpoints/。创建 <output>/STOP_REQUESTED 请求安全停止;再次恢复前由操作者明确移除停止文件。本整理没有启动或接管任何训练。

历史源码与 launch-time 配置保存在 docs/experiments/<run>/provenance/,部分运行的训练器经过未提交修复,不能只引用 Git HEAD 证明源码完全一致。CPU 数学/数据回归与 dry-run 用于核对发布代码;它们不代替新机器上的 8 卡恢复及端到端视频生成验证。