turbot2va-ltx2 / code /README.md
luyu1021's picture
Add documented LTX-2 training source, recipes and checkpoint release plan
3da673c verified
|
Raw History Blame Contribute Delete
6.32 kB

TurboT2VA-LTX2

LTX-2 19B 音视频生成模型的 DCM、SCM、RCM 与 DMD-only 训练整理,依据 2026-11-19 工作区实际源码、保存配置、checkpoint 元数据和评测文件建立。本仓库保留完整训练实现、推理、LMDB 工具、精确 JVP、恢复逻辑,以及可追溯的训练分支记录。

模型基座是 Lightricks/LTX-2 的 ltx-2-19b-dev.safetensors。这是研究训练快照;最新 checkpoint 不自动代表质量最佳,直接 SCM 和部分后期分支含故障/退化对照。

从哪里读

文件 内容
训练指南 配置参数、分支来源、数据流、显存设置、跨阶段与同阶段恢复
权重清单 15 个关键版本、真实 completed/next step、分片、体积、续训范围
推理指南 已发布 generator 的下载、SHA256、基座依赖与推理命令
评测说明 原始/增强提示、种子、质量与多样性、已知限制
源码整理说明 主训练工作树、上游/推理副本、历史源码、许可证
发布交接 GitHub/HF 职责、上传命令、远端核验及当前状态
带注释的配置 10 条实际训练配方;配置默认不继承原机器的恢复路径
机器可读实验总清单 56 个目录、91 个 checkpoint、元数据、optimizer 是否保留

环境

训练工作区实际使用 Python 3.11、PyTorch 2.7.0+cu128、CUDA 12.8、8 张 H20;部分早期实验是 16 卡,不能按文件夹名推断等价训练预算。保留 Pixi 配置 和 lockfile;原包依赖里的版本范围不是全部依赖的精确冻结版本。

cd LTX-2
pixi install
pixi run install-local
cd ..

也可在 Python 3.11 环境中先安装固定 CUDA PyTorch,再安装四个本地包:

python -m pip install torch==2.7.0+cu128 torchvision==0.22.0+cu128 torchaudio==2.7.0+cu128 \
  --index-url https://download.pytorch.org/whl/cu128
python -m pip install -e LTX-2/packages/ltx-core -e LTX-2/packages/ltx-pipelines \
  -e LTX-2/packages/ltx-causal -e LTX-2/packages/ltx-distillation pyyaml

下载官方 LTX-2 dev 权重与 google/gemma-3-12b-it-qat-q4_0-unquantized 文本编码器,准备 video_id,prompt 两列 CSV 和 SCM 音视频 latent LMDB。基础权重、真实训练视频、LMDB 与登录凭据不包含在 GitHub 包里。

export TURBO_CHECKPOINT_PATH=/path/to/ltx-2-19b-dev.safetensors
export TURBO_GEMMA_PATH=/path/to/gemma-3-12b-it-qat-q4_0-unquantized
export TURBO_DATA_PATH=/path/to/mapping.csv
export TURBO_SCM_DATA_PATH=/path/to/scm_latent_lmdb

训练入口

先查看 dry-run 的最终 YAML 和 torchrun 命令。以下命令在已安装四个包的 Python 环境里执行;使用 Pixi 时将 python 换为 LTX-2/.pixi/envs/default/bin/python。

python scripts/launch.py dcm_beta0 --output ./outputs/dcm_beta0 --max-steps 2000 --dry-run
python scripts/launch.py dcm_beta0 --output ./outputs/dcm_beta0 --max-steps 2000

# DCM -> SCM:只继承 generator,SCM optimizer 和步数重新开始。
python scripts/launch.py scm_from_dcm2000 --output ./outputs/scm_prefix \
  --init ./outputs/dcm_beta0/checkpoints/checkpoint_002000 --max-steps 500

# SCM -> RCM:只继承 generator,critic/teacher 从官方基座初始化。
python scripts/launch.py rcm_from_scm500 --output ./outputs/rcm \
  --init ./outputs/scm_prefix/checkpoints/checkpoint_000500

# 同阶段恢复:需要该 checkpoint 的 optim/、rng/ 和 sharded/ 全部齐全。
python scripts/launch.py rcm_from_scm500 --output ./outputs/rcm \
  --resume ./outputs/rcm/checkpoints/checkpoint_003500

configs/ 中保留原实验的实际 keep_optimizer_states。若希望保留所有恢复状态,添加 --keep-optimizer-states 0;这会显著增加存储量。max_steps=0 表示没有预定终点;需要固定预算时显式设置 --max-steps。安全停止使用输出目录的 STOP_REQUESTED,训练在步边界保存后退出。

推理与发布

当前 HF 已上传并校验 inference/published_turbot2av_main/model.pth(37.75 GB,仅 generator)及其两份元数据,下载与调用见 推理指南。它的原标签是 stage3/3500,尚未证明与 exp5 同步训练快照相同。

15 份 DCP 训练快照的全部模型分片已上传并核验,HF 保存 checkpoints/<artifact>/sharded/ 和 metadata.pth,并在指定恢复版本附 optim/、rng/。原推理入口直接支持该目录:

python -m ltx_distillation.tools.run_av_inference_eval \
  --config_path configs/rcm_from_scm500.yaml --prompts_file examples/prompts.txt \
  --model_kind student --student_checkpoint /path/to/checkpoints/rcm_scm500_step3500 \
  --student_param rcm_trig --student_strict --output_dir ./outputs/inference --seed 12345

也可用 scripts/export_generator.py 从 DCP 导出 generator .pth。原训练恢复器需要 critic 的联合模型不能使用该文件精确恢复;文件用于推理或 weights-only 初始化。

目标 GitHub 名称与 HF 模型仓库名称均为 turbot2va-ltx2。2026-11-19 已创建私有 GitHub liuyuxiang1021/turbot2va-ltx2 和公开 HF 模型仓库 luyu1021/turbot2va-ltx2,代码及模型说明已上传并核验。37.75 GB generator 推理参考及两份元数据已上传,大小与远端 SHA256 核验通过。15 份 DCP 训练快照约 1.322 TB 已全部上传并核验,其中 4 份带完整 8-rank optimizer/RNG。HF 已公开并核验匿名访问,GitHub 保持私有。实际发布范围见 机器可读记录,具体范围和进度见 发布交接。

许可证和来源

保留完整 LTX-2 Community License;本训练代码与衍生模型沿用该许可证。各已修改源码包含 TurboT2VA 修改说明,来源清单 记录原文件哈希。原始工作树基于 liuyuxiang1021/TurboT2AV commit 402c7b304c4bbf21e1b35312ad59c2c7abe88aab,另包含未提交的恢复与保存变更,已保留 patch。上游模型、Gemma 和数据分别依赖其来源条款。