Download code/README.md from luyu1021/turbot2va-ltx2: direct link, hf CLI and curl.
- Browser
- Download file 6.32 kB
-
https://huggingface.co/luyu1021/turbot2va-ltx2/resolve/main/code/README.md
- Command line
-
hf download hf://luyu1021/turbot2va-ltx2/code/README.md
-
curl -L -o README.md https://huggingface.co/luyu1021/turbot2va-ltx2/resolve/main/code/README.md
TurboT2VA-LTX2
LTX-2 19B 音视频生成模型的 DCM、SCM、RCM 与 DMD-only 训练整理,依据 2026-11-19 工作区实际源码、保存配置、checkpoint 元数据和评测文件建立。本仓库保留完整训练实现、推理、LMDB 工具、精确 JVP、恢复逻辑,以及可追溯的训练分支记录。
模型基座是 Lightricks/LTX-2 的 ltx-2-19b-dev.safetensors。这是研究训练快照;最新 checkpoint 不自动代表质量最佳,直接 SCM 和部分后期分支含故障/退化对照。
从哪里读
| 文件 | 内容 |
|---|---|
| 训练指南 | 配置参数、分支来源、数据流、显存设置、跨阶段与同阶段恢复 |
| 权重清单 | 15 个关键版本、真实 completed/next step、分片、体积、续训范围 |
| 推理指南 | 已发布 generator 的下载、SHA256、基座依赖与推理命令 |
| 评测说明 | 原始/增强提示、种子、质量与多样性、已知限制 |
| 源码整理说明 | 主训练工作树、上游/推理副本、历史源码、许可证 |
| 发布交接 | GitHub/HF 职责、上传命令、远端核验及当前状态 |
| 带注释的配置 | 10 条实际训练配方;配置默认不继承原机器的恢复路径 |
| 机器可读实验总清单 | 56 个目录、91 个 checkpoint、元数据、optimizer 是否保留 |
环境
训练工作区实际使用 Python 3.11、PyTorch 2.7.0+cu128、CUDA 12.8、8 张 H20;部分早期实验是 16 卡,不能按文件夹名推断等价训练预算。保留 Pixi 配置 和 lockfile;原包依赖里的版本范围不是全部依赖的精确冻结版本。
cd LTX-2
pixi install
pixi run install-local
cd ..
也可在 Python 3.11 环境中先安装固定 CUDA PyTorch,再安装四个本地包:
python -m pip install torch==2.7.0+cu128 torchvision==0.22.0+cu128 torchaudio==2.7.0+cu128 \
--index-url https://download.pytorch.org/whl/cu128
python -m pip install -e LTX-2/packages/ltx-core -e LTX-2/packages/ltx-pipelines \
-e LTX-2/packages/ltx-causal -e LTX-2/packages/ltx-distillation pyyaml
下载官方 LTX-2 dev 权重与 google/gemma-3-12b-it-qat-q4_0-unquantized 文本编码器,准备 video_id,prompt 两列 CSV 和 SCM 音视频 latent LMDB。基础权重、真实训练视频、LMDB 与登录凭据不包含在 GitHub 包里。
export TURBO_CHECKPOINT_PATH=/path/to/ltx-2-19b-dev.safetensors
export TURBO_GEMMA_PATH=/path/to/gemma-3-12b-it-qat-q4_0-unquantized
export TURBO_DATA_PATH=/path/to/mapping.csv
export TURBO_SCM_DATA_PATH=/path/to/scm_latent_lmdb
训练入口
先查看 dry-run 的最终 YAML 和 torchrun 命令。以下命令在已安装四个包的 Python 环境里执行;使用 Pixi 时将 python 换为 LTX-2/.pixi/envs/default/bin/python。
python scripts/launch.py dcm_beta0 --output ./outputs/dcm_beta0 --max-steps 2000 --dry-run
python scripts/launch.py dcm_beta0 --output ./outputs/dcm_beta0 --max-steps 2000
# DCM -> SCM:只继承 generator,SCM optimizer 和步数重新开始。
python scripts/launch.py scm_from_dcm2000 --output ./outputs/scm_prefix \
--init ./outputs/dcm_beta0/checkpoints/checkpoint_002000 --max-steps 500
# SCM -> RCM:只继承 generator,critic/teacher 从官方基座初始化。
python scripts/launch.py rcm_from_scm500 --output ./outputs/rcm \
--init ./outputs/scm_prefix/checkpoints/checkpoint_000500
# 同阶段恢复:需要该 checkpoint 的 optim/、rng/ 和 sharded/ 全部齐全。
python scripts/launch.py rcm_from_scm500 --output ./outputs/rcm \
--resume ./outputs/rcm/checkpoints/checkpoint_003500
configs/ 中保留原实验的实际 keep_optimizer_states。若希望保留所有恢复状态,添加 --keep-optimizer-states 0;这会显著增加存储量。max_steps=0 表示没有预定终点;需要固定预算时显式设置 --max-steps。安全停止使用输出目录的 STOP_REQUESTED,训练在步边界保存后退出。
推理与发布
当前 HF 已上传并校验 inference/published_turbot2av_main/model.pth(37.75 GB,仅 generator)及其两份元数据,下载与调用见 推理指南。它的原标签是 stage3/3500,尚未证明与 exp5 同步训练快照相同。
15 份 DCP 训练快照的全部模型分片已上传并核验,HF 保存 checkpoints/<artifact>/sharded/ 和 metadata.pth,并在指定恢复版本附 optim/、rng/。原推理入口直接支持该目录:
python -m ltx_distillation.tools.run_av_inference_eval \
--config_path configs/rcm_from_scm500.yaml --prompts_file examples/prompts.txt \
--model_kind student --student_checkpoint /path/to/checkpoints/rcm_scm500_step3500 \
--student_param rcm_trig --student_strict --output_dir ./outputs/inference --seed 12345
也可用 scripts/export_generator.py 从 DCP 导出 generator .pth。原训练恢复器需要 critic 的联合模型不能使用该文件精确恢复;文件用于推理或 weights-only 初始化。
目标 GitHub 名称与 HF 模型仓库名称均为 turbot2va-ltx2。2026-11-19 已创建私有 GitHub liuyuxiang1021/turbot2va-ltx2 和公开 HF 模型仓库 luyu1021/turbot2va-ltx2,代码及模型说明已上传并核验。37.75 GB generator 推理参考及两份元数据已上传,大小与远端 SHA256 核验通过。15 份 DCP 训练快照约 1.322 TB 已全部上传并核验,其中 4 份带完整 8-rank optimizer/RNG。HF 已公开并核验匿名访问,GitHub 保持私有。实际发布范围见 机器可读记录,具体范围和进度见 发布交接。
许可证和来源
保留完整 LTX-2 Community License;本训练代码与衍生模型沿用该许可证。各已修改源码包含 TurboT2VA 修改说明,来源清单 记录原文件哈希。原始工作树基于 liuyuxiang1021/TurboT2AV commit 402c7b304c4bbf21e1b35312ad59c2c7abe88aab,另包含未提交的恢复与保存变更,已保留 patch。上游模型、Gemma 和数据分别依赖其来源条款。