|
Download code/README.md from luyu1021/turbot2va-ltx2: direct link, hf CLI and curl.
- Browser
- Download file 6.32 kB
-
https://huggingface.co/luyu1021/turbot2va-ltx2/resolve/main/code/README.md
- Command line
-
hf download hf://luyu1021/turbot2va-ltx2/code/README.md
-
curl -L -o README.md https://huggingface.co/luyu1021/turbot2va-ltx2/resolve/main/code/README.md
6.32 kB
| # TurboT2VA-LTX2 | |
| LTX-2 19B 音视频生成模型的 DCM、SCM、RCM 与 DMD-only 训练整理,依据 2026-11-19 工作区实际源码、保存配置、checkpoint 元数据和评测文件建立。本仓库保留完整训练实现、推理、LMDB 工具、精确 JVP、恢复逻辑,以及可追溯的训练分支记录。 | |
| 模型基座是 `Lightricks/LTX-2` 的 `ltx-2-19b-dev.safetensors`。这是研究训练快照;最新 checkpoint 不自动代表质量最佳,直接 SCM 和部分后期分支含故障/退化对照。 | |
| ## 从哪里读 | |
| | 文件 | 内容 | | |
| | --- | --- | | |
| | [训练指南](docs/TRAINING.md) | 配置参数、分支来源、数据流、显存设置、跨阶段与同阶段恢复 | | |
| | [权重清单](docs/CHECKPOINTS.md) | 15 个关键版本、真实 completed/next step、分片、体积、续训范围 | | |
| | [推理指南](docs/INFERENCE.md) | 已发布 generator 的下载、SHA256、基座依赖与推理命令 | | |
| | [评测说明](docs/EVALUATION.md) | 原始/增强提示、种子、质量与多样性、已知限制 | | |
| | [源码整理说明](docs/CODE_LAYOUT.md) | 主训练工作树、上游/推理副本、历史源码、许可证 | | |
| | [发布交接](docs/PUBLISHING.md) | GitHub/HF 职责、上传命令、远端核验及当前状态 | | |
| | [带注释的配置](configs/) | 10 条实际训练配方;配置默认不继承原机器的恢复路径 | | |
| | [机器可读实验总清单](docs/experiments/inventory.json) | 56 个目录、91 个 checkpoint、元数据、optimizer 是否保留 | | |
| ## 环境 | |
| 训练工作区实际使用 Python 3.11、PyTorch `2.7.0+cu128`、CUDA 12.8、8 张 H20;部分早期实验是 16 卡,不能按文件夹名推断等价训练预算。保留 [Pixi 配置](LTX-2/pyproject.toml) 和 lockfile;原包依赖里的版本范围不是全部依赖的精确冻结版本。 | |
| ```bash | |
| cd LTX-2 | |
| pixi install | |
| pixi run install-local | |
| cd .. | |
| ``` | |
| 也可在 Python 3.11 环境中先安装固定 CUDA PyTorch,再安装四个本地包: | |
| ```bash | |
| python -m pip install torch==2.7.0+cu128 torchvision==0.22.0+cu128 torchaudio==2.7.0+cu128 \ | |
| --index-url https://download.pytorch.org/whl/cu128 | |
| python -m pip install -e LTX-2/packages/ltx-core -e LTX-2/packages/ltx-pipelines \ | |
| -e LTX-2/packages/ltx-causal -e LTX-2/packages/ltx-distillation pyyaml | |
| ``` | |
| 下载官方 LTX-2 dev 权重与 `google/gemma-3-12b-it-qat-q4_0-unquantized` 文本编码器,准备 `video_id,prompt` 两列 CSV 和 SCM 音视频 latent LMDB。基础权重、真实训练视频、LMDB 与登录凭据不包含在 GitHub 包里。 | |
| ```bash | |
| export TURBO_CHECKPOINT_PATH=/path/to/ltx-2-19b-dev.safetensors | |
| export TURBO_GEMMA_PATH=/path/to/gemma-3-12b-it-qat-q4_0-unquantized | |
| export TURBO_DATA_PATH=/path/to/mapping.csv | |
| export TURBO_SCM_DATA_PATH=/path/to/scm_latent_lmdb | |
| ``` | |
| ## 训练入口 | |
| 先查看 dry-run 的最终 YAML 和 torchrun 命令。以下命令在已安装四个包的 Python 环境里执行;使用 Pixi 时将 `python` 换为 `LTX-2/.pixi/envs/default/bin/python`。 | |
| ```bash | |
| python scripts/launch.py dcm_beta0 --output ./outputs/dcm_beta0 --max-steps 2000 --dry-run | |
| python scripts/launch.py dcm_beta0 --output ./outputs/dcm_beta0 --max-steps 2000 | |
| # DCM -> SCM:只继承 generator,SCM optimizer 和步数重新开始。 | |
| python scripts/launch.py scm_from_dcm2000 --output ./outputs/scm_prefix \ | |
| --init ./outputs/dcm_beta0/checkpoints/checkpoint_002000 --max-steps 500 | |
| # SCM -> RCM:只继承 generator,critic/teacher 从官方基座初始化。 | |
| python scripts/launch.py rcm_from_scm500 --output ./outputs/rcm \ | |
| --init ./outputs/scm_prefix/checkpoints/checkpoint_000500 | |
| # 同阶段恢复:需要该 checkpoint 的 optim/、rng/ 和 sharded/ 全部齐全。 | |
| python scripts/launch.py rcm_from_scm500 --output ./outputs/rcm \ | |
| --resume ./outputs/rcm/checkpoints/checkpoint_003500 | |
| ``` | |
| `configs/` 中保留原实验的实际 `keep_optimizer_states`。若希望保留所有恢复状态,添加 `--keep-optimizer-states 0`;这会显著增加存储量。`max_steps=0` 表示没有预定终点;需要固定预算时显式设置 `--max-steps`。安全停止使用输出目录的 `STOP_REQUESTED`,训练在步边界保存后退出。 | |
| ## 推理与发布 | |
| 当前 HF 已上传并校验 `inference/published_turbot2av_main/model.pth`(37.75 GB,仅 generator)及其两份元数据,下载与调用见 [推理指南](docs/INFERENCE.md)。它的原标签是 stage3/3500,尚未证明与 exp5 同步训练快照相同。 | |
| 15 份 DCP 训练快照的全部模型分片已上传并核验,HF 保存 `checkpoints/<artifact>/sharded/` 和 `metadata.pth`,并在指定恢复版本附 `optim/`、`rng/`。原推理入口直接支持该目录: | |
| ```bash | |
| python -m ltx_distillation.tools.run_av_inference_eval \ | |
| --config_path configs/rcm_from_scm500.yaml --prompts_file examples/prompts.txt \ | |
| --model_kind student --student_checkpoint /path/to/checkpoints/rcm_scm500_step3500 \ | |
| --student_param rcm_trig --student_strict --output_dir ./outputs/inference --seed 12345 | |
| ``` | |
| 也可用 `scripts/export_generator.py` 从 DCP 导出 generator `.pth`。原训练恢复器需要 critic 的联合模型不能使用该文件精确恢复;文件用于推理或 weights-only 初始化。 | |
| 目标 GitHub 名称与 HF 模型仓库名称均为 `turbot2va-ltx2`。2026-11-19 已创建私有 GitHub `liuyuxiang1021/turbot2va-ltx2` 和公开 HF 模型仓库 `luyu1021/turbot2va-ltx2`,代码及模型说明已上传并核验。37.75 GB generator 推理参考及两份元数据已上传,大小与远端 SHA256 核验通过。15 份 DCP 训练快照约 1.322 TB 已全部上传并核验,其中 4 份带完整 8-rank optimizer/RNG。HF 已公开并核验匿名访问,GitHub 保持私有。实际发布范围见 [机器可读记录](release/PUBLISHED_SCOPE.json),具体范围和进度见 [发布交接](docs/PUBLISHING.md)。 | |
| ## 许可证和来源 | |
| 保留完整 [LTX-2 Community License](LICENSE);本训练代码与衍生模型沿用该许可证。各已修改源码包含 TurboT2VA 修改说明,[来源清单](release/source_manifest.json) 记录原文件哈希。原始工作树基于 `liuyuxiang1021/TurboT2AV` commit `402c7b304c4bbf21e1b35312ad59c2c7abe88aab`,另包含未提交的恢复与保存变更,已保留 patch。上游模型、Gemma 和数据分别依赖其来源条款。 | |