turbot2va-ltx2 / code /docs /EVALUATION.md
luyu1021's picture
Add documented LTX-2 training source, recipes and checkpoint release plan
76b7b25 verified
|
Raw History Blame Contribute Delete
3.25 kB

推理、质量和多样性记录

本次保留原有评分 CSV/JSON、evaluation manifests、部分运行源码与历史交接。docs/evaluation/ 的文件来自原工作区,尚有运行中的评测目录;整理清单记录的是逐文件快照,不表示所有评测都已完成。

推理口径

student 使用 TrigFlow 4 次模型步,CFG 关闭;teacher 参考通常是 native RF 40 步、video CFG=3/audio CFG=5。runner 的 --teacher_steps 默认值为 50,复现 teacher40 必须明确传 --teacher_steps 40。

单次质量:相同原始 200 prompt,seed=12345+prompt_index。多样性:同 prompt 8 seeds,seed=12345+prompt_index*8+seed_index,ImageBind 在每组内计算 28 对余弦距离,分别报告视频、音频与平均。固定 8 prompt×1 seed 的训练 probe 只能作训练观察,不能代替正式多样性。

python -m ltx_distillation.tools.run_av_inference_eval \
  --config_path configs/rcm_from_scm500.yaml --prompts_file /path/to/prompts_200.txt \
  --model_kind student --student_checkpoint /path/to/rcm_scm500_step3500 \
  --student_param rcm_trig --student_strict --num_seeds 8 --seed 12345 \
  --output_dir /path/to/diversity200x8

多 GPU 独立推理用 --num_shards N --shard_id i 按 prompt 索引划分,每个进程使用指定 CUDA 设备。共享初始化锁用于降低大量 checkpoint 同时读取,不改变模型结果。原生 inference .pth 和 DCP 目录均支持 generator 加载。

已保存的原始 200 条 RCM 评分

下表数值来自 docs/evaluation/exp56_raw200_quality/.../curve.csv。Javis/AVH 用于音视频相似度,不是完整视觉/音频质量结论。

run / checkpoint label Javis AVH
exp5 / 2000 0.178033 0.206507
exp5 / 3500 0.175061 0.203089
exp6 / 3000 0.157868 0.181139
exp6 / 3500 0.094724 0.121307
exp6 / 4500 0.075350 0.105481
exp6 / 5000 0.079815 0.098185

因此 exp6 3000 作为较早评测点保留,5000 作为最新训练恢复状态保留。没有仅凭一个评分指定“最终最佳模型”。exp5/exp6 的训练阶段、前置预算与 optimizer 配方不同;CSV 的 step_offset=2500 用于原绘图对齐,实际恢复步数仍以 checkpoint 元数据为准,samples_seen 也不是独立生成器更新次数。

提示词和指标限制

原始 200 与 Gemma/light system prompt 增强的 200 是两个评测协议,不能混为一条曲线。增强版本也不等价于论文未知的具体 prompt 增强流程。原始 200 与本地训练 mapping 存在 16 条精确文本重合,不能声称该组已证明无泄漏泛化。

带长文本的 ImageBind tokenizer 曾出现截断/末尾 EOT 问题;相关 IB-TV/IB-TA 不用于推断 DCM beta1 导致差异。论文 Figure 5 的读图数字是估值,不是作者逐点公开原始数据。保留历史交接以说明这些限制,避免用“分数接近论文”倒推作者真实 optimizer 或 prompt。

evaluation/ 保存独立评测仓库的工具快照,包括 pairwise ImageBind 多样性;原环境依赖、指标权重需另行准备。核心生成代码的测试不会自动证明所有指标包已在全新环境安装和运行成功。