Swindl's picture
Final checkpoints and Video-MME results of the Jevvideo trainings (9 runs)
ec0091d verified
|
Raw History Blame Contribute Delete
6.33 kB

JevVideo checkpoints

各次训练的最终模型和 Video-MME 成绩,整理于 2026-11-02。分数都是百分比,每档 900 题,括号里是和同一次训练的均匀采帧基线逐题配对的差,CI 是按视频 bootstrap 的 95% 置信区间。

Video-MME 成绩

训练 答题帧 / 模型 short medium long
32帧旧run 16 均匀 + 16 细节 — 64.22(+1.89,CI -1.11~+4.89) 53.56(-1.89,CI -4.78~+1.11)
32帧新run 16 均匀 + 16 细节 — 64.78(+2.56,CI -0.33~+5.44) 53.44(-2.11,CI -5.22~+1.00)
128帧正式 32 均匀 + 96 细节 — 68.11(-0.22,CI -2.67~+2.33) 55.56(-2.22,CI -4.67~+0.22)
128帧正式 96 均匀 + 32 细节(只改答题帧,没有重训) — 69.78(+1.56,CI -0.44~+3.56) 58.00(+0.11,CI -2.22~+2.33)
长短混合(旧代码) 16 均匀 + 16 细节 75.33(+0.22,CI -2.11~+2.56) 66.33(+4.00,CI +1.22~+6.78) 55.11(-0.44,CI -3.22~+2.44)
长短混合(旧代码) 16 均匀 + 16 细节,1 轮 DAgger 后的模型(没有重训) — 65.78(+3.44,CI +0.78~+6.11) 54.11(-1.44,CI -4.56~+1.67)
长短混合(旧代码) 24 均匀 + 8 细节(只改答题帧,没有重训) — 68.00(+5.67,CI +3.00~+8.22) 55.67(+0.11,CI -2.78~+2.78)
32帧长短混合(新代码) 16 均匀 + 16 细节 75.56(+0.44,CI -1.89~+3.00) 64.44(+2.11,CI -0.67~+4.89) 53.56(-2.22,CI -5.22~+0.78)
32帧长短混合(新代码) 24 均匀 + 8 细节(只改答题帧,没有重训) — 67.44(+5.11,CI +2.44~+7.67) 53.33(-2.44,CI -5.33~+0.33)
128帧32+96长短混合(新代码) 32 均匀 + 96 细节 74.89(-0.22,CI -2.56~+2.22) 66.33(-2.00,CI -4.67~+0.67) 57.56(-0.22,CI -2.89~+2.33)
32帧VideoITG多段 16 均匀 + 16 细节 75.67(+0.56,CI -1.78~+2.89) 64.00(+1.67,CI -1.22~+4.56) 54.11(-1.56,CI -4.56~+1.33)
32帧VideoITG筛B 16 均匀 + 16 细节 75.89(+0.78,CI -1.44~+3.00) 64.89(+2.56,CI -0.33~+5.33) 53.00(-2.56,CI -5.44~+0.33)
32帧VideoITG筛B 24 均匀 + 8 细节(只改答题帧,没有重训) — 67.44(+5.11,CI +2.33~+7.67) 53.33(-2.22,CI -4.78~+0.44)
32帧VideoITG筛B单段 16 均匀 + 16 细节 76.11(+1.00,CI -1.33~+3.33) 64.44(+2.11,CI -0.67~+4.78) 53.89(-1.67,CI -4.44~+1.22)
  • "答题帧 / 模型"一列说的是 medium 和 long 两档。short 档所有训练都用短视频配置:8 均匀 + 8 细节,共 16 帧。
  • 32帧旧run 这一行是它的 SFT 最终模型,在它的 RL 评测(rl2、rl3)里顺带测的,两次分数相同,这里只列 rl3。RL 模型的成绩和检查点没有放。

均匀采帧基线(帧数和同一次训练的 medium、long 相同):

训练 short medium long
32帧旧run — 62.33 55.44
32帧新run — 62.22 55.56
128帧正式 — 68.33 57.78
长短混合(旧代码) 75.11 62.33 55.56
32帧长短混合(新代码) 75.11 62.33 55.78
128帧32+96长短混合(新代码) 75.11 68.33 57.78
32帧VideoITG多段 75.11 62.33 55.67
32帧VideoITG筛B 75.11 62.33 55.56
32帧VideoITG筛B单段 75.11 62.33 55.56

完整数字在 videomme_summary.json,每次训练的配对结果和逐题结果在各自的 videomme/ 下。

训练和最终检查点

训练 文件夹(RUN_ID) 训练数据 DAgger 轮数 controller / grounding / verifier 选中的步
32帧旧run onejev_a1008_v4 只有 CG-Bench 2 400 / 995 / 2318
32帧新run onejev_sft_videomme_pad3_v1 CG-Bench + LV-Haystack 2 400 / 1300 / 900
128帧正式 onejev_sft_videomme_pad3_v1_f128 CG-Bench + LV-Haystack,128 帧 2 200 / 1400 / 800
长短混合(旧代码) onejev_sft_videomme_mix_v1 长视频 + 短视频(QVHighlights、LLaVA-Video),VTS v1 2 400 / 600 / 600
32帧长短混合(新代码) onejev_sft_videomme_mix_mseg_v1 长视频 + 短视频,多段证据代码 2 200 / 1800 / 2800
128帧32+96长短混合(新代码) onejev_sft_videomme_mix_mseg_v1_f128 长视频 + 短视频,多段证据代码,128 帧 2 600 / 1000 / 600
32帧VideoITG多段 onejev_sft_videomme_vitg20k_v1 长视频(VTS v4)+ VideoITG 1,180 题(2 万题初筛,第 1~4 步,多段) 1 1000 / 1669 / 4000
32帧VideoITG筛B onejev_sft_videomme_vitgb_v1 长视频(VTS v4)+ VideoITG 21,934 题(全部 train,第 1~3 步,多段) 1 3000 / 7000 / 1000
32帧VideoITG筛B单段 onejev_sft_videomme_vitgbs_v1 长视频(VTS v4)+ VideoITG 19,992 题(全部 train,第 1~3 步,单段) 2 2000 / 5000 / 3000

每个文件夹里有什么

路径 内容
policy_set.json 最终策略集:controller、localize、frame、verifier 各用哪个检查点。localize 和 frame 是同一个 grounding 模型
checkpoints/controller、checkpoints/grounding、checkpoints/verifier 选中的快照:trainable.pt(LoRA 和各个 head 的权重,基座模型见 base_model.json)、trainer.pt、COMPLETE
config/ 实际配置 *_frames.yaml、实验记录 *_experiment.json、各轮策略集 *_ps3_r*.json(里面是训练节点上的原始路径)
sft/<阶段>/ 各 SFT 阶段的 metrics.jsonl(含 dev 评测)、best_snapshot.txt、early_stopped.json
videomme/ *_comparison_*.json 是和均匀帧的配对比较;*_sft/results.jsonl 是逐题结果(动作序列、选中的帧、答案);*_uniform/b0_results.jsonl 是均匀帧基线

长短混合另有 policy_set_r1.json 和 checkpoints/controller_r1,对应表中"1 轮 DAgger"那一行。

没有放的

视频、特征缓存和 SFT 训练数据没有放(一次训练就有 2 TB 以上),各阶段的中间快照和 RL 检查点也没有放,它们都还在 Blob t-xinyangliu/outputs/jev/<RUN_ID>/ 下。