| # JevVideo checkpoints |
|
|
| 各次训练的最终模型和 Video-MME 成绩，整理于 2026-11-02。分数都是百分比，每档 900 题，括号里是和同一次训练的均匀采帧基线逐题配对的差，CI 是按视频 bootstrap 的 95% 置信区间。 |
|
|
| ## Video-MME 成绩 |
|
|
| | 训练 | 答题帧 / 模型 | short | medium | long | |
| | --- | --- | --- | --- | --- | |
| | 32帧旧run | 16 均匀 + 16 细节 | — | 64.22（+1.89，CI -1.11～+4.89） | 53.56（-1.89，CI -4.78～+1.11） | |
| | 32帧新run | 16 均匀 + 16 细节 | — | 64.78（+2.56，CI -0.33～+5.44） | 53.44（-2.11，CI -5.22～+1.00） | |
| | 128帧正式 | 32 均匀 + 96 细节 | — | 68.11（-0.22，CI -2.67～+2.33） | 55.56（-2.22，CI -4.67～+0.22） | |
| | 128帧正式 | 96 均匀 + 32 细节（只改答题帧，没有重训） | — | 69.78（+1.56，CI -0.44～+3.56） | 58.00（+0.11，CI -2.22～+2.33） | |
| | 长短混合（旧代码） | 16 均匀 + 16 细节 | 75.33（+0.22，CI -2.11～+2.56） | 66.33（+4.00，CI +1.22～+6.78） | 55.11（-0.44，CI -3.22～+2.44） | |
| | 长短混合（旧代码） | 16 均匀 + 16 细节，1 轮 DAgger 后的模型（没有重训） | — | 65.78（+3.44，CI +0.78～+6.11） | 54.11（-1.44，CI -4.56～+1.67） | |
| | 长短混合（旧代码） | 24 均匀 + 8 细节（只改答题帧，没有重训） | — | 68.00（+5.67，CI +3.00～+8.22） | 55.67（+0.11，CI -2.78～+2.78） | |
| | 32帧长短混合（新代码） | 16 均匀 + 16 细节 | 75.56（+0.44，CI -1.89～+3.00） | 64.44（+2.11，CI -0.67～+4.89） | 53.56（-2.22，CI -5.22～+0.78） | |
| | 32帧长短混合（新代码） | 24 均匀 + 8 细节（只改答题帧，没有重训） | — | 67.44（+5.11，CI +2.44～+7.67） | 53.33（-2.44，CI -5.33～+0.33） | |
| | 128帧32+96长短混合（新代码） | 32 均匀 + 96 细节 | 74.89（-0.22，CI -2.56～+2.22） | 66.33（-2.00，CI -4.67～+0.67） | 57.56（-0.22，CI -2.89～+2.33） | |
| | 32帧VideoITG多段 | 16 均匀 + 16 细节 | 75.67（+0.56，CI -1.78～+2.89） | 64.00（+1.67，CI -1.22～+4.56） | 54.11（-1.56，CI -4.56～+1.33） | |
| | 32帧VideoITG筛B | 16 均匀 + 16 细节 | 75.89（+0.78，CI -1.44～+3.00） | 64.89（+2.56，CI -0.33～+5.33） | 53.00（-2.56，CI -5.44～+0.33） | |
| | 32帧VideoITG筛B | 24 均匀 + 8 细节（只改答题帧，没有重训） | — | 67.44（+5.11，CI +2.33～+7.67） | 53.33（-2.22，CI -4.78～+0.44） | |
| | 32帧VideoITG筛B单段 | 16 均匀 + 16 细节 | 76.11（+1.00，CI -1.33～+3.33） | 64.44（+2.11，CI -0.67～+4.78） | 53.89（-1.67，CI -4.44～+1.22） | |
|
|
| - "答题帧 / 模型"一列说的是 medium 和 long 两档。short 档所有训练都用短视频配置：8 均匀 + 8 细节，共 16 帧。 |
| - 32帧旧run 这一行是它的 SFT 最终模型，在它的 RL 评测（rl2、rl3）里顺带测的，两次分数相同，这里只列 rl3。RL 模型的成绩和检查点没有放。 |
|
|
| 均匀采帧基线（帧数和同一次训练的 medium、long 相同）： |
|
|
| | 训练 | short | medium | long | |
| | --- | --- | --- | --- | |
| | 32帧旧run | — | 62.33 | 55.44 | |
| | 32帧新run | — | 62.22 | 55.56 | |
| | 128帧正式 | — | 68.33 | 57.78 | |
| | 长短混合（旧代码） | 75.11 | 62.33 | 55.56 | |
| | 32帧长短混合（新代码） | 75.11 | 62.33 | 55.78 | |
| | 128帧32+96长短混合（新代码） | 75.11 | 68.33 | 57.78 | |
| | 32帧VideoITG多段 | 75.11 | 62.33 | 55.67 | |
| | 32帧VideoITG筛B | 75.11 | 62.33 | 55.56 | |
| | 32帧VideoITG筛B单段 | 75.11 | 62.33 | 55.56 | |
|
|
| 完整数字在 `videomme_summary.json`，每次训练的配对结果和逐题结果在各自的 `videomme/` 下。 |
|
|
| ## 训练和最终检查点 |
|
|
| | 训练 | 文件夹（RUN_ID） | 训练数据 | DAgger 轮数 | controller / grounding / verifier 选中的步 | |
| | --- | --- | --- | --- | --- | |
| | 32帧旧run | `onejev_a1008_v4` | 只有 CG-Bench | 2 | 400 / 995 / 2318 | |
| | 32帧新run | `onejev_sft_videomme_pad3_v1` | CG-Bench + LV-Haystack | 2 | 400 / 1300 / 900 | |
| | 128帧正式 | `onejev_sft_videomme_pad3_v1_f128` | CG-Bench + LV-Haystack，128 帧 | 2 | 200 / 1400 / 800 | |
| | 长短混合（旧代码） | `onejev_sft_videomme_mix_v1` | 长视频 + 短视频（QVHighlights、LLaVA-Video），VTS v1 | 2 | 400 / 600 / 600 | |
| | 32帧长短混合（新代码） | `onejev_sft_videomme_mix_mseg_v1` | 长视频 + 短视频，多段证据代码 | 2 | 200 / 1800 / 2800 | |
| | 128帧32+96长短混合（新代码） | `onejev_sft_videomme_mix_mseg_v1_f128` | 长视频 + 短视频，多段证据代码，128 帧 | 2 | 600 / 1000 / 600 | |
| | 32帧VideoITG多段 | `onejev_sft_videomme_vitg20k_v1` | 长视频（VTS v4）+ VideoITG 1,180 题（2 万题初筛，第 1～4 步，多段） | 1 | 1000 / 1669 / 4000 | |
| | 32帧VideoITG筛B | `onejev_sft_videomme_vitgb_v1` | 长视频（VTS v4）+ VideoITG 21,934 题（全部 train，第 1～3 步，多段） | 1 | 3000 / 7000 / 1000 | |
| | 32帧VideoITG筛B单段 | `onejev_sft_videomme_vitgbs_v1` | 长视频（VTS v4）+ VideoITG 19,992 题（全部 train，第 1～3 步，单段） | 2 | 2000 / 5000 / 3000 | |
|
|
| ## 每个文件夹里有什么 |
|
|
| | 路径 | 内容 | |
| | --- | --- | |
| | `policy_set.json` | 最终策略集：controller、localize、frame、verifier 各用哪个检查点。localize 和 frame 是同一个 grounding 模型 | |
| | `checkpoints/controller`、`checkpoints/grounding`、`checkpoints/verifier` | 选中的快照：`trainable.pt`（LoRA 和各个 head 的权重，基座模型见 `base_model.json`）、`trainer.pt`、`COMPLETE` | |
| | `config/` | 实际配置 `*_frames.yaml`、实验记录 `*_experiment.json`、各轮策略集 `*_ps3_r*.json`（里面是训练节点上的原始路径） | |
| | `sft/<阶段>/` | 各 SFT 阶段的 `metrics.jsonl`（含 dev 评测）、`best_snapshot.txt`、`early_stopped.json` | |
| | `videomme/` | `*_comparison_*.json` 是和均匀帧的配对比较；`*_sft/results.jsonl` 是逐题结果（动作序列、选中的帧、答案）；`*_uniform/b0_results.jsonl` 是均匀帧基线 | |
|
|
| 长短混合另有 `policy_set_r1.json` 和 `checkpoints/controller_r1`，对应表中"1 轮 DAgger"那一行。 |
|
|
| ## 没有放的 |
|
|
| 视频、特征缓存和 SFT 训练数据没有放（一次训练就有 2 TB 以上），各阶段的中间快照和 RL 检查点也没有放，它们都还在 Blob `t-xinyangliu/outputs/jev/<RUN_ID>/` 下。 |
|
|
