|
Download README.md from Swindl/JevVideo_checkpoints: direct link, hf CLI and curl.
- Browser
- Download file 6.33 kB
-
https://huggingface.co/Swindl/JevVideo_checkpoints/resolve/main/README.md
- Command line
-
hf download hf://Swindl/JevVideo_checkpoints/README.md
-
curl -L -H "Authorization: Bearer $HF_TOKEN" -o README.md https://huggingface.co/Swindl/JevVideo_checkpoints/resolve/main/README.md
6.33 kB
JevVideo checkpoints
各次训练的最终模型和 Video-MME 成绩,整理于 2026-11-02。分数都是百分比,每档 900 题,括号里是和同一次训练的均匀采帧基线逐题配对的差,CI 是按视频 bootstrap 的 95% 置信区间。
Video-MME 成绩
| 训练 | 答题帧 / 模型 | short | medium | long |
|---|---|---|---|---|
| 32帧旧run | 16 均匀 + 16 细节 | — | 64.22(+1.89,CI -1.11~+4.89) | 53.56(-1.89,CI -4.78~+1.11) |
| 32帧新run | 16 均匀 + 16 细节 | — | 64.78(+2.56,CI -0.33~+5.44) | 53.44(-2.11,CI -5.22~+1.00) |
| 128帧正式 | 32 均匀 + 96 细节 | — | 68.11(-0.22,CI -2.67~+2.33) | 55.56(-2.22,CI -4.67~+0.22) |
| 128帧正式 | 96 均匀 + 32 细节(只改答题帧,没有重训) | — | 69.78(+1.56,CI -0.44~+3.56) | 58.00(+0.11,CI -2.22~+2.33) |
| 长短混合(旧代码) | 16 均匀 + 16 细节 | 75.33(+0.22,CI -2.11~+2.56) | 66.33(+4.00,CI +1.22~+6.78) | 55.11(-0.44,CI -3.22~+2.44) |
| 长短混合(旧代码) | 16 均匀 + 16 细节,1 轮 DAgger 后的模型(没有重训) | — | 65.78(+3.44,CI +0.78~+6.11) | 54.11(-1.44,CI -4.56~+1.67) |
| 长短混合(旧代码) | 24 均匀 + 8 细节(只改答题帧,没有重训) | — | 68.00(+5.67,CI +3.00~+8.22) | 55.67(+0.11,CI -2.78~+2.78) |
| 32帧长短混合(新代码) | 16 均匀 + 16 细节 | 75.56(+0.44,CI -1.89~+3.00) | 64.44(+2.11,CI -0.67~+4.89) | 53.56(-2.22,CI -5.22~+0.78) |
| 32帧长短混合(新代码) | 24 均匀 + 8 细节(只改答题帧,没有重训) | — | 67.44(+5.11,CI +2.44~+7.67) | 53.33(-2.44,CI -5.33~+0.33) |
| 128帧32+96长短混合(新代码) | 32 均匀 + 96 细节 | 74.89(-0.22,CI -2.56~+2.22) | 66.33(-2.00,CI -4.67~+0.67) | 57.56(-0.22,CI -2.89~+2.33) |
| 32帧VideoITG多段 | 16 均匀 + 16 细节 | 75.67(+0.56,CI -1.78~+2.89) | 64.00(+1.67,CI -1.22~+4.56) | 54.11(-1.56,CI -4.56~+1.33) |
| 32帧VideoITG筛B | 16 均匀 + 16 细节 | 75.89(+0.78,CI -1.44~+3.00) | 64.89(+2.56,CI -0.33~+5.33) | 53.00(-2.56,CI -5.44~+0.33) |
| 32帧VideoITG筛B | 24 均匀 + 8 细节(只改答题帧,没有重训) | — | 67.44(+5.11,CI +2.33~+7.67) | 53.33(-2.22,CI -4.78~+0.44) |
| 32帧VideoITG筛B单段 | 16 均匀 + 16 细节 | 76.11(+1.00,CI -1.33~+3.33) | 64.44(+2.11,CI -0.67~+4.78) | 53.89(-1.67,CI -4.44~+1.22) |
- "答题帧 / 模型"一列说的是 medium 和 long 两档。short 档所有训练都用短视频配置:8 均匀 + 8 细节,共 16 帧。
- 32帧旧run 这一行是它的 SFT 最终模型,在它的 RL 评测(rl2、rl3)里顺带测的,两次分数相同,这里只列 rl3。RL 模型的成绩和检查点没有放。
均匀采帧基线(帧数和同一次训练的 medium、long 相同):
| 训练 | short | medium | long |
|---|---|---|---|
| 32帧旧run | — | 62.33 | 55.44 |
| 32帧新run | — | 62.22 | 55.56 |
| 128帧正式 | — | 68.33 | 57.78 |
| 长短混合(旧代码) | 75.11 | 62.33 | 55.56 |
| 32帧长短混合(新代码) | 75.11 | 62.33 | 55.78 |
| 128帧32+96长短混合(新代码) | 75.11 | 68.33 | 57.78 |
| 32帧VideoITG多段 | 75.11 | 62.33 | 55.67 |
| 32帧VideoITG筛B | 75.11 | 62.33 | 55.56 |
| 32帧VideoITG筛B单段 | 75.11 | 62.33 | 55.56 |
完整数字在 videomme_summary.json,每次训练的配对结果和逐题结果在各自的 videomme/ 下。
训练和最终检查点
| 训练 | 文件夹(RUN_ID) | 训练数据 | DAgger 轮数 | controller / grounding / verifier 选中的步 |
|---|---|---|---|---|
| 32帧旧run | onejev_a1008_v4 |
只有 CG-Bench | 2 | 400 / 995 / 2318 |
| 32帧新run | onejev_sft_videomme_pad3_v1 |
CG-Bench + LV-Haystack | 2 | 400 / 1300 / 900 |
| 128帧正式 | onejev_sft_videomme_pad3_v1_f128 |
CG-Bench + LV-Haystack,128 帧 | 2 | 200 / 1400 / 800 |
| 长短混合(旧代码) | onejev_sft_videomme_mix_v1 |
长视频 + 短视频(QVHighlights、LLaVA-Video),VTS v1 | 2 | 400 / 600 / 600 |
| 32帧长短混合(新代码) | onejev_sft_videomme_mix_mseg_v1 |
长视频 + 短视频,多段证据代码 | 2 | 200 / 1800 / 2800 |
| 128帧32+96长短混合(新代码) | onejev_sft_videomme_mix_mseg_v1_f128 |
长视频 + 短视频,多段证据代码,128 帧 | 2 | 600 / 1000 / 600 |
| 32帧VideoITG多段 | onejev_sft_videomme_vitg20k_v1 |
长视频(VTS v4)+ VideoITG 1,180 题(2 万题初筛,第 1~4 步,多段) | 1 | 1000 / 1669 / 4000 |
| 32帧VideoITG筛B | onejev_sft_videomme_vitgb_v1 |
长视频(VTS v4)+ VideoITG 21,934 题(全部 train,第 1~3 步,多段) | 1 | 3000 / 7000 / 1000 |
| 32帧VideoITG筛B单段 | onejev_sft_videomme_vitgbs_v1 |
长视频(VTS v4)+ VideoITG 19,992 题(全部 train,第 1~3 步,单段) | 2 | 2000 / 5000 / 3000 |
每个文件夹里有什么
| 路径 | 内容 |
|---|---|
policy_set.json |
最终策略集:controller、localize、frame、verifier 各用哪个检查点。localize 和 frame 是同一个 grounding 模型 |
checkpoints/controller、checkpoints/grounding、checkpoints/verifier |
选中的快照:trainable.pt(LoRA 和各个 head 的权重,基座模型见 base_model.json)、trainer.pt、COMPLETE |
config/ |
实际配置 *_frames.yaml、实验记录 *_experiment.json、各轮策略集 *_ps3_r*.json(里面是训练节点上的原始路径) |
sft/<阶段>/ |
各 SFT 阶段的 metrics.jsonl(含 dev 评测)、best_snapshot.txt、early_stopped.json |
videomme/ |
*_comparison_*.json 是和均匀帧的配对比较;*_sft/results.jsonl 是逐题结果(动作序列、选中的帧、答案);*_uniform/b0_results.jsonl 是均匀帧基线 |
长短混合另有 policy_set_r1.json 和 checkpoints/controller_r1,对应表中"1 轮 DAgger"那一行。
没有放的
视频、特征缓存和 SFT 训练数据没有放(一次训练就有 2 TB 以上),各阶段的中间快照和 RL 检查点也没有放,它们都还在 Blob t-xinyangliu/outputs/jev/<RUN_ID>/ 下。