lxl-158 commited on
Commit
7ff7aea
·
verified ·
1 Parent(s): b68f757

update README

Browse files
Files changed (1) hide show
  1. README.md +51 -64
README.md CHANGED
@@ -1,87 +1,80 @@
1
  # VBench I2V 评测环境
2
 
3
- VBench Image-to-Video 评测的完整环境,包含预训练模型数据。
4
 
5
- ## 目录结构
6
 
7
  ```
8
  vbench-i2v/
9
- ├── vbench_env/ # Python 虚拟环境 (Python 3.12)
10
- ├── vbench/ # VBench 源码
 
11
  ├── vbench2_beta_i2v/
12
- │ ├── pretrained_models/ # 预训练模型 (~3.9GB)
13
- ├── aesthetic_model/ # 美学评分模型
14
- │ ├── amt_model/ # 运动平滑度模型
15
- │ │ ├── dreamsim_model/ # DreamSim 模型
16
- │ │ ├── pyiqa_model/ # 图像质量模型
17
- │ │ ├── raft_model/ # 动态程度模型
18
- │ │ └── torch/ # DINO, CoTracker 等
19
- │ ├── data/
20
- │ │ ├── origin/ # 原始图像 (355张)
21
- │ │ └── crop/ # 裁剪后图像 (4种比例)
22
- │ └── MIGRATION_README.md # 迁移指南
23
- ├── i2v_data/
24
- │ └── videos/I2VGen-XL/ # 视频数据 (需自行下载)
25
- ├── run_i2v_eval.py # 评测脚本
26
- ├── verify_models.py # 模型验证脚本
27
- ├── fix_venv_paths.sh # 路径修复脚本
28
- └── requirements_full.txt # 依赖列表
29
- ```
30
 
31
- ## 快速开始
32
 
33
- ### 1. 下载仓库
34
 
35
  ```bash
36
- # 使用 ModelScope CLI
37
- modelscope download --model lxllxl1hihihi/vbench-i2v --local_dir ./vbench-i2v
38
 
39
- # 或使 Git (需要 git-lfs)
40
- git lfs install
41
- git clone https://www.modelscope.cn/lxllxl1hihihi/vbench-i2v.git
 
 
 
 
 
42
  ```
43
 
44
- ### 2. 修复路径
45
 
46
- ```bash
47
- cd vbench-i2v
48
- bash fix_venv_paths.sh $(pwd)
49
- ```
50
 
51
- ### 3. 下载视频数据 (可选)
 
 
 
 
52
 
53
- I2VGen-XL 视频数据需要从 Google Drive 下载:
54
- - https://drive.google.com/drive/folders/1t-Q7G2z99g6eJRp4tQf1IaTy-8Muqfkd
 
55
 
56
- 下载后解压到 `i2v_data/videos/I2VGen-XL/`
57
 
58
- ### 4. 验证环境
59
 
60
  ```bash
 
61
  source vbench_env/bin/activate
62
- python verify_models.py
 
63
  ```
64
 
65
- ### 5. 运行评测
66
 
67
- ```bash
68
- python run_i2v_eval.py
69
- ```
 
 
 
 
 
 
 
 
70
 
71
- ## 评测维度
72
-
73
- | 维度 | 模型 | 说明 |
74
- |------|------|------|
75
- | i2v_subject | DINO | 主体一致性 |
76
- | i2v_background | DreamSim | 背景一致性 |
77
- | camera_motion | CoTracker | 相机运动 |
78
- | subject_consistency | DINO | 主体一致性 |
79
- | background_consistency | CLIP | 背景一致性 |
80
- | aesthetic_quality | CLIP + Aesthetic | 美学质量 |
81
- | imaging_quality | MUSIQ | 图像质量 |
82
- | temporal_flickering | - | 时序闪烁 |
83
- | motion_smoothness | AMT | 运动平滑度 |
84
- | dynamic_degree | RAFT | 动态程度 |
85
 
86
  ## 系统要求
87
 
@@ -90,12 +83,6 @@ python run_i2v_eval.py
90
  - ~40GB 磁盘空间
91
  - 16GB+ GPU 显存
92
 
93
- ## 注意事项
94
-
95
- 1. 首次运行时 CLIP 模型会自动下载到 `~/.cache/clip/`
96
- 2. 如果路径与原始环境不同,请运行 `fix_venv_paths.sh` 修复
97
- 3. 视频数据较大 (~19GB),建议单独下载
98
-
99
  ## 相关链接
100
 
101
  - [VBench 官方仓库](https://github.com/Vchitect/VBench)
 
1
  # VBench I2V 评测环境
2
 
3
+ VBench Image-to-Video (I2V) 评测环境,包含评测代码、预训练模型数据压缩包,以及可选的采样框架
4
 
5
+ ## 目录结构(Hub 上传形态)
6
 
7
  ```
8
  vbench-i2v/
9
+ ├── README.md
10
+ ├── .hfignore # `hf upload` 忽略规则(避免重复上传解压目录)
11
+ ├── vbench_env.tar.gz # Python 虚拟环境压缩包(可选,解压后得到 vbench_env/)
12
  ├── vbench2_beta_i2v/
13
+ │ ├── pretrained_models.tar.gz # 预训练模型压缩包(解压后得到 pretrained_models/)
14
+ │ ├── data.tar.gz # 输入图像压缩包(解压后得到 data/)
15
+ ── third_party.tar.gz # 第三方依赖压缩包(解压后得到 third_party/)
16
+ ── vbench/ # VBench 源码
 
 
 
 
 
 
 
 
 
 
 
 
 
 
17
 
18
+ 说明:为避免重复上传(压缩包 + 解压目录),Hub 上默认以 `*.tar.gz` 为主;需要使用时请自行解压。
19
 
20
+ ## 解压数据与模型
21
 
22
  ```bash
23
+ cd vbench-i2v
 
24
 
25
+ # 可选:解压虚拟环境(如果你希望复该环境)
26
+ tar -xzf vbench_env.tar.gz
27
+
28
+ # 解压评测所需数据/模型
29
+ tar -xzf vbench2_beta_i2v/data.tar.gz -C vbench2_beta_i2v
30
+ tar -xzf vbench2_beta_i2v/pretrained_models.tar.gz -C vbench2_beta_i2v
31
+ tar -xzf vbench2_beta_i2v/third_party.tar.gz -C vbench2_beta_i2v
32
+ ```
33
  ```
34
 
35
+ ## 采样
36
 
37
+ 支持单机完整采样或跨机器分布式采样(VAE 和去噪分离)。
 
 
 
38
 
39
+ ```bash
40
+ # 分布式采样
41
+ python your_sampler.py encode --output-prompt-file prompts.txt --output-latent-file latents.txt
42
+ python your_sampler.py denoise --prompt-file prompts.txt --latent-file latents.txt --output-dir ./denoised_latents
43
+ python your_sampler.py decode --latent-dir ./denoised_latents --output-dir ./sampled_videos/my_model
44
 
45
+ # 单机完整采样
46
+ python your_sampler.py full
47
+ ```
48
 
49
+ 采样框架目录 `samplers/` 可能需要单独上传/同步(不一定包含在基础上传中)。
50
 
51
+ ## 评测
52
 
53
  ```bash
54
+ # 如果你解压了 vbench_env.tar.gz
55
  source vbench_env/bin/activate
56
+
57
+ python run_i2v_eval.py --videos_path ./sampled_videos/my_model --dimension i2v_subject
58
  ```
59
 
60
+ ### 评测维度
61
 
62
+ | 维度 | 说明 |
63
+ |------|------|
64
+ | i2v_subject | 主体一致性 |
65
+ | i2v_background | 背景一致性 |
66
+ | camera_motion | 相机运动 |
67
+ | subject_consistency | 视频内主体一致性 |
68
+ | background_consistency | 视频内背景一致性 |
69
+ | aesthetic_quality | 美学质量 |
70
+ | imaging_quality | 图像质量 |
71
+ | motion_smoothness | 运动平滑度 |
72
+ | dynamic_degree | 动态程度 |
73
 
74
+ ## 采样规范
75
+
76
+ - 每个 (image, prompt) 生成 **5 个视频** (index 0-4)
77
+ - 命名:`{prompt}-{index}.mp4`
 
 
 
 
 
 
 
 
 
 
78
 
79
  ## 系统要求
80
 
 
83
  - ~40GB 磁盘空间
84
  - 16GB+ GPU 显存
85
 
 
 
 
 
 
 
86
  ## 相关链接
87
 
88
  - [VBench 官方仓库](https://github.com/Vchitect/VBench)