update README
Browse files
README.md
CHANGED
|
@@ -1,87 +1,80 @@
|
|
| 1 |
# VBench I2V 评测环境
|
| 2 |
|
| 3 |
-
VBench Image-to-Video 评测
|
| 4 |
|
| 5 |
-
## 目录结构
|
| 6 |
|
| 7 |
```
|
| 8 |
vbench-i2v/
|
| 9 |
-
├──
|
| 10 |
-
├──
|
|
|
|
| 11 |
├── vbench2_beta_i2v/
|
| 12 |
-
│ ├── pretrained_models
|
| 13 |
-
│
|
| 14 |
-
│
|
| 15 |
-
|
| 16 |
-
│ │ ├── pyiqa_model/ # 图像质量模型
|
| 17 |
-
│ │ ├── raft_model/ # 动态程度模型
|
| 18 |
-
│ │ └── torch/ # DINO, CoTracker 等
|
| 19 |
-
│ ├── data/
|
| 20 |
-
│ │ ├── origin/ # 原始图像 (355张)
|
| 21 |
-
│ │ └── crop/ # 裁剪后图像 (4种比例)
|
| 22 |
-
│ └── MIGRATION_README.md # 迁移指南
|
| 23 |
-
├── i2v_data/
|
| 24 |
-
│ └── videos/I2VGen-XL/ # 视频数据 (需自行下载)
|
| 25 |
-
├── run_i2v_eval.py # 评测脚本
|
| 26 |
-
├── verify_models.py # 模型验证脚本
|
| 27 |
-
├── fix_venv_paths.sh # 路径修复脚本
|
| 28 |
-
└── requirements_full.txt # 依赖列表
|
| 29 |
-
```
|
| 30 |
|
| 31 |
-
|
| 32 |
|
| 33 |
-
##
|
| 34 |
|
| 35 |
```bash
|
| 36 |
-
|
| 37 |
-
modelscope download --model lxllxl1hihihi/vbench-i2v --local_dir ./vbench-i2v
|
| 38 |
|
| 39 |
-
#
|
| 40 |
-
|
| 41 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 42 |
```
|
| 43 |
|
| 44 |
-
##
|
| 45 |
|
| 46 |
-
|
| 47 |
-
cd vbench-i2v
|
| 48 |
-
bash fix_venv_paths.sh $(pwd)
|
| 49 |
-
```
|
| 50 |
|
| 51 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 52 |
|
| 53 |
-
|
| 54 |
-
|
|
|
|
| 55 |
|
| 56 |
-
|
| 57 |
|
| 58 |
-
##
|
| 59 |
|
| 60 |
```bash
|
|
|
|
| 61 |
source vbench_env/bin/activate
|
| 62 |
-
|
|
|
|
| 63 |
```
|
| 64 |
|
| 65 |
-
###
|
| 66 |
|
| 67 |
-
|
| 68 |
-
|
| 69 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 70 |
|
| 71 |
-
##
|
| 72 |
-
|
| 73 |
-
|
| 74 |
-
|
| 75 |
-
| i2v_subject | DINO | 主体一致性 |
|
| 76 |
-
| i2v_background | DreamSim | 背景一致性 |
|
| 77 |
-
| camera_motion | CoTracker | 相机运动 |
|
| 78 |
-
| subject_consistency | DINO | 主体一致性 |
|
| 79 |
-
| background_consistency | CLIP | 背景一致性 |
|
| 80 |
-
| aesthetic_quality | CLIP + Aesthetic | 美学质量 |
|
| 81 |
-
| imaging_quality | MUSIQ | 图像质量 |
|
| 82 |
-
| temporal_flickering | - | 时序闪烁 |
|
| 83 |
-
| motion_smoothness | AMT | 运动平滑度 |
|
| 84 |
-
| dynamic_degree | RAFT | 动态程度 |
|
| 85 |
|
| 86 |
## 系统要求
|
| 87 |
|
|
@@ -90,12 +83,6 @@ python run_i2v_eval.py
|
|
| 90 |
- ~40GB 磁盘空间
|
| 91 |
- 16GB+ GPU 显存
|
| 92 |
|
| 93 |
-
## 注意事项
|
| 94 |
-
|
| 95 |
-
1. 首次运行时 CLIP 模型会自动下载到 `~/.cache/clip/`
|
| 96 |
-
2. 如果路径与原始环境不同,请运行 `fix_venv_paths.sh` 修复
|
| 97 |
-
3. 视频数据较大 (~19GB),建议单独下载
|
| 98 |
-
|
| 99 |
## 相关链接
|
| 100 |
|
| 101 |
- [VBench 官方仓库](https://github.com/Vchitect/VBench)
|
|
|
|
| 1 |
# VBench I2V 评测环境
|
| 2 |
|
| 3 |
+
VBench Image-to-Video (I2V) 评测环境,包含评测代码、预训练模型与数据压缩包,以及可选的采样框架。
|
| 4 |
|
| 5 |
+
## 目录结构(Hub 上传形态)
|
| 6 |
|
| 7 |
```
|
| 8 |
vbench-i2v/
|
| 9 |
+
├── README.md
|
| 10 |
+
├── .hfignore # `hf upload` 忽略规则(避免重复上传解压目录)
|
| 11 |
+
├── vbench_env.tar.gz # Python 虚拟环境压缩包(可选,解压后得到 vbench_env/)
|
| 12 |
├── vbench2_beta_i2v/
|
| 13 |
+
│ ├── pretrained_models.tar.gz # 预训练模型压缩包(解压后得到 pretrained_models/)
|
| 14 |
+
│ ├── data.tar.gz # 输入图像压缩包(解压后得到 data/)
|
| 15 |
+
│ └── third_party.tar.gz # 第三方依赖压缩包(解压后得到 third_party/)
|
| 16 |
+
└── vbench/ # VBench 源码
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 17 |
|
| 18 |
+
说明:为避免重复上传(压缩包 + 解压目录),Hub 上默认以 `*.tar.gz` 为主;需要使用时请自行解压。
|
| 19 |
|
| 20 |
+
## 解压数据与模型
|
| 21 |
|
| 22 |
```bash
|
| 23 |
+
cd vbench-i2v
|
|
|
|
| 24 |
|
| 25 |
+
# 可选:解压虚拟环境(如果你希望复用该环境)
|
| 26 |
+
tar -xzf vbench_env.tar.gz
|
| 27 |
+
|
| 28 |
+
# 解压评测所需数据/模型
|
| 29 |
+
tar -xzf vbench2_beta_i2v/data.tar.gz -C vbench2_beta_i2v
|
| 30 |
+
tar -xzf vbench2_beta_i2v/pretrained_models.tar.gz -C vbench2_beta_i2v
|
| 31 |
+
tar -xzf vbench2_beta_i2v/third_party.tar.gz -C vbench2_beta_i2v
|
| 32 |
+
```
|
| 33 |
```
|
| 34 |
|
| 35 |
+
## 采样
|
| 36 |
|
| 37 |
+
支持单机完整采样或跨机器分布式采样(VAE 和去噪分离)。
|
|
|
|
|
|
|
|
|
|
| 38 |
|
| 39 |
+
```bash
|
| 40 |
+
# 分布式采样
|
| 41 |
+
python your_sampler.py encode --output-prompt-file prompts.txt --output-latent-file latents.txt
|
| 42 |
+
python your_sampler.py denoise --prompt-file prompts.txt --latent-file latents.txt --output-dir ./denoised_latents
|
| 43 |
+
python your_sampler.py decode --latent-dir ./denoised_latents --output-dir ./sampled_videos/my_model
|
| 44 |
|
| 45 |
+
# 单机完整采样
|
| 46 |
+
python your_sampler.py full
|
| 47 |
+
```
|
| 48 |
|
| 49 |
+
采样框架目录 `samplers/` 可能需要单独上传/同步(不一定包含在基础上传中)。
|
| 50 |
|
| 51 |
+
## 评测
|
| 52 |
|
| 53 |
```bash
|
| 54 |
+
# 如果你解压了 vbench_env.tar.gz
|
| 55 |
source vbench_env/bin/activate
|
| 56 |
+
|
| 57 |
+
python run_i2v_eval.py --videos_path ./sampled_videos/my_model --dimension i2v_subject
|
| 58 |
```
|
| 59 |
|
| 60 |
+
### 评测维度
|
| 61 |
|
| 62 |
+
| 维度 | 说明 |
|
| 63 |
+
|------|------|
|
| 64 |
+
| i2v_subject | 主体一致性 |
|
| 65 |
+
| i2v_background | 背景一致性 |
|
| 66 |
+
| camera_motion | 相机运动 |
|
| 67 |
+
| subject_consistency | 视频内主体一致性 |
|
| 68 |
+
| background_consistency | 视频内背景一致性 |
|
| 69 |
+
| aesthetic_quality | 美学质量 |
|
| 70 |
+
| imaging_quality | 图像质量 |
|
| 71 |
+
| motion_smoothness | 运动平滑度 |
|
| 72 |
+
| dynamic_degree | 动态程度 |
|
| 73 |
|
| 74 |
+
## 采样规范
|
| 75 |
+
|
| 76 |
+
- 每个 (image, prompt) 生成 **5 个视频** (index 0-4)
|
| 77 |
+
- 命名:`{prompt}-{index}.mp4`
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 78 |
|
| 79 |
## 系统要求
|
| 80 |
|
|
|
|
| 83 |
- ~40GB 磁盘空间
|
| 84 |
- 16GB+ GPU 显存
|
| 85 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 86 |
## 相关链接
|
| 87 |
|
| 88 |
- [VBench 官方仓库](https://github.com/Vchitect/VBench)
|