README.md

# EquiAV 项目设置与使用指南

## 1\. 🚀 安装与设置

**1. 克隆仓库**

首先，克隆本项目的 Git 仓库：


**2. 下载预训练权重**

您需要下载两个预训练模型权重文件，并将它们放置在指定位置。

  * **MAE 权重:**

      * **下载链接:** [https://dl.fbaipublicfiles.com/mae/pretrain/mae\_pretrain\_vit\_base.pth](https://dl.fbaipublicfiles.com/mae/pretrain/mae_pretrain_vit_base.pth)
      * **放置路径:** `./pretrained_weights/mae_pretrain_vit_base.pth`
        *(请确保 `pretrained_weights` 目录存在)*

  * **EquiAV 权重:**

      * **下载链接:** [https://docs.google.com/uc?export=download\&id=1QCvBcu-CAXFLKqfk0G7niO2JO5kf74K6](https://docs.google.com/uc?export=download&id=1QCvBcu-CAXFLKqfk0G7niO2JO5kf74K6)
      * **放置路径:** `./EquiAV_pretrained.pth`
        *(放置在项目根目录)*

**3. 准备视频数据**

  * 创建一个文件夹，用于存放您所有待处理的 `.mp4` 视频文件。
  * 例如，您可以将它们放在：`/root/autodl-tmp/EquiAV/data_right`

-----

## 2\. 🏃‍♂️ 运行步骤

**1. 运行视频预处理 (process\_video.py)**

此脚本用于从您的 MP4 视频中提取帧。

  * **运行命令:**

    ```bash
    python ./process_video.py
    ```

  * **[\!] 重要：** 在运行之前，您**必须**打开并修改 `./process_video.py` 文件中的配置路径：

    ```python
    # 1. mp4 文件所在的目录
    SOURCE_DIR = '/root/autodl-tmp/EquiAV/data_right'

    # 2. 存储提取的帧的目录
    TARGET_DIR = '/root/autodl-tmp/right_frames' 

    # 3. 每个视频提取的帧数 (根据 EquiAV 论文)
    NUM_FRAMES = 10
    ```

**2. 运行匹配度判断 (judg.py)**

此脚本将加载提取的帧和视频，使用 EquiAV 模型计算匹配分数，并将结果保存为 `.json` 文件。

  * **运行命令:**

    ```bash
    python ./judg.py
    ```

  * **[\!] 重要：** 在运行之前，您**必须**打开并修改 `./judg.py` 文件中的配置：

    ```python
    # 包含 _frames 目录的路径，也是 .json 文件的输出路径
    FRAME_DATA_DIR = '/root/autodl-tmp/right_frames' 
    # 包含 .mp4 文件的源目录 (将进行递归搜索)
    VIDEO_SOURCE_DIR = '/root/autodl-tmp/EquiAV/data_right' 
    # 你的模型 .pth 文件路径
    MODEL_PATH = '/root/autodl-tmp/EquiAV/EquiAV_pretrained.pth' 

    # [!] 关键：运行时的批处理大小。
    RUN_BATCH_SIZE = 1 # 如果显存不足 (OOM)，请减小此值

    # [!] 预处理脚本使用的帧目录后缀
    FRAME_DIR_SUFFIX_FROM_PREPROCESS = '_frames'
    ```