# Overfit 排查清单（从数据 → 训练 → 推理）

下面按“最可能导致结果糊”的问题优先级排序。每一条都附带定位方式和建议修复思路。

## 1. 数据与标注是否真的被模型用上

### 1.1 文本 prompt 在训练与推理不一致（高优先级）
- 现状：
  - 训练时 `pre_shot_caption` 被固定为 `["xxx", "xxx", "xxx"]`
  - 推理时 `overfit_infer_debug.py` 会读取 `dataset.json` 的 `text` 作为 prompt
- 影响：模型训练时从未见过真实文本，推理时给真实文本会导致条件不匹配，输出容易发散或模糊。
- 定位：
  - `multi-shot/multi_view/datasets/videodataset.py` 的 `__getitem__` 硬编码 `pre_shot_caption`
- 建议：
  - 训练时用真实 `text`（或按 shot 拆分后的文本）替换 `pre_shot_caption`
  - 或推理时也用 `"xxx"` 保持一致（不推荐）

### 1.2 overfit 推理只跑了 test split（高优先级）
- 现状：
  - `overfit_infer_debug.py` 里 `training=False`，Dataset 只使用 `data_test`
  - 你的日志里 `Dataset size: 1`，说明只在 test 上推理
- 影响：过拟合训练是在 `data_train` 上，推理却在 test 上，必然看不到“过拟合效果”
- 定位：
  - `MulltiShot_MultiView_Dataset(..., training=False)`
- 建议：
  - overfit 验证时改为 `training=True` 或直接读取全部数据（不做 train/test split）

### 1.3 每次取随机 5 秒片段（高优先级）
- 现状：
  - `load_video_crop_ref_image` 每次随机切 5 秒，训练/推理都不确定
- 影响：同一个 index 每次取到不同片段，过拟合目标不稳定 → 输出糊
- 建议：
  - overfit 模式下固定切片（比如固定从第 0 帧开始）
  - 或设置固定随机种子，并在推理里复用同一个切片

## 2. 数据预处理是否正确（process_data）

### 2.1 检查处理后的视频尺寸/帧率
```bash
python - <<'PY'
import json, imageio
from pathlib import Path

path = Path('/data/rczhang/PencilFolder/multi-shot/processed/dataset.json')
data = json.load(path.open())
first = next(iter(data.values()))
video = first['disk_path']
reader = imageio.get_reader(video)
meta = reader.get_meta_data()
frame = reader.get_data(0)
reader.close()
print('video:', video)
print('fps:', meta.get('fps'))
print('shape:', frame.shape)  # 期望 (480, 832, 3)
PY
```
- 期望：fps=16，shape=(480, 832, 3)

### 2.2 检查 ID 图是否存在、数量够不够
```bash
python - <<'PY'
import json, os
from pathlib import Path

path = Path('/data/rczhang/PencilFolder/multi-shot/processed/dataset.json')
data = json.load(path.open())
first = next(iter(data.values()))
id_dir = Path(first['id_dir'])
print('id_dir exists:', id_dir.exists())
print('id_names:', first.get('id_names'))
for name in first.get('id_names', []):
    imgs = list((id_dir / name).glob('*'))
    print(name, 'num_imgs:', len(imgs))
PY
```

## 3. 训练配置是否支持“过拟合检查”

### 3.1 训练是否在用 ref_images
- `train_args.zero_face_ratio`=0.1 会随机把 ref 清空 10% 步。
- 过拟合排查建议：临时设为 `0.0`，确保 ID 图一直生效。

### 3.2 训练是否从旧 checkpoint 继续
- `resume_from_checkpoint: True`
- 如果之前的数据或 prompt 变了，旧 ckpt 会污染。
- 建议：排查时用新的输出目录或手动关闭 resume。

## 4. 推理配置是否合理

### 4.1 纯 prompt 推理 vs v2v
- 你现在默认是纯 prompt（`input_video=None`），这是合理的。
- 如果要确认模型是否“记住”训练样本，可临时开 v2v：
  - `--use_input_video`
  - 这只用于 sanity check，不是最终推理形态。

### 4.2 采样步数过少
- `num_inference_steps=8` 非常少，容易糊。
- 排查建议：先用 20~50 步看看清晰度提升。

## 5. 模型与权重是否正确

### 5.1 确认加载的是你训练出的最新 checkpoint
- `overfit_infer_debug.py` 默认取最新 `checkpoint-step-*`
- 建议手动指定 `--checkpoint_path` 再确认一次。

### 5.2 只训练了 DiT
- `trainable_models: dit`，text encoder 和 VAE 都冻结
- 对于过拟合一般没问题，但如果 prompt 变化很大，text encoder 冻结会让文本条件效果变弱。

## 快速结论（最可能导致“全是糊图”的 3 个点）
1) **训练/推理 prompt 不一致（训练固定 "xxx"，推理用真实 text）**  
2) **overfit 推理用的是 test split，不是训练集**  
3) **每次都随机 5 秒片段，过拟合目标不稳定**  

如果你愿意，我可以按这个顺序逐一修掉并验证。