File size: 8,910 Bytes

60024c0

# План внедрения: Python-скрипт для генерации SCAIL-2 видео

## Цель

Написать Python-скрипт, который генерирует видео через SCAIL-2 пайплайн,
используя прямое обращение к нодам ComfyUI (без API, без сервера, без GUI).

## Исходные данные

### Железо
- 7× NVIDIA RTX PRO 6000 Blackwell (97 GB VRAM каждая)
- CUDA 0 свободна (~97 GB)

### Софт (уже установлено)
- ComfyUI: `/home/ubuntu/ComfyUI`
- Python 3.12.3, torch 2.12.1+cu130

### Модели (уже скачаны)
| Файл | Путь |
|------|------|
| SCAIL-2 diffusion model | `models/diffusion_models/wan2.1_14B_SCAIL_2_fp8_scaled.safetensors` |
| VAE | `models/vae/wan_2.1_vae.safetensors` |
| Text encoder (umt5) | `models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors` |
| CLIP vision | `models/clip_vision/clip_vision_h_fp16.safetensors` |
| LoRA (lightx2v) | `models/loras/lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors` |

### Custom nodes (уже установлены)
- `scail-auto-extend` — референсная реализация, делает то же самое (прямой вызов нод)
- `comfyui-videohelpersuite` — VHS для загрузки/сохранения видео
- `comfyui-kjnodes` — утилиты (ресайз и т.д.)

### Встроенные ноды ComfyUI (уже есть)
- `comfy_extras.nodes_scail.WanSCAILToVideo` — SCAIL-2 conditioning
- `comfy_extras.nodes_custom_sampler.SamplerCustom` — sampling
- `comfy_extras.nodes_post_processing.ColorTransfer` — color matching
- Базовые: `CheckpointLoaderSimple`, `VAELoader`, `CLIPLoader`, `CLIPVisionLoader` и т.д.

## Архитектура скрипта (v1 — базовый SCAIL-2)

### Этап 1: загрузка моделей

```
1. LoadDiffusionModel (SCAIL-2) → MODEL
2. LoadVAE (wan_2.1)            → VAE
3. LoadCLIP (umt5)              → CLIP
4. LoadCLIPVision (clip_h)      → CLIP_VISION
```

Используем существующие ноды ComfyUI: `CheckpointLoaderSimple`, `VAELoader`, `CLIPLoader`, `CLIPVisionLoader`.

### Этап 2: подготовка conditioning

```
5. CLIPTextEncode(positive_prompt) → CONDITIONING (+)
6. CLIPTextEncode(negative_prompt) → CONDITIONING (−)
7. CLIPVisionEncode(ref_image)     → CLIP_VISION_OUTPUT
8. LoadVideo(pose_video)           → IMAGE (pose frames)
9. WanSCAILToVideo(               → SCAIL conditioning
       positive, negative, vae,
       width, height, length,
       pose_video, reference_image,
       clip_vision_output, ...
   )
```

### Этап 3: sampling

```
10. KSamplerSelect(sampler_name)  → SAMPLER
11. BasicScheduler(sigmas)        → SIGMAS
12. SamplerCustom(               → denoised latents
        model, positive, negative,
        sampler, sigmas, latent
    )
```

### Этап 4: декодирование и сохранение

```
13. VAEDecode(samples)           → IMAGE
14. SaveVideo / VHS_VideoCombine → video.mp4
```

## Входные параметры скрипта (v1)

```python
CONFIG = {
    # Модели
    "diffusion_model": "wan2.1_14B_SCAIL_2_fp8_scaled.safetensors",
    "vae": "wan_2.1_vae.safetensors",
    "text_encoder": "umt5_xxl_fp8_e4m3fn_scaled.safetensors",
    "clip_vision": "clip_vision_h_fp16.safetensors",

    # Входные данные
    "pose_video": "pose.mp4",          # драйвер-видео с позами
    "reference_image": "ref.png",      # референсное изображение
    "reference_mask": None,            # маска референса (опционально)
    "pose_mask": None,                 # маска поз (опционально)

    # Параметры генерации
    "width": 832,
    "height": 480,
    "num_frames": 81,                  # длина одного чанка
    "overlap": 5,                      # перекрытие между чанками
    "total_frames": None,              # если None = длина pose_video
    "seed": 42,
    "cfg": 1.0,
    "steps": 20,
    "sampler": "dpmpp_2m_sde",
    "scheduler": "karras",

    # SCAIL-2 специфичные
    "replacement_mode": False,         # False = animation, True = replacement
    "pose_strength": 1.0,
    "pose_start": 0.0,
    "pose_end": 1.0,

    # Промпты
    "positive_prompt": "...",
    "negative_prompt": "...",

    # LoRA (опционально)
    "lora": "lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors",
    "lora_strength": 1.0,

    # Вывод
    "output": "output.mp4",
    "fps": 24,
}
```

## План разработки (по шагам)

### Шаг 1: разведать API загрузки моделей
- Посмотреть, как `CheckpointLoaderSimple` загружает diffusion model
- Посмотреть, как `VAELoader` загружает VAE
- Посмотреть, как `CLIPLoader` / `CLIPVisionLoader` работают
- Понять сигнатуры `.execute()` или прямого вызова

### Шаг 2: написать загрузку моделей
- Функции `load_model()`, `load_vae()`, `load_clip()`, `load_clip_vision()`
- Проверить, что всё загружается без ошибок

### Шаг 3: написать conditioning
- Разобрать сигнатуру `WanSCAILToVideo.execute()`
- Подготовить все входы (pose video, reference image, masks, clip vision)
- Вызвать и получить conditioning

### Шаг 4: написать sampling
- Разобрать `SamplerCustom.execute()`
- Подготовить sampler, sigmas, noise
- Запустить sampling на одном чанке

### Шаг 5: цикл по чанкам (auto-extend)
- Реализовать логику как в `scail-auto-extend`:
  - Первый чанк: полная генерация
  - Последующие чанки: overlap с предыдущим, продление
  - Color transfer между чанками для борьбы с дрифтом
  - Склейка результата

### Шаг 6: декодирование и сохранение
- VAE decode
- Сохранение в mp4 (через torchvision или imageio)

### Шаг 7: обвязка — CLI и конфиг
- Чтение параметров из JSON/YAML конфига
- Прогресс-бар
- Обработка ошибок

## Что НЕ делаем в v1

- ❌ prefix_frames / transition_video (требует установки WanAnimatePlus + WanVideoWrapper)
- ❌ Bernini
- ❌ Uni3C ControlNet
- ❌ Face detection / pose detection (видео подаётся уже готовое)
- ❌ Real-time preview

## Что можно добавить в v2

- Установить `ComfyUI-WanVideoWrapper` + `ComfyUI-WanAnimatePlus`
- prefix_frames (1–5 reference-изображений)
- transition_video (бесшовная склейка сегментов)
- Bernini (v2v, rv2v, r2v)
- Автоматическая детекция поз/лиц через SDPoseOOD + YOLO

## Референсы для изучения

1. `/home/ubuntu/ComfyUI/custom_nodes/scail-auto-extend/__init__.py` — как делать прямой вызов нод
2. `/home/ubuntu/ComfyUI/comfy_extras/nodes_scail.py` — сигнатура WanSCAILToVideo
3. `/home/ubuntu/ComfyUI/comfy_extras/nodes_custom_sampler.py` — сигнатура SamplerCustom
4. https://github.com/wuwukaka/ComfyUI-WanAnimatePlus — целевой пайплайн (для v2)

## Открытые вопросы

1. **Загрузка SCAIL-2 модели**: `CheckpointLoaderSimple` ожидает чекпоинт в `models/checkpoints/`,
   а SCAIL-2 лежит в `models/diffusion_models/`. Нужно выяснить, какой loader использовать.

2. **Текстовый энкодер**: SCAIL-2 использует umt5. Нужно выяснить, как `WanSCAILToVideo`
   получает текстовые эмбеддинги — через стандартный `CLIPTextEncode` или иначе.

3. **CLIP Vision**: как именно `clip_vision_output` подаётся в `WanSCAILToVideo` —
   нужно посмотреть на example workflow (SCAIL Auto Extend V2/V3.json).

4. **LoRA**: как применять LoRA к SCAIL-2 модели. Есть ли встроенный механизм или нужно
   использовать отдельную ноду.

5. **Memory**: SCAIL-2 14B в fp8 ≈ 22 GB VRAM. С 97 GB на GPU 0 проблем быть не должно,
   но нужно проверить, что torch не аллоцирует лишнего.