| # NOTES — саммари сессии (для продолжения) |
|
|
| ## Цель |
|
|
| Заменить персону в видео на «дилера» (4 фото блондинки в чёрном платье) через |
| SCAIL-2 пайплайн, без ComfyUI-сервера — прямым Python-скриптом. |
|
|
| ## Что сделано и работает ✅ |
|
|
| 1. **`generate.py`** — self-contained скрипт: ComfyUI ноды импортируются напрямую, |
| без API/сервера/GUI. Модели → промпты → маски → `SCAILAutoExtend.generate()` → mp4. |
| 2. **Мультиреференс работает нативно**: `reference_image` батчем `[N,H,W,C]` — |
| первый = основной, остальные = доп. виды. WanAnimatePlus для этого НЕ нужен. |
| 3. **Критичные параметры найдены** (из workflow автора, файл |
| `ComfyUI/custom_nodes/scail-auto-extend/SCAIL Auto Extend.json`): |
| `ModelSamplingSD3 shift=5` + `euler` + `simple` scheduler + `6 steps` + |
| `lightx2v LoRA @ 0.8` + пустой negative. Без shift — мыло. |
| 4. **SAM3-маски с кэшем** (`masks.py`): pose_video_mask + reference_image_mask, |
| single-person (max_objects=1), кэш по хэшу входов в `mask_cache/`. |
| 5. **Результат (animation mode, без масок и с масками)**: дилер перенесён |
| (блондинка, чёрное платье), движения следуют видео, зелёный фон сохранён. |
| 81 кадр за ~1 мин на 6 шагах. |
| 6. Ollama остановлен. GPU 2–6 — чужая тренировка, не трогаем. |
|
|
| ## Что НЕ работает / открытые проблемы ❌ |
|
|
| 1. **Позиция персоны**: в исходнике она слева, в выходе — по центру. |
| Маска (синий силуэт слева) идеальна, но НЕ управляет позицией. |
| Гипотеза: pose mask — про «какие пиксели какой персоне» (multi-person), |
| а layout модель берёт из референсов (центрированные портреты → центр). |
| 2. **Replacement mode с нашими входами — мусор**: гигантское лицо дилера |
| на весь кадр + брюнетка-двойник. Причины: |
| - **Баг референсов**: портретные фото 3024×4032 центр-кропятся в ландшафт |
| 832×480 → остаётся полоса «подбородок–грудь», голова отрезана |
| (`load_reference_images` в generate.py). Надо: letterbox/pad вместо crop |
| или портретное разрешение. |
| - Возможно, replacement mode ждёт полноростовый реф, а не хедшот. |
| 3. **Маски не чинят позицию в animation mode** (проверено: result3 — всё равно центр). |
| |
| ## План действий (next steps) |
|
|
| ### Ветка А: crop-and-composite (приоритет) |
| `composite.py` уже написан, не подключён. Идея: |
| 1. Из SAM3-маски → union bbox персоны (`person_bbox` уже есть) |
| 2. Кроп видео вокруг персоны с margin → портрет (напр. 576×832) |
| 3. Генерация дилера в кропе (центрирование не мешает — кроп и так на персоне; |
| заодно портрет = пропорции рефов дилера = голова не режется; |
| персона ~340px ширины вместо 130px → лицо качественнее) |
| 4. `composite_back` — вклейка в исходные кадры (с feather-маской) |
|
|
| ### Ветка Б: идея пользователя — первый кадр через 4B edit-модель |
| Пользователь ранее делал так: брал 1-й кадр видео, прогонял через маленькую |
| 4B-модель с редактированием (промпт «замени персону на персону из изображения»), |
| получал первый фрейм с нужной идентичностью. Дальше это можно использовать |
| как стартовый кадр/реф для видео-пайплайна. Кандидаты: Qwen-Image-Edit, |
| FLUX.2-klein-4b (уже лежит в diffusion_models: `flux-2-klein-4b-fp8.safetensors`!). |
| Обсудить на следующей сессии: стыковка с SCAIL-2 (edited first frame → |
| reference или previous_frames). |
|
|
| ### Ветка В (отложено): WanAnimatePlus |
| `prefix_frames` (до 5 доп. рефов поверх нативных) + `transition_video` |
| (бесшовная склейка 21-кадровыми хвостами). Требует установки |
| ComfyUI-WanVideoWrapper + ComfyUI-WanAnimatePlus. Пока хватает нативного. |
|
|
| ## Полезные факты |
|
|
| - SCAIL-2 = Wan 2.1 14B, pose кодируется на ПОЛОВИННОМ разрешении. |
| - Ширина/высота — кратны 32 (иначе circular-pad артефакты). |
| - `SCAILAutoExtend`: чанки 81 кадр, overlap 5, color transfer Reinhard LAB |
| между чанками (борьба с дрифтом цвета). |
| - Маски в SCAIL-2 — цветные: animation mode = pose-маска на ЧЁРНОМ фоне, |
| ref-маска на БЕЛОМ; replacement — наоборот. 28-канальный поток. |
| - Ссылки на демо-видео в README WanAnimatePlus протухли (user-attachments). |
| - Загрузка на HF: `hf upload AiArtLab/video . --repo-type model` (auth: recoilme). |
|
|
| ## Текущие артефакты |
|
|
| - `dealer_test2.mp4` — animation без масок (центр, иначе хорошо) |
| - `dealer_test3.mp4` — animation с масками (центр, маска не влияет на позицию) |
| - `dealer_repl.mp4` — replacement mode (мусор, см. выше) |
| - `mask_cache/` — 2 набора масок (animation + replacement варианты) |
| - `dealer/` — 4 фото дилера (портрет 3024×4032, EXIF ок) |
| - `drive.mp4` — тестовое видео (женщина в красном корсете, зелёный экран, |
| 81 кадр, 1280×720, 16 fps, персона слева) |
|
|
