# Состояние и планы ## Что работает (проверено) - **Пайплайн целиком**: текст → латент → пиксели, обучение и сэмплинг. Baseline-метрики в каждом логе: `mse_lat` (общий, low t<0.3, high t>0.7), `mse_pix`, `switch`, `tail(z0)`, `skip`. - **Бабочки, 20 000 шагов** (`butterflies_256x64`, 970 train / 30 eval, 97 мс/шаг): | шаги | hf (доля от AE 0.859) | mse_lat | low | high | switch | |---|---|---|---|---|---| | 4 000 | 0.446 (52%) | 0.21 | 0.031 | 0.42 | 0.43 | | 10 000 | 0.436 (51%) | 0.164 | 0.024 | 0.322 | 0.68 | | 20 000 | **0.540 (63%)** | 0.107 | 0.022 | 0.187 | 0.78 | Глазами: узнаваемая бабочка с жилками и рисунком, два сида дают две разные особи. `tail(z0)` 24.7 дБ (потолок AE на 256² — 0.859 по hf), `skip` = 0. - **Потолок AE не мешает**: на 256² AE сохраняет 0.859 из 0.913 высоких частот GT. ## Чего ещё не сделано 1. **Плато на бабочках не найдено.** hf 0.436 → 0.540 за 10k шагов, лоссы падают; 30k шагов покажут, где насыщение. 2. **Люди не обучены на этой архитектуре.** Готов билдер `src/make_dataset_people.py` (5749 фото в `~/dataset/allphoto_train`, классы woman/man/cat, бакеты кратны 64). Это главный тест: там капшены длинные и детальными, то есть деталь *определена условием*. 3. **512² не запускался** на пирамиде. Нужен набор с бакетами кратны 64 (512×384, 512×256, 384×512, 512×512) — `make_dataset.py --long-side 512 --multiple 64`. Ожидание: чешуйки/лица физически разрешимы (бабочка 400 px вместо 200). 4. **`high` = 0.187** — «выбор особи» на высоком шуме. Падает с обучением (0.42 → 0.19), поэтому причина — недообучение, а не только бедность капшена. ## Известные ограничения - Латент AE — **f8** (64×64 при 512²). Всё мельче 8×8 px додумывает декодер, а не тело. - Бакеты обязаны быть кратны **64** по каждой стороне (три даунсэмпла). При других размерах даунсэмпл нецелый. - Сравнение с прежними архитектурами корректно только на одинаковых наборах и шагах: старые чекпойнты в новую архитектуру не переносятся (уровни и ширины другие). ## Порядок работ 1. Дожать бабочек до плато (30k) — 16 минут на 10k шагов. 2. Перейти на людей (5749) при 256²: 30k шагов ≈ 50 минут. 3. 512² на людях — после того, как на 256² будут лица/руки. 4. Ёмкость (ширина боттлнека 1536 → 2048, больше блоков L0) — только если данные и разрешение уже не дают прироста.