File size: 3,494 Bytes
b4f5f26 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 | # Состояние и планы
## Что работает (проверено)
- **Пайплайн целиком**: текст → латент → пиксели, обучение и сэмплинг. Baseline-метрики в каждом
логе: `mse_lat` (общий, low t<0.3, high t>0.7), `mse_pix`, `switch`, `tail(z0)`, `skip`.
- **Бабочки, 20 000 шагов** (`butterflies_256x64`, 970 train / 30 eval, 97 мс/шаг):
| шаги | hf (доля от AE 0.859) | mse_lat | low | high | switch |
|---|---|---|---|---|---|
| 4 000 | 0.446 (52%) | 0.21 | 0.031 | 0.42 | 0.43 |
| 10 000 | 0.436 (51%) | 0.164 | 0.024 | 0.322 | 0.68 |
| 20 000 | **0.540 (63%)** | 0.107 | 0.022 | 0.187 | 0.78 |
Глазами: узнаваемая бабочка с жилками и рисунком, два сида дают две разные особи.
`tail(z0)` 24.7 дБ (потолок AE на 256² — 0.859 по hf), `skip` = 0.
- **Потолок AE не мешает**: на 256² AE сохраняет 0.859 из 0.913 высоких частот GT.
## Чего ещё не сделано
1. **Плато на бабочках не найдено.** hf 0.436 → 0.540 за 10k шагов, лоссы падают; 30k шагов
покажут, где насыщение.
2. **Люди не обучены на этой архитектуре.** Готов билдер `src/make_dataset_people.py`
(5749 фото в `~/dataset/allphoto_train`, классы woman/man/cat, бакеты кратны 64).
Это главный тест: там капшены длинные и детальными, то есть деталь *определена условием*.
3. **512² не запускался** на пирамиде. Нужен набор с бакетами кратны 64 (512×384, 512×256, 384×512,
512×512) — `make_dataset.py --long-side 512 --multiple 64`. Ожидание: чешуйки/лица физически
разрешимы (бабочка 400 px вместо 200).
4. **`high` = 0.187** — «выбор особи» на высоком шуме. Падает с обучением (0.42 → 0.19), поэтому
причина — недообучение, а не только бедность капшена.
## Известные ограничения
- Латент AE — **f8** (64×64 при 512²). Всё мельче 8×8 px додумывает декодер, а не тело.
- Бакеты обязаны быть кратны **64** по каждой стороне (три даунсэмпла). При других размерах
даунсэмпл нецелый.
- Сравнение с прежними архитектурами корректно только на одинаковых наборах и шагах: старые
чекпойнты в новую архитектуру не переносятся (уровни и ширины другие).
## Порядок работ
1. Дожать бабочек до плато (30k) — 16 минут на 10k шагов.
2. Перейти на людей (5749) при 256²: 30k шагов ≈ 50 минут.
3. 512² на людях — после того, как на 256² будут лица/руки.
4. Ёмкость (ширина боттлнека 1536 → 2048, больше блоков L0) — только если данные и разрешение
уже не дают прироста.
|