| # Состояние и планы |
|
|
| ## Что работает (проверено) |
|
|
| - **Пайплайн целиком**: текст → латент → пиксели, обучение и сэмплинг. Baseline-метрики в каждом |
| логе: `mse_lat` (общий, low t<0.3, high t>0.7), `mse_pix`, `switch`, `tail(z0)`, `skip`. |
| - **Бабочки, 20 000 шагов** (`butterflies_256x64`, 970 train / 30 eval, 97 мс/шаг): |
|
|
| | шаги | hf (доля от AE 0.859) | mse_lat | low | high | switch | |
| |---|---|---|---|---|---| |
| | 4 000 | 0.446 (52%) | 0.21 | 0.031 | 0.42 | 0.43 | |
| | 10 000 | 0.436 (51%) | 0.164 | 0.024 | 0.322 | 0.68 | |
| | 20 000 | **0.540 (63%)** | 0.107 | 0.022 | 0.187 | 0.78 | |
| |
| Глазами: узнаваемая бабочка с жилками и рисунком, два сида дают две разные особи. |
| `tail(z0)` 24.7 дБ (потолок AE на 256² — 0.859 по hf), `skip` = 0. |
| - **Потолок AE не мешает**: на 256² AE сохраняет 0.859 из 0.913 высоких частот GT. |
| |
| ## Чего ещё не сделано |
| |
| 1. **Плато на бабочках не найдено.** hf 0.436 → 0.540 за 10k шагов, лоссы падают; 30k шагов |
| покажут, где насыщение. |
| 2. **Люди не обучены на этой архитектуре.** Готов билдер `src/make_dataset_people.py` |
| (5749 фото в `~/dataset/allphoto_train`, классы woman/man/cat, бакеты кратны 64). |
| Это главный тест: там капшены длинные и детальными, то есть деталь *определена условием*. |
| 3. **512² не запускался** на пирамиде. Нужен набор с бакетами кратны 64 (512×384, 512×256, 384×512, |
| 512×512) — `make_dataset.py --long-side 512 --multiple 64`. Ожидание: чешуйки/лица физически |
| разрешимы (бабочка 400 px вместо 200). |
| 4. **`high` = 0.187** — «выбор особи» на высоком шуме. Падает с обучением (0.42 → 0.19), поэтому |
| причина — недообучение, а не только бедность капшена. |
|
|
| ## Известные ограничения |
|
|
| - Латент AE — **f8** (64×64 при 512²). Всё мельче 8×8 px додумывает декодер, а не тело. |
| - Бакеты обязаны быть кратны **64** по каждой стороне (три даунсэмпла). При других размерах |
| даунсэмпл нецелый. |
| - Сравнение с прежними архитектурами корректно только на одинаковых наборах и шагах: старые |
| чекпойнты в новую архитектуру не переносятся (уровни и ширины другие). |
|
|
| ## Порядок работ |
|
|
| 1. Дожать бабочек до плато (30k) — 16 минут на 10k шагов. |
| 2. Перейти на людей (5749) при 256²: 30k шагов ≈ 50 минут. |
| 3. 512² на людях — после того, как на 256² будут лица/руки. |
| 4. Ёмкость (ширина боттлнека 1536 → 2048, больше блоков L0) — только если данные и разрешение |
| уже не дают прироста. |
|
|
