Ra / docs /STATUS.md
recoilme's picture
Ra fp16 (step 212000)
b4f5f26 verified
|
Raw History Blame Contribute Delete
3.49 kB

Состояние и планы

Что работает (проверено)

  • Пайплайн целиком: текст → латент → пиксели, обучение и сэмплинг. Baseline-метрики в каждом логе: mse_lat (общий, low t<0.3, high t>0.7), mse_pix, switch, tail(z0), skip.
  • Бабочки, 20 000 шагов (butterflies_256x64, 970 train / 30 eval, 97 мс/шаг):
шаги hf (доля от AE 0.859) mse_lat low high switch
4 000 0.446 (52%) 0.21 0.031 0.42 0.43
10 000 0.436 (51%) 0.164 0.024 0.322 0.68
20 000 0.540 (63%) 0.107 0.022 0.187 0.78

Глазами: узнаваемая бабочка с жилками и рисунком, два сида дают две разные особи. tail(z0) 24.7 дБ (потолок AE на 256² — 0.859 по hf), skip = 0.

  • Потолок AE не мешает: на 256² AE сохраняет 0.859 из 0.913 высоких частот GT.

Чего ещё не сделано

  1. Плато на бабочках не найдено. hf 0.436 → 0.540 за 10k шагов, лоссы падают; 30k шагов покажут, где насыщение.
  2. Люди не обучены на этой архитектуре. Готов билдер src/make_dataset_people.py (5749 фото в ~/dataset/allphoto_train, классы woman/man/cat, бакеты кратны 64). Это главный тест: там капшены длинные и детальными, то есть деталь определена условием.
  3. 512² не запускался на пирамиде. Нужен набор с бакетами кратны 64 (512×384, 512×256, 384×512, 512×512) — make_dataset.py --long-side 512 --multiple 64. Ожидание: чешуйки/лица физически разрешимы (бабочка 400 px вместо 200).
  4. high = 0.187 — «выбор особи» на высоком шуме. Падает с обучением (0.42 → 0.19), поэтому причина — недообучение, а не только бедность капшена.

Известные ограничения

  • Латент AE — f8 (64×64 при 512²). Всё мельче 8×8 px додумывает декодер, а не тело.
  • Бакеты обязаны быть кратны 64 по каждой стороне (три даунсэмпла). При других размерах даунсэмпл нецелый.
  • Сравнение с прежними архитектурами корректно только на одинаковых наборах и шагах: старые чекпойнты в новую архитектуру не переносятся (уровни и ширины другие).

Порядок работ

  1. Дожать бабочек до плато (30k) — 16 минут на 10k шагов.
  2. Перейти на людей (5749) при 256²: 30k шагов ≈ 50 минут.
  3. 512² на людях — после того, как на 256² будут лица/руки.
  4. Ёмкость (ширина боттлнека 1536 → 2048, больше блоков L0) — только если данные и разрешение уже не дают прироста.