Text-to-Image
Diffusers
Safetensors
flow-matching
pyramidal-unet
256x256
ettin-150m
from-scratch
ra
udit
Instructions to use AiArtLab/Ra with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Diffusers
How to use AiArtLab/Ra with Diffusers:
pip install -U diffusers transformers accelerate
import torch from diffusers import DiffusionPipeline # switch to "mps" for apple devices pipe = DiffusionPipeline.from_pretrained("AiArtLab/Ra", dtype=torch.bfloat16, device_map="cuda") prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k" image = pipe(prompt).images[0] - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- Draw Things
- DiffusionBee
|
Download docs/STATUS.md from AiArtLab/Ra: direct link, hf CLI and curl.
- Browser
- Download file 3.49 kB
-
https://huggingface.co/AiArtLab/Ra/resolve/main/docs/STATUS.md
- Command line
-
hf download hf://AiArtLab/Ra/docs/STATUS.md
-
curl -L -o STATUS.md https://huggingface.co/AiArtLab/Ra/resolve/main/docs/STATUS.md
3.49 kB
Состояние и планы
Что работает (проверено)
- Пайплайн целиком: текст → латент → пиксели, обучение и сэмплинг. Baseline-метрики в каждом
логе:
mse_lat(общий, low t<0.3, high t>0.7),mse_pix,switch,tail(z0),skip. - Бабочки, 20 000 шагов (
butterflies_256x64, 970 train / 30 eval, 97 мс/шаг):
| шаги | hf (доля от AE 0.859) | mse_lat | low | high | switch |
|---|---|---|---|---|---|
| 4 000 | 0.446 (52%) | 0.21 | 0.031 | 0.42 | 0.43 |
| 10 000 | 0.436 (51%) | 0.164 | 0.024 | 0.322 | 0.68 |
| 20 000 | 0.540 (63%) | 0.107 | 0.022 | 0.187 | 0.78 |
Глазами: узнаваемая бабочка с жилками и рисунком, два сида дают две разные особи.
tail(z0) 24.7 дБ (потолок AE на 256² — 0.859 по hf), skip = 0.
- Потолок AE не мешает: на 256² AE сохраняет 0.859 из 0.913 высоких частот GT.
Чего ещё не сделано
- Плато на бабочках не найдено. hf 0.436 → 0.540 за 10k шагов, лоссы падают; 30k шагов покажут, где насыщение.
- Люди не обучены на этой архитектуре. Готов билдер
src/make_dataset_people.py(5749 фото в~/dataset/allphoto_train, классы woman/man/cat, бакеты кратны 64). Это главный тест: там капшены длинные и детальными, то есть деталь определена условием. - 512² не запускался на пирамиде. Нужен набор с бакетами кратны 64 (512×384, 512×256, 384×512,
512×512) —
make_dataset.py --long-side 512 --multiple 64. Ожидание: чешуйки/лица физически разрешимы (бабочка 400 px вместо 200). high= 0.187 — «выбор особи» на высоком шуме. Падает с обучением (0.42 → 0.19), поэтому причина — недообучение, а не только бедность капшена.
Известные ограничения
- Латент AE — f8 (64×64 при 512²). Всё мельче 8×8 px додумывает декодер, а не тело.
- Бакеты обязаны быть кратны 64 по каждой стороне (три даунсэмпла). При других размерах даунсэмпл нецелый.
- Сравнение с прежними архитектурами корректно только на одинаковых наборах и шагах: старые чекпойнты в новую архитектуру не переносятся (уровни и ширины другие).
Порядок работ
- Дожать бабочек до плато (30k) — 16 минут на 10k шагов.
- Перейти на людей (5749) при 256²: 30k шагов ≈ 50 минут.
- 512² на людях — после того, как на 256² будут лица/руки.
- Ёмкость (ширина боттлнека 1536 → 2048, больше блоков L0) — только если данные и разрешение уже не дают прироста.