Commit History
15 days ago
-
attention в рендерере (mr_sa_*) + чекпойнт 25k
Рендерер свёрточный: +3 клетки рецептивного поля на блок, attention не было ни на одном уровне, максимальное RF на 512 px — ~290 px из 512. Анатомия — согласованность частей на расстоянии (палец -> кисть -> предплечье -> вторая рука), каналу взяться было неоткуда: единственным глобальным входом был план 16x16, то есть гладкая модуляция 32 px. model/pixel_attn.py: self-attention по карте признаков, ключи — та же карта, усреднённая 2x/4x, к q и kv дописаны сырые координаты. Четыре места в core: перед down1 (8 px на клетку), mid (полное self-attention, 16 px), после up1+joint_x (8 px, уже с текстом) и на карте 128 (4 px; ключи — сводка 16 px). Выходные свёртки нулевые: шаг 0 совпадает с моделью без них, старый чекпойнт грузится 1:1 (проверено: max|Δ| = 0). Цена: +16.99M параметров (206.4 -> 223.4M), ~+14% вычислений. Активации attention обёрнуты в torch.utils.checkpoint (_run1), иначе батч 4 не влезал в 16 ГБ; дефолт --batch 5 -> 4. Чекпойнт: шаг 25 000 (0.85 шаг/с, 3.4 карт/с, 14.5 ГБ…c67f8e0
16 days ago
-
config.json = только model_kw (native_res и прочие нечитаемые ключи убраны); lr 5e-5; train.sh пробрасывает флаги; комментарии о разрешении в наших единицах
70aeb45 -
батч по умолчанию 5 (16 ГБ), 24 — явный флаг для 32 ГБ
6777b3b -
дефолты train.py: --size 512, --batch 24, --resume, --mse-only; train_512.sh -> train.sh без флагов; вычищено «нативный 256»
d02cb3a -
чекпойнт 60 006 в transformer/; дефолты: --steps 250000, --out transformer/, --samples samples/, --log-every 20; скрипты не передают дефолты
1d4bd87
17 days ago
-
512 px — основной режим, а не надстройка над 256
Раньше доки и дефолты считали 256 px «основной веткой», хотя карточка и примеры — про 512. Переставлено местами: - pipeline.py: --size по умолчанию 512 (DEFAULT_SIZE в agat_pipeline.py); NATIVE_RES=256 остаётся только масштабом ядра (латент 64x64 = нативный латент Agate), model_index.json теперь resolution 512; - README: «Генератор картинок 512×512», секция «Почему 512 px» (ядро 64×64 + внешняя октава 128 = выход 512), 256 px — режим совместимости; - MODEL_CARD: то же по-английски, «Geometry: 512 px output», пример size=512; - TECHNICAL: «512 px» в шапке и в названии секции геометрии. Проверено: gen без --size даёт 512×512, test_pipeline.py зелёный (25 проверок).1e1649b
20 days ago
-
веса: 512 px + совместное внимание, чекпойнт шага 31 500
- transformer/model.safetensors: 31 500 шагов (батч 10, MSE-only) поверх чекпойнта 49k с новым адаптером `joint`; медиана mse 0.539 -> 0.524 (плато с ~20k), по сэмплам прирост в текстуре (мех, кирпич, рёбра зонта), композиция та же; - чекпойнт 819 МБ (204.74M параметров, 762 тензора); - README/MODEL_CARD/TECHNICAL: числа прогона, общий стаж 162 000 шагов.c567d23 -
model/: пакет вместо копии agate; текст и t входят в рендерер напрямую
- agate/ -> model/: thinker.py (Agate 003, наши правки помечены PATCH:), layers.py (примитивы блока), text_encoder.py (только Ettin). Удалены T2I, Planner, prompt_norm, T5/Hash-энкодеры и 3 не портированных check_*; импорты и model_index.json обновлены; - model/joint.py: совместное внимание [латент 16x16, план, текст] + FiLM от t и cross-attn адаптер на 32x32. Выходы нулевые, поэтому шаг 0 тождественен релизной модели, а старый чекпойнт грузится 1:1 (+10.38M параметров); - train.py: t из logit-normal sigmoid(randn), а сэмплер остаётся на shift 5; lr — 500 шагов прогрева и cosine 1e-4 -> 1e-5; глобальный шаг хранится в <out>/step.txt, чтобы расписание переживало перезапуск сторожа; - test_pipeline.py: 204.74M и проверки 512 px, всего 25; - README, docs/TECHNICAL.md, MODEL_CARD.md приведены к текущей модели.33163f4 -
512 px: вложенная октава 128 и stride-4 чтение плана
- agate/fcdm_thinker2_mr.py: subsample разрешает s=4, потерянные 8x8-патчи читает mr_taps4 (256->256, с нуля); forward при латенте 128 уходит в outer128 — ядро остаётся на 64, октава mr_outer_* работает на 128, hp_prior по разностям фаз; - train_512.sh: прогон 512 px под сторожем; - test_pipeline.py: 512 px (форма velocity, план 16x16, конечность), ожидаемые параметры 194.36M, всего 25 проверок; - README и docs/TECHNICAL.md: 512 px описан, «не поддерживается» убрано.1d73805
21 days ago
-
слияние: DDP-трейнер и сторож с HF, README = краткое описание, подробности в docs/TECHNICAL.md
69e5a59