add level-drop (25% uniform-over-levels)
Browse files- code/PHASE2_NOTES.md +11 -0
code/PHASE2_NOTES.md
CHANGED
|
@@ -44,3 +44,14 @@ Phase-2๋ ์ด ์ง์ ๋ถํฐ **์๋ warmup ์ค์ผ์ค์ ๊ทธ๋๋ก ์ด์ด๊ฐ**:
|
|
| 44 |
2. Phase-2 ์ด์ด๊ฐ๊ธฐ: ์ต์ `phase2_stepN/`(HF)์ ๋ก์ปฌ์ ๋๊ณ `configs/tokenizer_l_spatial_phase2.yaml`์
|
| 45 |
`init_from`์ ๊ทธ ๊ฒฝ๋ก๋ก, `PHASE2_RESUME_STEP=N`์ผ๋ก `train_spatial_l_phase2.sh` ์คํ.
|
| 46 |
3. Phase-2 ์ฒ์๋ถํฐ: `init_from=step380000` + `PHASE2_RESUME_STEP=380000` (ํ์ฌ ์ค์ ).
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 44 |
2. Phase-2 ์ด์ด๊ฐ๊ธฐ: ์ต์ `phase2_stepN/`(HF)์ ๋ก์ปฌ์ ๋๊ณ `configs/tokenizer_l_spatial_phase2.yaml`์
|
| 45 |
`init_from`์ ๊ทธ ๊ฒฝ๋ก๋ก, `PHASE2_RESUME_STEP=N`์ผ๋ก `train_spatial_l_phase2.sh` ์คํ.
|
| 46 |
3. Phase-2 ์ฒ์๋ถํฐ: `init_from=step380000` + `PHASE2_RESUME_STEP=380000` (ํ์ฌ ์ค์ ).
|
| 47 |
+
|
| 48 |
+
## Level drop ์ถ๊ฐ (2026-07-16, step390000๋ถํฐ)
|
| 49 |
+
์ฐ๋ฆฌ multi-res ๋ฐฉ์์ ํต์ฌ์ธ **level drop(nested)** ๋ฅผ Phase-2์ ์ถ๊ฐ (step390000์์ resume).
|
| 50 |
+
- **๋ฐฉ์**: whole-level, coarse-first. keep_levels ~ uniform(1,4) โ {1x1},{1x1,2x2},{1x1,2x2,4x4},{all} ๊ฐ **25%**.
|
| 51 |
+
โ ๋ ๋ฒจ๋ณ ์ ์งํ๋ฅ 1x1=100%, 2x2=75%, 4x4=50%, 8x8=25%.
|
| 52 |
+
- **์ 25%(๋ ๋ฒจ๊ท ๋ฑ)**: ํ ํฐ๋น์จ(uniform-over-token) ๋ฐฉ์์ 8x8์ด 64/85๋ผ coarse-only๊ฐ ๊ฑฐ์ ํ์ต ์ ๋จ.
|
| 53 |
+
๋ ๋ฒจ๊ท ๋ฑ์ ๋ชจ๋ granularity๋ฅผ ๊ณ ๋ฅด๊ฒ ํ์ต โ ๊ฐ ๋ ๋ฒจ์ด ๋
๋ฆฝ์ ์ผ๋ก ์ธ๋ชจ์์ (multi-res reasoning ๋ชฉ์ ).
|
| 54 |
+
- **๋๋กญ ์์**: 8x8(finest, DiT ์ด๋ฏธ์งํ ํฐ๊ณผ 1:1)๋ถํฐ ๋๋กญ, 1x1(global)์ ํญ์ ์ ์ง.
|
| 55 |
+
์ ๋ถ ๋๋กญ(uncond)์ CFG(uncond_drop_prob)๊ฐ ๋ฐ๋ก ๋ด๋น.
|
| 56 |
+
- **๊ตฌํ**: `LevelNestedSampler` (spatial_diffuse_slot.py), config `enable_nest: True`.
|
| 57 |
+
- inference: `inference_with_n_slots`(ํ ํฐ budget)๋ฅผ whole-level prefix๋ก ๋งคํ (85โall, 21โ8x8 drop, 5โ[2x2,1x1], 1โ[1x1]).
|