| # SISA2 checkpoints (weights only) |
|
|
| 모든 런: SlimPajama-6B(`/data/sisa_tokens`, GPT-NeoX 토크나이저), iso-token 5B |
| (0.5M tok/step × 9536 step), lr 3e-4 cosine, 단일 시드. 파일명 `step_009536.pt` = 완주본. |
| `params`는 임베딩 포함 총 파라미터 (모델 크기 라벨 50M/152M/369M는 비임베딩 기준). |
|
|
| | 디렉토리 | 크기 | 학습길이 | 주요 설정 | 용도 | |
| |---|---|---|---|---| |
| | `sisa2-50M_v13d_gclamp4` | 50M | 2048 | softcap30 + g-clamp±4 | **주 대조군** (val 3.3023) | |
| | `sisa2-50M_v13_softcap30_ll-1` | 50M | 2048 | softcap30만 | 클램프 ablation | |
| | `sisa2-50M_v13d_purecore` | 50M | 2048 | + importance 전부 제거 | 중요도 제거 arm | |
| | `sisa2-50M_v13d_impON` | 50M | 2048 | + η0.5·γ0.15 강제 활성 | 중요도 강제 arm | |
| | `sisa2-50M_v13d_xlunleash` | 50M | 2048 | + cross-layer 제약 전부 해제 | 중요도 최대개방 arm | |
| | `sisa2-50M_v13d_len8k` | 50M | **8192** | v13d, 긴 학습길이 | 2×2 길이축 (L1) | |
| | `sisa2-50M_v14_impbias2k` | 50M | 2048 | + v14 importance→로짓 바이어스 | 2×2 재배관축 (L2) | |
| | `sisa2-50M_v14_impbias8k` | 50M | **8192** | + v14 재배관 | 2×2 교차 (L3) | |
| | `sisa2-152M_v13d_gclamp4` | 152M | 2048 | softcap30 + g-clamp±4 | 스케일업 | |
| | `sisa2-152M_v13_softcap30_ll-1` | 152M | 2048 | softcap30만 | 스케일업 ablation | |
| | `sisa2-152M_v11_decisive` | 152M | 2048 | QK-norm (v11) | 안정화 대조 | |
| | `sisa2-369M_v12_loglambda_-1` | 369M | 2048 | QK-norm, log_lambda −1 | 깊이 안정화 계열 | |
| |
| 주: `sisa2-50M_v13d_*` 계열은 전부 동일 레시피(softcap30 + g-clamp±4 + log_lambda −1)에서 |
| 한 요소만 바꾼 arm이라 1변수 비교가 성립합니다. |
|
|
