SISA2 checkpoints (weights only)
모든 런: SlimPajama-6B(/data/sisa_tokens, GPT-NeoX 토크나이저), iso-token 5B
(0.5M tok/step × 9536 step), lr 3e-4 cosine, 단일 시드. 파일명 step_009536.pt = 완주본.
params는 임베딩 포함 총 파라미터 (모델 크기 라벨 50M/152M/369M는 비임베딩 기준).
| 디렉토리 | 크기 | 학습길이 | 주요 설정 | 용도 |
|---|---|---|---|---|
sisa2-50M_v13d_gclamp4 |
50M | 2048 | softcap30 + g-clamp±4 | 주 대조군 (val 3.3023) |
sisa2-50M_v13_softcap30_ll-1 |
50M | 2048 | softcap30만 | 클램프 ablation |
sisa2-50M_v13d_purecore |
50M | 2048 | + importance 전부 제거 | 중요도 제거 arm |
sisa2-50M_v13d_impON |
50M | 2048 | + η0.5·γ0.15 강제 활성 | 중요도 강제 arm |
sisa2-50M_v13d_xlunleash |
50M | 2048 | + cross-layer 제약 전부 해제 | 중요도 최대개방 arm |
sisa2-50M_v13d_len8k |
50M | 8192 | v13d, 긴 학습길이 | 2×2 길이축 (L1) |
sisa2-50M_v14_impbias2k |
50M | 2048 | + v14 importance→로짓 바이어스 | 2×2 재배관축 (L2) |
sisa2-50M_v14_impbias8k |
50M | 8192 | + v14 재배관 | 2×2 교차 (L3) |
sisa2-152M_v13d_gclamp4 |
152M | 2048 | softcap30 + g-clamp±4 | 스케일업 |
sisa2-152M_v13_softcap30_ll-1 |
152M | 2048 | softcap30만 | 스케일업 ablation |
sisa2-152M_v11_decisive |
152M | 2048 | QK-norm (v11) | 안정화 대조 |
sisa2-369M_v12_loglambda_-1 |
369M | 2048 | QK-norm, log_lambda −1 | 깊이 안정화 계열 |
주: sisa2-50M_v13d_* 계열은 전부 동일 레시피(softcap30 + g-clamp±4 + log_lambda −1)에서
한 요소만 바꾼 arm이라 1변수 비교가 성립합니다.