| --- |
| language: |
| - en |
| - ko |
| license: apache-2.0 |
| library_name: litgpt |
| tags: |
| - gdn2 |
| - linear-attention |
| - long-context |
| - pretrain |
| - fineWeb-edu |
| model-index: |
| - name: GDN-2 1.3B paper-matched |
| results: [] |
| --- |
| |
| # GDN-2 1.3B — paper-matched pretrain (LIVE) |
|
|
| FineWeb-Edu로 GDN-2 1.3B를 paper recipe 그대로 학습한 체크포인트 시리즈. |
| **5B 토큰부터 100B 토큰까지 5B 간격**으로 저장됨. 현재 LIVE training 중 |
| (완료 예상: 2026-07-19 일요일 오후). |
|
|
| ## 레포 구조 |
|
|
| 모든 checkpoint가 같은 repo에 `model-{N}b.pth` 형태로 정리됨: |
|
|
| | 파일 | 학습 토큰 | val_loss | 비고 | |
| |---|---|---|---| |
| | `model-5b.pth` | 5B | (참조) | 가장 초기 | |
| | `model-10b.pth` | 10B | (참조) | — | |
| | `model-15b.pth` | 15B | (참조) | — | |
| | `model-20b.pth` | 20B | (참조) | — | |
| | `model-25b.pth` | 25B | (참조) | — | |
| | `model-30b.pth` | 30B | (참조) | — | |
| | `model-35b.pth` | 35B | (참조) | — | |
| | `model-40b.pth` | 40B | 2.053 mean | step 88K, NEW ALL-TIME LOW | |
| | `model-45b.pth` ~ `model-100b.pth` | — | — | LIVE training 완료 후 추가 | |
| |
| 각 파일은 단일 `model.pth` (17.4GB) — litgpt format. |
| |
| ## 학습 셋업 (paper-matched) |
| |
| - **백본**: GDN-2 1.3B (config: `tsz128x4k_100B`) |
| - **데이터**: FineWeb-Edu (sample 10M, seed 1337 + 1B warmup) |
| - **batch_size**: 0.5M tokens = 128 seqs × 4096 tokens |
| - **Learning rate**: 4e-4, cosine decay |
| - **warmup**: 1B tokens (2K steps) |
| - **target**: 100B tokens (200K steps) |
| - **GPU**: 8× H200 DDP |
| - **throughput**: 34.46K tokens/s/GPU (275K tokens/s/step) |
| - **러처**: `dsc/scripts/pretrain_gdn2_1.3B_paper_matched.sh` |
| |
| ## val_loss 궤적 (2026-07-17 기준) |
| |
| ``` |
| step val_loss(mean) 비고 |
| 8K 2.114 |
| 16K 2.138 |
| 24K 2.110 |
| 32K 2.123 |
| 40K 2.081 |
| 48K 2.087 |
| 56K 2.057 previous low |
| 64K 2.081 |
| 72K 2.057 tied |
| 80K 2.057 tied |
| 88K 2.053 NEW ALL-TIME LOW |
| ``` |
| |
| ## 사용법 (litgpt) |
| |
| ```python |
| from lit_gpt import GPT |
| # 특정 step 로드 |
| model = GPT.from_pretrained( |
| "LLM-OS-Models2/gdn2-1.3b-paper-matched", |
| checkpoint_file="model-40b.pth", |
| ) |
| ``` |
| |
| ## 평가 결과 |
| |
| RULER / LongBench / BABILong / InfiniteBench 결과는 |
| [`GDN2_RULER_STANDARD_RESULTS_KO.md`](https://github.com/gyunggyung/LLM-OS-Models/blob/main/long-gdn/GDN2_RULER_STANDARD_RESULTS_KO.md) |
| 참조 (training 완료 후 평가 예정). |
| |
| ## 인용 / 재현 |
| |
| - 코드: https://github.com/gyunggyung/LLM-OS-Models (`long-gdn/dsc/`) |
| - 런처: `dsc/scripts/pretrain_gdn2_1.3B_paper_matched.sh` |
| - 학습 로그: `dsc/runs/logs/gdn2_1.3B_fineweb_edu_100bt_paper_matched_20260715T033419Z.log` |
| |
| ## 라이센스 |
| |
| Apache 2.0. FineWeb-Edu dataset은 원본 license 따름. |
| |
