---
language:
  - en
  - ko
license: apache-2.0
library_name: litgpt
tags:
  - gdn2
  - linear-attention
  - long-context
  - pretrain
  - fineWeb-edu
model-index:
  - name: GDN-2 1.3B paper-matched
    results: []
---

# GDN-2 1.3B — paper-matched pretrain (LIVE)

FineWeb-Edu로 GDN-2 1.3B를 paper recipe 그대로 학습한 체크포인트 시리즈.
**5B 토큰부터 100B 토큰까지 5B 간격**으로 저장됨. 현재 LIVE training 중
(완료 예상: 2026-07-19 일요일 오후).

## 레포 구조

모든 checkpoint가 같은 repo에 `model-{N}b.pth` 형태로 정리됨:

| 파일 | 학습 토큰 | val_loss | 비고 |
|---|---|---|---|
| `model-5b.pth` | 5B | (참조) | 가장 초기 |
| `model-10b.pth` | 10B | (참조) | — |
| `model-15b.pth` | 15B | (참조) | — |
| `model-20b.pth` | 20B | (참조) | — |
| `model-25b.pth` | 25B | (참조) | — |
| `model-30b.pth` | 30B | (참조) | — |
| `model-35b.pth` | 35B | (참조) | — |
| `model-40b.pth` | 40B | 2.053 mean | step 88K, NEW ALL-TIME LOW |
| `model-45b.pth` ~ `model-100b.pth` | — | — | LIVE training 완료 후 추가 |

각 파일은 단일 `model.pth` (17.4GB) — litgpt format.

## 학습 셋업 (paper-matched)

- **백본**: GDN-2 1.3B (config: `tsz128x4k_100B`)
- **데이터**: FineWeb-Edu (sample 10M, seed 1337 + 1B warmup)
- **batch_size**: 0.5M tokens = 128 seqs × 4096 tokens
- **Learning rate**: 4e-4, cosine decay
- **warmup**: 1B tokens (2K steps)
- **target**: 100B tokens (200K steps)
- **GPU**: 8× H200 DDP
- **throughput**: 34.46K tokens/s/GPU (275K tokens/s/step)
- **러처**: `dsc/scripts/pretrain_gdn2_1.3B_paper_matched.sh`

## val_loss 궤적 (2026-07-17 기준)

```
step  val_loss(mean)  비고
8K    2.114
16K   2.138
24K   2.110
32K   2.123
40K   2.081
48K   2.087
56K   2.057          previous low
64K   2.081
72K   2.057          tied
80K   2.057          tied
88K   2.053          NEW ALL-TIME LOW
```

## 사용법 (litgpt)

```python
from lit_gpt import GPT
# 특정 step 로드
model = GPT.from_pretrained(
    "LLM-OS-Models2/gdn2-1.3b-paper-matched",
    checkpoint_file="model-40b.pth",
)
```

## 평가 결과

RULER / LongBench / BABILong / InfiniteBench 결과는
[`GDN2_RULER_STANDARD_RESULTS_KO.md`](https://github.com/gyunggyung/LLM-OS-Models/blob/main/long-gdn/GDN2_RULER_STANDARD_RESULTS_KO.md)
참조 (training 완료 후 평가 예정).

## 인용 / 재현

- 코드: https://github.com/gyunggyung/LLM-OS-Models (`long-gdn/dsc/`)
- 런처: `dsc/scripts/pretrain_gdn2_1.3B_paper_matched.sh`
- 학습 로그: `dsc/runs/logs/gdn2_1.3B_fineweb_edu_100bt_paper_matched_20260715T033419Z.log`

## 라이센스

Apache 2.0. FineWeb-Edu dataset은 원본 license 따름.