source/eval/data_inventory/current_data.md

# 데이터 전수 실측 조사 결과
> 조사일: 2026-02-27 | 총 디스크 사용량: **195GB**

---

## 1. Pretrain 데이터 (.bin 파일) — 즉시 사용 가능

| 파일 | 크기 | 추정 토큰 수 | 비고 |
|------|------|-------------|------|
| `korean_train.bin` | 17GB | **8.9B** | 통합 (c4+wiki+namuwiki 머지) |
| `korean_val.bin` | 35MB | 17.9M | 통합 val |
| `korean_c4_train.bin` | 15GB | **7.5B** | C4 한국어 |
| `korean_c4_val.bin` | 29MB | 15.2M | |
| `korean_namuwiki_train.bin` | 2.1GB | **1.1B** | 나무위키 |
| `korean_namuwiki_val.bin` | 4.2MB | 2.2M | |
| `korean_wiki_train.bin` | 500MB | **261.8M** | 한국어 위키 |
| `korean_wiki_val.bin` | 1.1MB | 524K | |
| `train.bin` | 1.2GB | **605M** | 영어 위키 (Shakespeare 등) |
| `val.bin` | 5.8MB | 3.0M | |

### Pretrain 토큰 합계
- **korean_train.bin (통합)**: 8.9B tokens ← C4 + Wiki + Namuwiki 머지본
- **개별 합산** (c4 7.5B + wiki 0.26B + namuwiki 1.1B = 8.86B) → 통합본과 일치
- **영어 train.bin**: 605M tokens
- ⚠️ **korean_train.bin은 개별 .bin의 머지이므로 중복 계산 주의**
- **비중복 Pretrain 총합: ~9.5B tokens** (한국어 8.9B + 영어 0.6B)

---

## 2. korean_extra (HuggingFace 다운로드) — 처리 필요

| 디렉토리 | 크기 | 포맷 | 추정 토큰 |
|----------|------|------|----------|
| `culturax_ko` | 60GB | parquet | ~15B+ |
| `hplt_ko` | 23GB | parquet | ~6B |
| `cc100_ko` | 14GB | parquet/txt | ~3.5B |
| `oscar_ko` | 9.2GB | parquet | ~2.3B |
| `korean_textbooks` | 6.4GB | parquet | ~1.6B |
| `korean_webtext` | 4.2GB | parquet | ~1B |
| `finepdfs_edu_ko` | 2.9GB | parquet | ~700M |
| `namuwiki_extracted` | 2.2GB | parquet | ~550M |
| `wikipedia_korean` | 1.7GB | parquet | ~400M |
| `kovast` | 449MB | parquet | ~110M |
| `evol_instruct_ko` | 144MB | parquet/json | ~35M (SFT용) |
| `korean_safe_conv` | 51MB | parquet/json | ~12M (SFT용) |

**korean_extra 총합: ~123GB, 추정 ~30B+ tokens** (토큰화 전, 원문 기준)

---

## 3. SFT 데이터 — 즉시 사용 가능

| 파일 | 크기 | 샘플 수 |
|------|------|---------|
| `sft/train.jsonl` | 276MB | **161,848** |
| `sft/val.jsonl` | 15MB | **8,518** |

- **총 SFT 샘플: 170,366**
- 포맷: instruction/output 쌍, 한국어 번역 데이터
- 품질: 양호 (자연스러운 한국어, 다양한 주제)

---

## 4. Raw 텍스트 데이터 — 이미 .bin으로 변환 완료

| 디렉토리 | 크기 | 파일 수 | 비고 |
|----------|------|---------|------|
| `raw/c4_ko/` | 30GB | 50개 txt | → korean_c4_train.bin으로 변환됨 |
| `raw/namuwiki_ko/` | 5.7GB | 6개 txt | → korean_namuwiki_train.bin으로 변환됨 |
| `raw/ko_wiki_*.txt` | 1.2GB | 5개 txt | → korean_wiki_train.bin으로 변환됨 |
| `raw/en_wiki_*.txt` | 1.2GB | 3개 txt | → train.bin으로 변환됨 |
| **raw 합계** | **38GB** | **64개** | 삭제 가능 (디스크 절약) |

---

## 5. 종합 요약

### 즉시 사용 가능
| 용도 | 데이터 | 규모 |
|------|--------|------|
| **Pretrain** | korean_train.bin + train.bin | **9.5B tokens** |
| **SFT** | sft/train.jsonl | **161,848 샘플** |

### 처리하면 추가 확보 가능
| 소스 | 추정 규모 | 필요 작업 |
|------|----------|----------|
| korean_extra (전체) | **~30B+ tokens** | 토큰화 → .bin 변환 |
| evol_instruct_ko + korean_safe_conv | **~47M tokens (SFT)** | JSONL 변환 |

### 디스크 절약 가능
- `raw/` 38GB → 이미 .bin 변환 완료, 삭제 가능
- 개별 .bin (c4/wiki/namuwiki) → korean_train.bin 머지 후 중복, 삭제 가능 (~18GB)

### 최종 잠재력
- **Pretrain**: 현재 9.5B + korean_extra 30B+ = **~40B tokens 확보 가능**
- **SFT**: 현재 162K + 추가 변환 = **~200K+ 샘플 가능**