한국어 공개 Pretrain 데이터셋 전수 조사

조사일: 2026-02-27 HuggingFace API 실접근 확인 완료

1. 이미 보유 데이터셋

데이터셋	보유 크기	한국어 토큰 수 (추정)	비고
`uonlp/CulturaX` (ko)	60GB	~24.8B	mC4+OSCAR 정제본, GATED
`cc100` (ko)	14GB	~5.5B	Common Crawl 100
`oscar-corpus/mOSCAR` (ko)	9.2GB	~3.5B	OSCAR multilingual
`HPLT/hplt_monolingual_v1_2` (ko)	23GB	~9B	Internet Archive 기반
`HAERAE-HUB/KOREAN-WEBTEXT`	보유	~1.5B	고품질 한국어 웹텍스트
`maywell/korean_textbooks`	보유	~0.2B	교과서 스타일 합성 데이터

보유 합계: ~106GB+ / ~44.5B 토큰

2. HuggingFace 접근 가능 - 추가 다운로드 필요

2-1. 대형 웹 코퍼스 (한국어 부분)

데이터셋	한국어 크기 (추정)	토큰 수 (추정)	접근성	우선도
`mc4` (ko)	~50GB	~20B	✅ 공개	⭐⭐⭐
`allenai/c4` (ko multilingual)	~15GB	~6B	✅ 공개	⭐⭐
`HPLT/HPLT2.0_cleaned` (ko)	~30GB	~12B	✅ 공개	⭐⭐⭐
`PleIAs/common_corpus` (ko)	~10-20GB	~5-8B	✅ 공개	⭐⭐⭐
`minpeter/fineweb-2-edu-korean-raw`	~20-30GB	~8-12B	✅ 공개	⭐⭐⭐⭐
`minpeter/fineweb-2-edu-korean`	~5-10GB	~2-4B	✅ 공개 (edu 필터링)	⭐⭐⭐⭐
`Viet-Mistral/CulturaY` (ko)	~5GB	~2B	✅ 공개	⭐⭐
`allenai/dolma` (ko 부분)	~3-5GB	~1-2B	✅ 공개	⭐⭐

2-2. 한국어 전용 데이터셋

데이터셋	크기 (추정)	토큰 수 (추정)	접근성	비고
`KORMo-Team/korean-web-collection`	~50-80GB	~20-30B	✅ 공개, dl=2.7k	한국어 웹 크롤, 가장 큰 한국어 전용
`KORMo-Team/korean-public-corpus`	~10-20GB	~4-8B	✅ 공개	공공 데이터 기반
`eliceai/korean-webtext-edu`	~2-5GB	~1-2B	✅ 공개	교육 품질 필터링
`CocoRoF/cc-100-korean-processing`	~14GB	~5.5B	✅ 공개	cc100 한국어 처리본
`MyeongHo0621/korean-quality-cleaned`	~5-10GB	~2-4B	✅ 공개	품질 정제
`opendatalab/WanJuan-Korean`	~3-5GB	~1-2B	✅ 공개	중국 AI 연구소 제공

2-3. 위키/나무위키/백과

데이터셋	크기	토큰 수 (추정)	접근성
`wikimedia/wikipedia` (ko)	~2GB	~0.8B	✅ 공개
`lcw99/wikipedia-korean-20240501`	~1.5GB	~0.6B	✅ 공개
`heegyu/namuwiki-extracted`	~5-8GB	~2-3B	✅ 공개
`heegyu/namuwiki`	~5-8GB	~2-3B	✅ 공개
`seyoungsong/Open-Korean-Historical-Corpus`	~1-2GB	~0.3-0.5B	✅ 공개

2-4. 법률/금융/도메인 특화

데이터셋	크기	토큰 수 (추정)	접근성
`smhilee/korean-law-dataset`	~1-3GB	~0.3-1B	✅ 공개
`joonhok-exo-ai/korean_law_open_data_precedents`	~1-2GB	~0.3-0.5B	✅ 공개
`Rootpye/korean-lawdata2`	~0.5-1GB	~0.2-0.3B	✅ 공개
`Rootpye/korean-lawdata4`	~0.5-1GB	~0.2-0.3B	✅ 공개
`ducut91/korean-constitutional-court-decisions`	~0.5GB	~0.1-0.2B	✅ 공개

2-5. 코드 데이터 (다국어)

데이터셋	전체 크기	한국어 관련성	접근성
`codeparrot/github-code`	~1TB+	코드 자체 (언어 무관)	✅ 공개
`bigcode/the-stack-v2`	~3TB+	코드 (한국어 주석 포함)	✅ 공개

3. AI Hub / 국립국어원 / 정부 데이터 (HF 외부)

3-1. AI Hub (aihub.or.kr) - 회원가입+승인 필요

데이터셋	규모 (추정)	비고
한국어 대화 데이터	~10-20GB	일상대화, 목적대화 등
한국어 뉴스 기사	~30-50GB	수백만 건
한국어 문서 요약	~5-10GB	뉴스/문서 요약 쌍
한국어 기계독해	~3-5GB	QA 데이터
전문분야 한국어	~5-10GB	의료/법률/금융/과학
한국어 SNS 데이터	~5-10GB	소셜미디어 텍스트
AI Hub 합계	~60-100GB	승인 후 다운로드, 상업적 이용 제한 확인 필요

3-2. 국립국어원 모두의 말뭉치 (corpus.korean.go.kr)

데이터셋	규모 (추정)	비고
문어 말뭉치 (신문, 잡지, 책)	~15-20GB	2020년대 기준
구어 말뭉치 (대화, 강연)	~5-10GB	전사 데이터
웹 말뭉치	~10-15GB	웹 수집 텍스트
메신저 말뭉치	~1-2GB	카카오톡 등
전문분야 말뭉치	~3-5GB	법률/의학/과학
NIKL 합계	~35-50GB	비상업적 연구용, 신청 필요

3-3. 기타 정부/공공 데이터

소스	규모	비고
국가법령정보센터 (law.go.kr)	~5-10GB	법령/판례 전문 크롤 가능
한국학술지인용색인 (KCI)	~3-5GB	논문 초록
국회 회의록	~2-3GB	공개
특허 데이터 (KIPRIS)	~5-10GB	한국어 특허

4. 접근 불가 / 확인 불가

데이터셋	상태	비고
`snunlp/korean-hate-speech`	❌ 404	삭제됨
`Bingsu/KoCC`	❌ 404	삭제됨
`nindanaoto/ko-books`	❌ 404	삭제됨
`snunlp/KR-FinPen`	❌ 404	삭제됨
`bigscience/roots_ko_*`	❌ 404	BigScience 프로젝트 종료
`open-llm-leaderboard/korean-fineweb`	❌ 미확인	존재 여부 불명

5. 총 가용 토큰 수 추정

카테고리	토큰 수 (추정)
이미 보유	~44.5B
HF 추가 다운로드 가능 (대형 웹)	~55-75B
HF 추가 다운로드 가능 (한국어 전용)	~30-50B
HF 추가 (위키/나무위키)	~5-7B
HF 추가 (법률/도메인)	~1-2B
AI Hub + NIKL (신청 필요)	~35-55B
기타 공공 데이터 (크롤 필요)	~5-10B
총 가용	~175-240B 토큰

⚠️ 중복 주의: CulturaX, mc4, HPLT, cc100 등은 Common Crawl 기반으로 상당 부분 중복됨. 중복 제거 후 유니크 토큰은 ~80-120B 수준으로 추정.

6. 즉시 다운로드 권장 Top 5

순위	데이터셋	이유
🥇 1	`KORMo-Team/korean-web-collection`	한국어 전용 최대 규모, 기존 보유 데이터와 중복 적음
🥈 2	`minpeter/fineweb-2-edu-korean-raw`	FineWeb2 기반 한국어 교육 품질, 최신 고품질
🥉 3	`HPLT/HPLT2.0_cleaned` (ko)	v1.2 이미 보유, v2.0은 더 크고 정제됨
4	`mc4` (ko)	CulturaX와 일부 중복이나 mC4 원본으로 추가 데이터 확보 가능
5	`heegyu/namuwiki-extracted` + `wikimedia/wikipedia` (ko)	백과사전 품질, 사실 정보 풍부

다운로드 명령 예시

# 1. KORMo korean-web-collection
huggingface-cli download KORMo-Team/korean-web-collection --repo-type dataset --local-dir ./data/korean-web-collection

# 2. FineWeb2 Korean
huggingface-cli download minpeter/fineweb-2-edu-korean-raw --repo-type dataset --local-dir ./data/fineweb2-korean

# 3. HPLT 2.0 Korean only
# (config 지정 필요 - ko subset)
python -c "from datasets import load_dataset; ds = load_dataset('HPLT/HPLT2.0_cleaned', 'ko', split='train'); ds.save_to_disk('./data/hplt2-ko')"

# 4. mC4 Korean
python -c "from datasets import load_dataset; ds = load_dataset('mc4', 'ko', split='train'); ds.save_to_disk('./data/mc4-ko')"

# 5. 나무위키 + 위키피디아
huggingface-cli download heegyu/namuwiki-extracted --repo-type dataset --local-dir ./data/namuwiki
python -c "from datasets import load_dataset; ds = load_dataset('wikimedia/wikipedia', '20231101.ko', split='train'); ds.save_to_disk('./data/wiki-ko')"

7. 참고사항

중복 처리 필수: 대부분의 대형 웹 코퍼스(CulturaX, mc4, cc100, OSCAR, HPLT)는 Common Crawl이 원천이므로 MinHash 등으로 dedup 필요
품질 필터링: FineWeb2-edu-korean은 교육 품질 스코어로 필터링되어 있어 pretrain 품질이 높음
라이선스 확인: AI Hub/NIKL 데이터는 상업적 이용 제한이 있을 수 있음. 사전 확인 필요
코드 데이터: 한국어 LLM이라도 코드 능력을 위해 the-stack-v2 또는 github-code에서 Python/JS/etc 포함 권장 (별도 50-100B 토큰)