source/eval/reports/00_executive_summary.md

korean_1b_fp8_run1 종합 평가 리포트

평가 날짜: 2026-02-26 평가 환경: NVIDIA B200 ×1 (추론), BF16, 평가 소요 시간 약 15분

---

모델 정보

항목	내용
모델명	korean_1b_fp8_run1
파라미터	1,189.7M (1.19B)
아키텍처	Decoder-only Transformer, LLaMA-style
vocab_size	64,000
d_model	2,048
n_layers	24
n_heads	16
n_kv_heads (GQA)	4
d_ffn	5,472
위치 인코딩	RoPE (theta=500,000)
정규화	RMSNorm
활성화 함수	SwiGLU
기타	Weight Tying, FlashAttention-2, TransformerEngine FP8 (MXFP8BlockScaling)

학습 설정

항목	내용
학습 단계	34,000 steps
GPU 환경	8× NVIDIA B200
학습 정밀도	FP8 + BF16 혼합
학습률	2.0e-4
배치 크기	1.05M tok/step (8GPU × 8batch × 4accum × 4096seq)
웜업	2,000 steps
학습 데이터	한국어 위키백과 + C4 한국어 + 나무위키 (총 ~8.91B tokens, ~4 에포크)

---

핵심 평가 결과 요약

평가 영역	핵심 지표	판정
Perplexity (통합)	PPL=6.95, bits/tok=2.80	Good (1B 기준)
Perplexity (C4)	PPL=5.67, bits/tok=2.50	Excellent
Perplexity (Wiki)	PPL=11.66, bits/tok=3.54	Acceptable
Perplexity (Namuwiki)	PPL=25.34, bits/tok=4.66	Needs improvement
Top-1 Accuracy	56.18%	Good
Top-5 Accuracy	72.35%	Good
Top-10 Accuracy	77.75%	Good
Mean Entropy	2.24 nats (3.23 bits)	Healthy
생성 품질	한국어 문법 양호, 사실 부분적	Expected for 1B
반복 퇴화	3/10 degenerate (30%)	Needs mitigation
코드/수학	매우 제한적	Expected

---

상세 리포트 목록

파일	내용
01_perplexity_report.md	데이터 소스별 Perplexity 상세 분석
02_generation_report.md	10개 프롬프트 생성 품질 상세 분석
03_repetition_calibration_report.md	반복 분석 + 캘리브레이션 점검
04_token_analysis_comparison_report.md	토큰 수준 NLL 분석 + 온도별 비교

---

Perplexity 분석 요약

데이터 소스별 PPL

C4 한국어 (일반 웹 텍스트):  PPL =  5.67  bits/tok = 2.50  ← Excellent
위키백과:                     PPL = 11.66  bits/tok = 3.54  ← Acceptable
나무위키:                     PPL = 25.34  bits/tok = 4.66  ← Needs improvement
통합 (가중 평균):             PPL =  6.95  bits/tok = 2.80  ← Good

C4에서의 낮은 PPL은 일상적 웹 텍스트 분포에 잘 적응했음을 나타낸다. 위키백과 PPL이 나무위키보다 낮은 것은 위키백과 특유의 정형화된 문체가 학습 데이터로 더 많이 포함되었기 때문으로 해석된다. 나무위키의 높은 PPL은 구어체, 은어, 신조어, 표 형식 등 비정형 텍스트가 많기 때문이며, 1B 규모의 모델에서는 일반적인 결과이다.

비교 기준 (참고)

모델	규모	한국어 PPL (참고치)
GPT-2 Small	125M	~30–40 (영어 기준)
small_fp8_run1 (본 프로젝트)	125M	~18–22 (추정)
korean_1b_fp8_run1 (본 모델)	1.19B	6.95 (통합)
LLaMA-2 7B (한국어 적응 없음)	7B	—

125M → 1.19B 스케일업에서 PPL이 약 2.5배 이상 개선된 점은 스케일링 법칙(Chinchilla)과 일치하는 결과이다.

---

생성 품질 분석 요약

10개 프롬프트에 대한 greedy decoding 결과 기준:

생성 성공 사례 (7/10)

• 일상 대화 / 설명문: 자연스러운 한국어 문장 구성, 조사·어미 처리 안정적
• 사전적 정의 요청: 단어 설명 형식을 잘 따라가는 경향
• 간단한 목록 생성: 항목 나열 패턴 파악

문제 사례 (3/10)

• 반복 퇴화 (Repetition Degeneration): 같은 구절이 반복되며 문장이 수렴하지 않음. Greedy decoding에서 특히 발생하기 쉬운 패턴으로, temperature sampling 또는 repetition penalty 적용으로 완화 가능
• 사실 오류: 세종대왕 관련 연도, 김치찌개 레시피 비율 등에서 부정확한 내용 생성 — 1B 파라미터로는 세밀한 사실 기억 능력에 한계가 있으며 예상된 결과
• 코드/수학: 파이썬 코드 생성 및 수식 계산에서 매우 제한적인 성능 — 사전학습 데이터에 코드/수학 데이터가 포함되지 않았으므로 예상된 결과

---

캘리브레이션 분석 요약

Top-K Accuracy

K	Accuracy
Top-1	56.18%
Top-5	72.35%
Top-10	77.75%

Top-1 정확도 56%는 언어 모델로서 건강한 수준이다. 모델이 올바른 다음 토큰을 확률 상위 1위로 예측하는 비율이 56%라는 것은 과도한 확신(overconfidence)이나 과소한 확신(underconfidence) 없이 균형 잡힌 예측 분포를 가짐을 시사한다.

엔트로피 분석

Mean Entropy: 2.24 nats (3.23 bits)

엔트로피 2.24 nats는 모델이 예측 시 약 9.4개 토큰에 걸쳐 확률을 분산시킨다는 의미이다 (e^2.24 ≈ 9.4). 이 값은 너무 뾰족하지도(greedy collapse 위험) 너무 평탄하지도(무작위 출력 위험) 않은 건강한 분포를 나타낸다.

---

결론

전체 평가

1B 한국어 사전학습 모델로서 전반적으로 양호한 성능.

이 모델은 한국어 위키백과, C4 한국어, 나무위키 약 8.91B 토큰으로 학습된 1.19B 파라미터 Decoder-only 모델이다. 8× B200 GPU 환경에서 FP8 + BF16 혼합 정밀도로 34,000 steps 학습하였으며, Chinchilla 최적 계산량에 근사한 설정이다.

---

강점

1. C4 PPL=5.67: 일반 웹 텍스트에 대한 우수한 언어 모델링 성능. 한국어 일상 텍스트의 패턴을 잘 학습함
2. Top-1 Accuracy 56%: 과도한 확신 없이 건강한 캘리브레이션 상태를 유지함
3. 한국어 문법 처리: 조사(은/는/이/가/을/를), 어미(했다/합니다/~이다) 처리가 안정적이며 문법적으로 자연스러운 문장 생성
4. 일상적 프롬프트 대응: 설명, 정의, 목록 등 기본적인 텍스트 생성 패턴 파악

---

약점

1. Namuwiki PPL=25.34: 비정형 텍스트(구어체, 은어, 신조어, 표 형식)에 상대적으로 약함. 도메인 불균형에서 비롯됨
2. 반복 퇴화 30%: 10개 생성 중 3개에서 repetition degeneration 발생. Greedy decoding 환경에서 특히 두드러지며, SFT 또는 RLHF 단계에서 개선 예상
3. 사실 정확도 제한: 세종대왕 연도, 음식 레시피 등 구체적 사실 기억 능력이 낮음. 1B 파라미터 모델의 고유한 한계이며, 7B 이상 스케일에서 개선 예상
4. 코드/수학 거의 불가: 사전학습 데이터에 코드/수학이 포함되지 않아 예상된 결과. 전문 파인튜닝 필요

---

다음 단계 권장

우선순위	작업	기대 효과
1	Instruction Tuning (SFT)	반복 퇴화 완화, 지시문 따르기 능력 부여
2	DPO/RLHF	생성 품질 + 사실 정확도 개선
3	도메인 적응	나무위키/전문 도메인 추가 데이터로 PPL 개선
4	스케일업 (7B)	사실 기억, 반복 문제 동시 개선 예상
5	양자화 + 배포	GGUF Q4_K_M + Ollama 서빙 (Phase B 파이프라인 활용 가능)

---

평가 환경

항목	내용
GPU	NVIDIA B200 ×1 (추론)
추론 dtype	BF16
평가 소요 시간	약 15분 (전체 6개 섹션)
평가 날짜	2026-02-26
평가 스크립트	eval/comprehensive_eval.py