Llama 2: Open Foundation and Fine-Tuned Chat Models
Paper • 2307.09288 • Published • 252
🇰🇷 Korean-LLM v2.0
내 손으로 직접 만드는 한국어 AI
💡 왜 이 프로젝트를 시작했나?
"AI 기업들이 한도를 너무 빡세게 제한한다."
ChatGPT? 매달 한도.
Claude? 한번에 정해진 개수만.
Gemini? 제한이라는 게 뭐지?
언제까지 남이 만든 AI의 노예가 되실 거예요?
🚀 그래서 우리는 결심했습니다.
완전히 독립적인, 한국어 최적화 AI를 직접 만들자!
한 번에 무제한으로 쓸 수 있고,
마음대로 수정하고,
이해할 수 있는 모델을요.
이건 단순한 프로젝트가 아닙니다.
당신의 자유를 되찾는 여정입니다. 🔥
📊 실제 하드웨어에서 측정한 데이터
💻 테스트 환경
GPU: NVIDIA RTX 5090 Laptop
VRAM: 24GB GDDR7
CPU: Intel Core i9 (64GB RAM)
CUDA: 12.1
PyTorch: 2.4.0 (bfloat16 활성화)
⚡ 성능 수치 (실측)
|
처리 속도
|
진행도
|
💾 VRAM 상세 분석
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ GPU 메모리 프로파일 (RTX 5090, 24GB) ┃
┣━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┫
┃ ┃
┃ 🧠 모델 가중치: 4.2GB ████████░░░░░░░ ┃
┃ ⚙️ AdamW 옵티마이저: 8.4GB █████████████░ ┃
┃ 💫 활성화 (bfloat16): 1.8GB ███░░░░░░░░░░░ ┃
┃ 📦 그래디언트 축적: 0.8GB █░░░░░░░░░░░░░ ┃
┃ 🔧 기타 오버헤드: 0.3GB ░░░░░░░░░░░░░░ ┃
┃ ┃
┣━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┫
┃ 💪 총 사용: 23GB / 24GB (95.8%) ┃
┃ 🆓 여유: 1GB (안전 대역폭) ┃
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛
📈 학습 곡선 (Step 6,000 기준)
Loss 추이 📉
4.8 ┃ ●
4.4 ┃ ◐ ◐
4.0 ┃ ◑ ◐ ◑
3.6 ┃ ◑ ◐ ◐ ◑
3.2 ┃ ◑ ◐ ◐ ◐ ◑
2.8 ┃ ◐ ◐ ◐ ◐ ◐ ●
2.4 ┃
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
0 1K 2K 3K 4K 5K 6K
Step
✅ 상태: 안정적 감소 추세
✅ 과학습: 없음 (손실값 변동 작음)
✅ 수렴성: 매우 우수
⏱️ 시간대별 완성도
현재 진행 ███░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 12%
+8시간 후 ██████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 31%
+16시간 후 █████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 50%
+24시간 후 ████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 69%
+32시간 후 ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░ 87%
+30.5시간 후 ██████████████████████████████████████████ 100% ✅
🎯 이 프로젝트가 다른 이유
📊 비교표: 남 vs 내 것
| 기준 | ChatGPT API | Claude API | 이 프로젝트 |
|---|---|---|---|
| 무제한 사용 | ❌ 한도제한 | ❌ 한도제한 | ✅ 완전무제한 |
| 작동원리 이해 | ❌ 블랙박스 | ❌ 블랙박스 | ✅ 완전투명 |
| 커스터마이징 | ❌ 불가능 | ❌ 불가능 | ✅ 무제한 |
| 언어 확장 | ❌ 불가능 | ❌ 불가능 | ✅ 토크나이저만 교체 |
| 비용 | 💰 매달 과금 | 💰 매달 과금 | ✅ 전기료만 |
| 학습 기회 | ❌ 0% | ❌ 0% | ✅ 100% |
| 독립성 | ❌ 서버 의존 | ❌ 서버 의존 | ✅ 로컬에서만 |
| 버전 관리 | ❌ 서버만 | ❌ 서버만 | ✅ 완전 통제 |
🧠 모델 구조
모델 스펙
| 항목 | 값 | 설명 |
|---|---|---|
| 총 파라미터 | 1.09B | 1,090,000,000개 학습 가능한 가중치 |
| 아키텍처 | Transformer | Llama 2 스타일의 최신 구조 |
| 임베딩 차원 | 1,920 | 각 토큰을 나타내는 벡터 크기 |
| 레이어 수 | 20개 | Transformer 블록 깊이 |
| 어텐션 헤드 | 10개 | 멀티헤드 어텐션 병렬 처리 |
| 헤드 차원 | 192 | 1920 ÷ 10 |
| FFN 차원 | 4,800 | Feed-Forward 은닉층 (1920 × 2.5) |
| 어휘 크기 | 128,256 | 한국어 토큰 |
| 최대 시퀀스 | 256 (학습) / 2,048 (추론) | 한 번에 처리 가능한 토큰 |
아키텍처 다이어그램
┌─────────────────────────────────────────────────────────┐
│ 입력: 토큰 시퀀스 (최대 256 토큰) │
└─────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 🔵 임베딩층 (Embedding) │
│ • 각 토큰을 1,920차원 벡터로 변환 │
│ • Vocab Size: 128,256 → Hidden: 1,920 │
└─────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 🟣 Transformer Block × 20 │
│ ┌───────────────────────────────────────────────────┐ │
│ │ [Pre-Norm] │ │
│ │ 🔸 RMSNorm (Layer Normalization 개선) │ │
│ │ │ │
│ │ [Self-Attention] │ │
│ │ 🔸 Multi-Head Attention (10 heads) │ │
│ │ 🔸 Query, Key, Value Projection │ │
│ │ 🔸 Scaled Dot-Product Attention │ │
│ │ 🔸 RoPE (회전형 위치 인코딩) │ │
│ │ 🔸 KV-Cache (추론 최적화) │ │
│ │ 🔸 Output Projection │ │
│ │ 🔸 Residual Connection │ │
│ │ │ │
│ │ [Post-Norm] │ │
│ │ 🔸 RMSNorm │ │
│ │ │ │
│ │ [Feed-Forward Network] │ │
│ │ 🔸 SwiGLU (Gated Linear Unit) │ │
│ │ 🔸 Linear(1920 → 4800) [w1] │ │
│ │ 🔸 Linear(1920 → 4800) [w3, 게이트] │ │
│ │ 🔸 SiLU Activation │ │
│ │ 🔸 Linear(4800 → 1920) [w2] │ │
│ │ 🔸 Residual Connection │ │
│ │ │ │
│ └───────────────────────────────────────────────────┘ │
│ × 20 반복 │
└─────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 🟢 최종 정규화 (RMSNorm) │
└─────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 🔴 출력층 (Output Projection) │
│ • Linear(1920 → 128,256) │
│ • 각 토큰 위치에서 다음 토큰 확률 분포 │
│ • Weight Sharing (임베딩층과 동일) │
└─────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 출력: 토큰 확률 분포 (softmax) │
│ → 다음 토큰 샘플링 또는 argmax │
└─────────────────────────────────────────────────────────┘
핵심 기술 선택 이유
| 기술 | 성능 개선 | 선택 이유 |
|---|---|---|
| RMSNorm | ⚡ +15% 속도 | LayerNorm보다 계산량 少, 안정성 高 |
| RoPE | 📏 외삽 가능 | 긴 시퀀스 처리 + 위치 정보 우수 |
| SwiGLU | 🧠 +8% 성능 | GELU보다 표현력 우수 |
| Multi-Head Attention | 🔄 병렬 처리 | 10개 헤드로 다양한 패턴 학습 |
| Gradient Checkpointing | 💾 -40% VRAM | 메모리 절약 (속도 10% 감소) |
| bfloat16 | ⚡ ×1.5 속도 | 속도 + 정확도 완벽 균형 |
| KV-Cache | 🚀 추론 빠름 | 생성 시 이전 K,V 캐싱 |
📚 학습 데이터셋
데이터 구성
총 220,500개 고품질 한국어 샘플
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ ┃
┃ 📚 nlpai-lab/kullm-v2 ┃
┃ ├─ 127,000개 명령어-응답 쌍 ┃
┃ ├─ 자연스러운 한국어 대화체 ┃
┃ └─ 실제 인터넷 데이터 기반 ┃
┃ ┃
┣━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┫
┃ ┃
┃ 🎯 beomi/KoAlpaca-v1.1a ┃
┃ ├─ 52,000개 명령어 데이터 ┃
┃ ├─ 실전 답변 예시 ┃
┃ └─ 고품질 필터링됨 ┃
┃ ┃
┣━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┫
┃ ┃
┃ 📖 maywell/korean_textbooks ┃
┃ ├─ 41,500개 교과서 + 학습 자료 ┃
┃ ├─ 형식적이고 정확한 한국어 ┃
┃ └─ 학술적 표현 학습 ┃
┃ ┃
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛
데이터 처리 파이프라인
원본 데이터셋
↓ [다운로드]
Hugging Face 캐시
↓ [정규화]
한국어 폰트 + 특수문자 통일
↓ [병합]
220,500개 샘플로 통합
↓ [토크나이징]
beomi/Llama-3-Open-Ko-8B 토크나이저
(→ 128,256개 토큰 어휘)
↓ [캐싱]
Parquet 형식으로 로컬 저장
↓ [배치 처리]
DataLoader로 효율적 배치 구성
↓ ✅
학습 준비 완료!
데이터 품질 지표
샘플 통계:
• 평균 길이: 256.3 토큰
• 최소 길이: 10 토큰
• 최대 길이: 2,048 토큰
• 한국어 비율: 98.7%
• 중복률: 0.3% (매우 낮음)
🚀 빠른 시작 가이드
📋 시스템 요구사항
💻 필수 사양:
GPU VRAM: 최소 23GB (권장: RTX 4090, RTX 5090, A100)
CPU RAM: 64GB 이상
저장공간: 1TB+ (데이터 200GB + 체크포인트)
📦 소프트웨어:
Python: 3.11 이상
PyTorch: 2.4.0 (CUDA 12.1)
CUDA: 12.1+
⚙️ 5분 안에 시작하기
# 1️⃣ Conda 환경 생성 (1분)
conda create -n korean-llm python=3.11 -y
conda activate korean-llm
# 2️⃣ PyTorch 설치 (2분)
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 \
--index-url https://download.pytorch.org/whl/cu121
# 3️⃣ 프로젝트 클론
git clone https://github.com/seoan1210/korean-llm-v2.git
cd korean-llm-v2
# 4️⃣ 의존성 설치 (1분)
pip install transformers==4.36.0 datasets==2.16.0 \
pandas==2.1.3 matplotlib==3.8.2 tqdm==4.66.1
# 5️⃣ 학습 시작! (1분)
python korean_llm_advanced_v2.py
# 🎉 첫 실행 자동 진행:
# ✅ 토크나이저 로드
# ✅ 데이터셋 다운로드 및 캐싱 (5~10분 소요)
# ✅ 모델 초기화
# ✅ GUI 자동 실행 (Loss 그래프 + 채팅)
# ✅ 학습 자동 시작
🖥️ GUI 모니터링
실시간 학습 대시보드
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Korean-LLM Training Monitor (Step 6,000) ┃
┣━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━┫
┃ Loss Curve ┃ Chat Interface ┃
┃ ┃ ┃
┃ Loss ┃ [System] Loaded! ┃
┃ 4.8 ┃ ● ┃ User: 안녕? ┃
┃ 4.4 ┃ ╱╲╱ ┃ Bot: 안녕하세요! ┃
┃ 4.0 ┃ ╱ ╲ ╱ ┃ User: 뭐해? ┃
┃ 3.6 ┃╱ ╲╱╲ ┃ Bot: 학습 중입니다 ┃
┃ 3.2 ┃ ╲ ╱╲ ┃ ┃
┃ 2.8 ┃ ╲╱ ╲● ┃ [🔄 Load Latest] ┃
┃ ┃ ┃ ┃
┃ Step └────────────────→ ┃ ┃
┃ 0K 1K 2K 3K 6K ┃ 입력: [ ] [Send] ┃
┃ ┃ ┃
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━╋━━━━━━━━━━━━━━━━━━━━━┛
┃
📊 실시간 Loss 그래프 📝 모델과 대화 (CPU)
매초 업데이트 최신 체크포인트 사용
자동 기능들
| 기능 | 동작 | 효과 |
|---|---|---|
| Loss 그래프 | 매 스텝마다 업데이트 | 학습 진행 시각화 |
| 샘플 생성 | 1,000 스텝마다 | 모델 성능 확인 |
| 체크포인트 | 1,000 스텝마다 저장 | 학습 중단 시 복구 |
| 로그 기록 | 모든 메트릭 저장 | 분석 및 재현 가능 |
| 채팅 인터페이스 | 실시간 모니터링 | 빠른 테스트 |
⚙️ 커스터마이징
🎛️ 학습 설정 조정
if __name__ == "__main__":
config = TrainingConfig(
# ⚡ 배치 설정
batch_size=2, # GPU 메모리에 맞게 조정
accumulation_steps=8, # 그래디언트 축적 (유효 배치 16)
# 📅 학습 스케줄
max_steps=50000, # 총 학습 스텝
warmup_steps=200, # 초반 불안정 완화
learning_rate=5e-5, # 최초 학습률
# 📊 평가 및 저장
eval_interval=1000, # 1,000 스텝마다 평가
checkpoint_interval=100, # 100 스텝마다 저장
# 🧠 모델 설정
max_seq_len=256, # 최대 시퀀스 길이
use_bfloat16=True, # 혼합 정밀도 활성화
# 💾 체크포인트
resume_from_checkpoint='latest', # 마지막에서 재개
download_datasets=False, # 재다운로드 하지 않음
)
main(config)
🔧 저사양 하드웨어 대응
| VRAM | 추천 설정 | 주의사항 |
|---|---|---|
| 24GB (기본) | batch_size=2, seq=256 |
안정적 |
| 20GB | batch_size=2, seq=128, dim=1536 |
약간 느림 |
| 16GB | batch_size=1, seq=128, dim=1024, layers=16 |
상당히 느림 |
| 12GB | batch_size=1, seq=64, dim=768, layers=8 |
매우 느림 |
📊 학습 진행 모니터링
현재 상태 (Step 6,000)
█████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 12%
현재 스텝: 6,000 / 50,000
진행도: 12%
평균 Loss: ~2.6 (안정적 감소)
학습률: 4.95e-05
경과 시간: ~3.67시간
예상 완성: ~26.83시간 더 필요
예상 완료: 2026년 8월 26일경 21:00
학습 단계별 특징
단계 Step 범위 특징 Loss
─────────────────────────────────────────────────────────
초반 (급감) 0~1,000 모델이 기본 패턴 학습 4.0→3.2
빠른 수렴 1,000~3,000 의미 있는 정보 학습 3.2→2.8
완만한 감소 3,000~5,000 세부 사항 다듬이 2.8→2.6
미세 조정 5,000~10,000 언어 스타일 학습 2.6→2.4
수렴 단계 10,000~50,000 점진적 개선 2.4→1.8
👉 현재 위치: 완만한 감소 단계 (Step 6,000)
🎓 이 프로젝트에서 배울 수 있는 것
초급 (1주일)
✓ Transformer 구조 완벽 이해
✓ Self-Attention 메커니즘
✓ 토크나이제이션 원리
✓ RoPE (회전형 위치 인코딩)
✓ PyTorch 모델 구현
✓ 기본 학습 루프
중급 (2주일)
✓ 학습 최적화 (Loss 감소)
✓ 하이퍼파라미터 튜닝
✓ 그래디언트 축적
✓ 혼합 정밀도 (bfloat16)
✓ 메모리 효율화
✓ 데이터 전처리 파이프라인
✓ 체크포인트 관리
✓ 배치 처리 최적화
고급 (3주일)
✓ CUDA 최적화
✓ 메모리 프로파일링
✓ 성능 분석 및 병목 파악
✓ 양자화 기법
✓ 분산 학습 (DDP)
✓ Flash Attention 적용
✓ 모델 배포 및 서빙
✓ 프로덕션 환경 구성
🐛 트러블슈팅
💥 CUDA Out of Memory
❌ 증상: RuntimeError: CUDA out of memory
✅ 해결책:
1️⃣ batch_size 감소: 2 → 1
2️⃣ max_seq_len 감소: 256 → 128
3️⃣ accumulation 증가: 8 → 16
4️⃣ GPU 캐시 비우기:
python -c "import torch; torch.cuda.empty_cache()"
📡 데이터셋 다운로드 실패
❌ 증상: ConnectionError / TimeoutError
✅ 해결책:
# 캐시 초기화
rm -rf datasets/cache/*
rm datasets/datasets_manifest.json
# Hugging Face 로그인
huggingface-cli login
# 재시도
python korean_llm_advanced_v2.py
🖥️ GUI가 안 열림
❌ 증상: RuntimeError: No module named '_tkinter'
✅ Linux 해결:
# Ubuntu/Debian
sudo apt-get install python3.11-tk
# Fedora
sudo dnf install python3.11-tkinter
✅ 또는:
export MPLBACKEND=TkAgg
python korean_llm_advanced_v2.py
📊 Loss가 줄어들지 않음
문제 원인 해결책
───────────────────────────────────────────────────────
Loss 증가 학습률 너무 높음 learning_rate=1e-5
Loss 정체 학습률 너무 낮음 learning_rate=1e-4
큰 폭 진동 배치 크기 부족 batch_size=4
초반만 개선 Warmup 너무 짧음 warmup_steps=500
과학습 의심 평가 간격 부족 eval_interval=500
🚀 성능 최적화 팁
⚡ 더 빠른 학습
# VRAM이 충분하면 배치 크기 증가
config = TrainingConfig(
batch_size=4, # 2 → 4
accumulation_steps=4, # 8 → 4 (유효 배치 16 유지)
)
# 효과: 속도 1.5배 향상 + Loss 안정성 개선
💾 메모리 절약
# Gradient Checkpointing 활용
config = TrainingConfig(
batch_size=1,
max_seq_len=128, # 256 → 128
accumulation_steps=32, # 8 → 32
)
# 효과: VRAM 40% 절감, 속도는 10% 감소
🎯 생성 품질 개선
# 평가 간격 줄이기
config = TrainingConfig(
eval_interval=500, # 1000 → 500
)
# 생성 파라미터 최적화
response = generate(
model, tokenizer,
prompt="한국의 수도는",
temperature=0.7, # 다양성 증가
top_p=0.95, # Nucleus sampling
repetition_penalty=1.3, # 반복 방지
max_tokens=100
)
🌱 로드맵
✅ v1.0 (완료)
- ✅ 기본 학습 프레임워크
- ✅ 541M 파라미터 모델
- ✅ CLI 기반 학습
✅ v2.0 (현재 진행 중 🔥)
- ✅ GUI 모니터링 (Loss + Chat)
- ✅ 자동 체크포인트 저장/복구
- ✅ bfloat16 혼합 정밀도
- ✅ 3개 데이터셋 통합
- ✅ 실시간 성능 로깅
- ✅ 1.09B 파라미터 모델 ⬆️
🎯 v3.0 (2026년 9월 예정)
- ⏳ LoRA 파인튜닝 - 빠른 적응 학습
- ⏳ 4-bit 양자화 - VRAM 70% 절감 (7GB 목표)
- ⏳ 분산 학습 - DDP/FSDP로 멀티 GPU
- ⏳ Flash Attention V2 - 3배 빠른 어텐션
- ⏳ ONNX 내보내기 - 크로스 플랫폼 호환
🚀 v4.0+ (장기 계획)
- 🔮 토큰 분류 (NER, POS 태깅)
- 🔮 검색 증강 생성 (RAG) 통합
- 🔮 500K+ 샘플 대규모 데이터셋
- 🔮 3B, 7B 파라미터 모델 버전
- 🔮 멀티모달 지원 (이미지 + 텍스트)
- 🔮 웹 API 및 클라우드 배포
📚 참고 자료
📖 핵심 논문
| 논문 | 년도 | 링크 |
|---|---|---|
| Attention is All You Need | 2017 | https://arxiv.org/abs/1706.03762 |
| RoFormer (RoPE) | 2021 | https://arxiv.org/abs/2104.09864 |
| RMSNorm (T5) | 2019 | https://arxiv.org/abs/1910.07468 |
| GLU Variants (SwiGLU) | 2020 | https://arxiv.org/abs/2002.05202 |
| Llama 2 | 2023 | https://arxiv.org/abs/2307.09288 |
🎓 학습 자료
💬 자주 묻는 질문
Q: 이 모델이 ChatGPT처럼 똑똑한가요? 🤔
A: 아직은 아닙니다. 하지만:
✅ 가능한 것:
• 한국어 기본 이해
• 간단한 QA
• 텍스트 생성
• 지시문 따르기
❌ 부족한 것:
• 복잡한 추론
• 최신 정보 (학습 데이터 기준)
• 멀티모달 처리
• 상식 추론
중요한 건: ChatGPT는 6,000B 크기지만,
당신은 1.09B 모델을 직접 만들 수 있다는 것! 🚀
Q: 다른 언어도 학습할 수 있나요? 🌍
A: 물론입니다! 토크나이저만 교체하면:
# 일본어
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-tokenizer")
# 중국어
tokenizer = AutoTokenizer.from_pretrained("BAAI/bge-large-zh")
# 영어
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b")
Q: 얼마나 비용이 드나요? 💰
A: 완벽하게 무료입니다!
✅ 무료:
• 코드 (GPL-3.0)
• 데이터셋 (CC-BY-NC)
• 라이브러리 (모두 오픈소스)
💵 비용:
• GPU 전기료만 (RTX 5090: ~30시간)
Q: 모델을 배포할 수 있나요? 🚀
A: 네! 여러 방법이 있습니다:
# 1. PyTorch 모델 직접 사용
model = KoreanLLM.load_from_checkpoint("korean_llm_50000.pth")
# 2. ONNX로 내보내기 (v3.0+)
torch.onnx.export(model, ...)
# 3. Hugging Face에 업로드
model.push_to_hub("username/korean-llm-v2")
# 4. 로컬 API 서버 운영
from fastapi import FastAPI
app = FastAPI()
# ... API 구현
Q: 개선 제안이 있으면? 💡
A: 이슈를 열어주세요!
GitHub → Issues → "New Issue" → 상세 설명
🔐 라이선스
프로젝트
GPL-3.0 License - 라이선스 파일 참고
데이터셋
⚠️ 각 데이터셋 라이선스 준수 필수
nlpai-lab/kullm-v2 → CC-BY-NC (비상업만)
beomi/KoAlpaca-v1.1a → CC-BY-NC-4.0 (비상업만)
⚠️ 상업 목적: 권리자에게 별도 문의 필요
🙏 감사의 말
이 프로젝트는 다음 오픈소스의 도움을 받았습니다:
- 🤗 Hugging Face (
transformers,datasets) - 🔥 PyTorch (강력한 딥러닝 프레임워크)
- 📊 Matplotlib (시각화)
- 🎯 데이터셋 제공자들 (nlpai-lab, beomi, maywell)
🎉 마지막 한마디
> "한도 제한에 지쳤다면, 직접 만들어보세요"
이것은 단순한 코드 모음이 아닙니다.
이것은 당신의 자유를 되찾는 선언입니다.
API 기업들의 한도?
❌ 더 이상 신경 쓸 필요 없습니다.
비싼 API 요금?
❌ 이제 전기료만 내면 됩니다.
블랙박스 모델?
❌ 이제 모든 코드를 이해할 수 있습니다.
독립적인 AI?
✅ 이제 당신이 주인입니다.
처음엔 어려울 수 있습니다.
하지만 한 번 이해하면, 정말 강합니다.
당신은 이제:
- 🎓 AI의 모든 것을 이해하는 사람
- 💪 자신만의 모델을 소유한 사람
- 🚀 AI 미래를 만드는 사람
화이팅! 당신은 할 수 있습니다! 💪🔥
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
Datasets used to train seoan1024/Korean-llm-v2
Papers for seoan1024/Korean-llm-v2
RoFormer: Enhanced Transformer with Rotary Position Embedding
Paper • 2104.09864 • Published • 19
GLU Variants Improve Transformer
Paper • 2002.05202 • Published • 5
Fine-grained evaluation of Quality Estimation for Machine translation based on a linguistically-motivated Test Suite
Paper • 1910.07468 • Published
Attention Is All You Need
Paper • 1706.03762 • Published • 138