README.md

---
language:
- ko
license: gpl-3.0
tags:
- bert
- masked-language-model
- korean
- pretrained
metrics:
- perplexity
pipeline_tag: fill-mask
model-index:
- name: bert-ko-pretrained
  results:
  - task:
      type: fill-mask
      name: Masked Language Modeling
    metrics:
    - name: Eval Loss
      type: loss
      value: 3.6679
    - name: Eval Perplexity
      type: perplexity
      value: 39.17
---

# bert-ko-pretrained

한국어 텍스트로 사전학습된 BERT (Masked Language Model) 입니다.

## 모델 정보

| 항목 | 값 |
|------|-----|
| Architecture | BertForMaskedLM |
| Hidden Size | 256 |
| Layers | 4 |
| Attention Heads | 4 |
| Intermediate Size | 1024 |
| Vocab Size | 32,000 |
| Max Length | 256 tokens |
| Parameters | 11,515,904 |
| Total Steps | 50,000 |

## 사전학습 성능 (MLM)

| Split | Loss | Perplexity |
|-------|-----:|-----------:|
| Eval | 3.6679 | 39.17 |

## 학습 코퍼스

| 코퍼스 | 크기 | 설명 |
|--------|------|------|
| injection_corpus.txt | 65MB | 프롬프트 인젝션 데이터 |
| external_all.txt | 9.6MB | KoSBi v2 + K-MHaS + BEEP\! |
| all_combined.txt | 15MB | 전체 통합 코퍼스 |

**총 ~90MB** 한국어 텍스트

## 사용 방법

### Fill-Mask



### 분류 모델 백본으로 사용



## 학습 설정

- **Tokenizer**: WordPiece (vocab_size=32,000)
- **Optimizer**: AdamW
- **Scheduler**: Cosine with warmup
- **MLM Probability**: 15%

## 라이선스

GPL-3.0 License