README.md

---
license: mit
tags:
  - Korean
  - Language Model
  - Autoregressive
  - MDLM
  - Diffusion
  - PyTorch Lightning
  - Huggingface
---

# 💬 MDLM AR Model (Korean) - Hanbin42

이 모델은 [MDLM (Masked Diffusion Language Model)](https://arxiv.org/abs/2406.07524) 구조를 기반으로 한 **Autoregressive Korean Language Model**입니다.  
`Hanbin42/my-mdlm-ar-model`은 `skt/kogpt2-base-v2` 토크나이저와 `parkseongjun/psjkodata` 한국어 데이터셋으로 학습되었습니다.

---

## 🧠 Model Details

- **Backbone**: Autoregressive (AR)
- **Diffusion Type**: Absorbing State
- **Input Length**: 1024 tokens
- **Vocab Size**: 51200 (KoGPT2 기준)
- **Training Steps**: 50,000
- **Sampling Steps**: 128 (DDPM-style)
- **Precision**: bfloat16
- **EMA**: Enabled (0.9999)

---

## 📦 Files

| File        | Description                         |
|-------------|-------------------------------------|
| `best.ckpt` | PyTorch Lightning 모델 체크포인트     |
| `config.yaml` | 학습 시 사용한 하이퍼파라미터 설정 |
| `README.md` | 모델 설명 문서                      |

---

## 🚀 How to Use

```python
import torch
from lightning.pytorch import LightningModule
from diffusion import Diffusion  # 이 프로젝트 기준으로 정의됨

model = Diffusion.load_from_checkpoint("best.ckpt", config=..., tokenizer=...)
model.eval()