README.md

metadata

license: mit
tags:
  - Korean
  - Language Model
  - Autoregressive
  - MDLM
  - Diffusion
  - PyTorch Lightning
  - Huggingface

💬 MDLM AR Model (Korean) - Hanbin42

이 모델은 MDLM (Masked Diffusion Language Model) 구조를 기반으로 한 Autoregressive Korean Language Model입니다.
Hanbin42/my-mdlm-ar-model은 skt/kogpt2-base-v2 토크나이저와 parkseongjun/psjkodata 한국어 데이터셋으로 학습되었습니다.

---

🧠 Model Details

• Backbone: Autoregressive (AR)
• Diffusion Type: Absorbing State
• Input Length: 1024 tokens
• Vocab Size: 51200 (KoGPT2 기준)
• Training Steps: 50,000
• Sampling Steps: 128 (DDPM-style)
• Precision: bfloat16
• EMA: Enabled (0.9999)

---

📦 Files

File	Description
best.ckpt	PyTorch Lightning 모델 체크포인트
config.yaml	학습 시 사용한 하이퍼파라미터 설정
README.md	모델 설명 문서

---

🚀 How to Use

import torch
from lightning.pytorch import LightningModule
from diffusion import Diffusion  # 이 프로젝트 기준으로 정의됨

model = Diffusion.load_from_checkpoint("best.ckpt", config=..., tokenizer=...)
model.eval()