HERIUN/inkspire_korean

InkSpire Korean — 한글 손글씨 스타일 생성 LoRA

InkSpire (Wang et al., ICLR 2026) 를 한글로 재현한 LoRA. FLUX.3-Image-Klein-Base + LoRA r32 (71.2M), 13k step. 스타일 손글씨 한 줄(+ 그 전사)을 보고 같은 필체로 새 문장을 쓴다.

• 학습 코드·실험 기록: https://github.com/HERIUN/Inkspire_korean_finetuning
• 데모(Eruku 와 모델 선택): https://huggingface.co/spaces/HERIUN/eruku_korean_demo
• 같은 데이터로 학습한 자기회귀 모델 비교 대상: HERIUN/eruku_korean

입력 규약

캔버스 X(위 = ref 손글씨, 아래 = 빈 칸) · 콘텐츠 이미지 Xc(NanumGothic 으로 ref 전사와 목표 문구를 글자 상자에 그린 것) · 마스크. Xc 를 글자별 대응표로 쓰므로 ref 전사(style text)는 필수다 — 비우면 붕괴한다(CER 0.72, 절반 백지). 목표 줄 폭은 ref 의 "손글씨 폭 / 표준폰트 폭" 비율로 맞춘다(ref_width, 기본).

성능 (ref 전사를 줄 때, PP-OCRv6 판독 CER)

평가	InkSpire (이 모델)	Eruku Korean
한글 폰트 held-out 16종 n=300 — CER↓ / HWD↓	0.023 / 0.93	0.010 / 1.12
실손글씨 문장 교차 생성 n=20 — CER↓	0.246	0.014
실손글씨 서식 칸 n=286 — CER↓	0.417	0.771 (백지·폭주)
IAM lines 2,925 — HWD↓ / FID↓	1.68 / 18.58	1.62 / 20.00

글자 정확도는 Eruku, 필체 형태(HWD)와 지저분한 ref 에 대한 견고성은 InkSpire 쪽이 낫다. 남은 오류는 샘플마다 무작위인 획 오류다(시드 3개 공통 오류 0) — 상세는 GitHub docs/EXPERIMENTS.md.

사용법

추론 코드는 GitHub repo 에 있다(베이스 가중치는 black-forest-labs/flux-3-image-klein-base 약관 수락 후 자동 다운로드).

import numpy as np, torch
from huggingface_hub import snapshot_download
from PIL import Image
from infer.inkspire import InkSpireGen          # GitHub repo 루트에서

lora = snapshot_download("HERIUN/inkspire_korean")        # pytorch_lora_weights.safetensors + klein_empty_prompt.pt
# klein_empty_prompt.pt 는 model_zoo/ 에 둔다(빈 프롬프트 텍스트 임베딩 캐시 — 텍스트 인코더를 안 올린다)
g = InkSpireGen(lora, device="cuda")
ref = np.asarray(Image.open("style_line.png").convert("L"))
out = g.gen_lines(ref, "스타일 이미지의 전사", ["생성할 문장"], seed=0)[0]   # u8 줄 이미지

라이선스

FLUX Kommunity License (베이스 모델과 동일, 비상업 용도) — NOTICE 참고. 학습 데이터는 공개 한글 폰트 렌더이며, 비교 평가에 쓴 실손글씨 데이터는 포함하지 않았다.