ko-hallucheck-v1 — 한국어 환각(충실성) 판별기

🆕 후속 버전 ko-hallucheck-v3 공개 — 아래 독립 실측에서 드러난 약점(hard 0.521, 문체 휴리스틱)을 수리해 Standard 0.882 / Hard 0.758 / 교차생성기 0.704. 신규 사용은 v3를 권장합니다.

(context, answer) 쌍을 입력받아 답변이 문맥에 충실한지(SUPPORTED) 환각인지(HALLUCINATED) 판별하는 한국어 전용 cross-encoder입니다. RAG 파이프라인의 출력 게이트, LLM 납품 인수검증, 생성 콘텐츠 품질 게이트 용도로 설계되었습니다.

영어권에는 vectara/hallucination_evaluation_model, MiniCheck, LettuceDetect 등 성숙한 판별기가 있지만, 한국어 전용 공개 판별기는 없어 그 공백을 채우기 위해 만들었습니다.

• Base: BAAI/bge-reranker-v2-m3 (568M, Apache-2.0) → 2-label seq-classification 파인튜닝
• Labels: 0 = HALLUCINATED, 1 = SUPPORTED
• Max length: 512 (context+answer, longest_first truncation)

성능

평가셋	acc	AUROC	환각탐지 recall (intrinsic / extrinsic)
in-dist test (위키 기반 문장형, n=1002)	0.938	0.980	0.83 / 1.00
span형 held-out (KorQuAD 위키, n=688)	0.988	0.997	0.99 / 1.00
cross-source OOD (KLUE-MRC 뉴스 span, n=1500)	0.966	0.979	0.99 / 0.99

• OOD는 학습에 쓰지 않은 소스(뉴스 도메인)이며, 기본 임계값 0.5에서 위 성능이 나옵니다(별도 캘리브레이션 불필요).
• v1 대비 핵심 개선: 문장형 데이터만으로 학습하면 span형 입력에서 판별이 붕괴(포맷 shortcut)하는 문제를 다포맷(문장형+span형) 학습으로 해결했습니다.

🔴 Ko-FaithBench 독립 실측 (2026-07-05 추가 — 반드시 읽으세요)

공개 후 저희가 직접 만든 독립 벤치마크 Ko-FaithBench(본 모델 학습데이터와 무관, LLM 생성 환각)에서 재측정한 결과입니다:

셋	acc	AUROC	해석
Standard (982)	0.780	0.851	아래 '성능'의 룰 기반 OOD 0.966은 과대평가였습니다 (같은 룰 패밀리 전이)
Hard (380)	0.521	0.542	chance 수준. 환각 recall 0.958 + 충실 오탐 0.916 = 고난도 구간에서 본 모델은 사실검증이 아니라 문체 휴리스틱(재구성·단정 문체→환각 판정)으로 동작합니다

참고로 같은 Standard 셋에서 프런티어 LLM(DeepSeek-V4-Flash zero-shot)은 0.991입니다. 본 모델의 실용 범위는 "온프렘·무료·대량처리가 필요한 경우의 0.6B 경량 스크리너"이며, 고난도·고위험 판별에는 사용하지 마십시오. v3에서 LLM 생성 환각을 학습에 반영할 예정입니다.

정직한 한계 (읽고 쓰세요)

1. negative(환각) 샘플이 LLM 생성 + 룰 변형(숫자/개체 치환, 타문서 이식)으로 만들어졌습니다. OOD 평가의 환각도 같은 룰 패밀리로 생성되어, 실환경 LLM 환각과 분포가 다를 수 있습니다. 사람 라벨 기반 독립 벤치마크(Ko-FaithBench)를 준비 중이며 공개 시 여기에 결과를 추가합니다.
2. 미묘한 1글자 수준 변형(intrinsic)의 in-dist recall은 0.83으로, 극히 미세한 왜곡은 놓칠 수 있습니다.
3. context 512 토큰 초과분은 잘립니다. 긴 문서는 청크 단위로 나눠 판별하세요.
4. 사실성 판별이 아니라 주어진 context에 대한 충실성 판별입니다. context 자체가 틀리면 잡지 못합니다.
5. 의료·법률 등 고위험 용도에는 사람 검토 없이 단독 사용하지 마세요.

사용법

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

repo = "jismsy/ko-hallucheck-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(repo).eval()

context = "농심의 첫 회사명은 롯데공업사였다. 1978년 사명을 농심으로 변경했다."
answer = "농심은 1965년 삼양식품으로 창립되었다."

enc = tok(context, answer, truncation="longest_first", max_length=512, return_tensors="pt")
with torch.no_grad():
    prob_supported = torch.softmax(model(**enc).logits, -1)[0, 1].item()
print(f"SUPPORTED 확률: {prob_supported:.3f}")  # 0.5 미만 → 환각 판정

학습 데이터

• 한국어 위키피디아 기반 문장형 (context, answer) ~18k쌍: LLM 생성 supported/intrinsic/extrinsic, 샘플 수동 검수(라벨 정확도 ~90%)
• KorQuAD v1 기반 span형 ~5.3k쌍: 룰 기반 생성
• 문서(article) 그룹 단위 train/val/test 분할로 누수 차단
• 데이터 원문 라이선스: Korean Wikipedia(CC BY-SA), KorQuAD v1(CC BY-ND) — 데이터셋 자체는 재배포하지 않습니다.

Citation

@misc{ko-hallucheck-2026,
  title={ko-hallucheck: Korean Faithfulness / Hallucination Detection Cross-Encoder},
  author={ianwoo},
  year={2026},
  url={https://huggingface.co/jismsy/ko-hallucheck-v1}
}