K-Decision-9B v0.1

Korean-specialized decision model by ONYULTEA — first public release.

K-Decision은 상태(state)와 타이핑드 질문(typed questions)을 입력받아, 모든 옵션에 걸쳐 보정된 확률 분포(calibrated probabilities) 를 붙인 구조화 결정을 단일 forward 패스로 반환하는 경량 의사결정 엔진입니다. 일반 챗 LLM과 달리 텍스트를 생성하지 않고, 각 질문의 정답 심볼 로짓만 예측합니다(System One / Jev 호환).

성능 (Benchmarks)

벤치마크	점수	규모
LocalLLaMA typed-decisions (test 400케이스 / 2,000결정, fitted)	0.818	에이전트 트레이스·보안·CS·인보이스 4도메인 5질문
KoBEST 5태스크 변환 (boolq/copa/hellaswag/sentineg/wic)	0.866	2,600문항
한국 생활 도메인 홀드아웃	0.997	행정·의료·쇼핑CS·생활인프라·교육·직장·에이전트 7도메인
korean-jev-decision-index	0.635	64개 한국 벤치마크 소스 3,000문항
대학 규정 준거 판단	0.791	규정 3종 기반 신규 태스크
Decision Index 0.3 공개 스위트	지수 30.7 (raw 44.8)	14만 요청, 에러 0, 지연 p50 168ms

• 학습·서빙 모두 단일 24GB 소비자 GPU로 수행 (int8 LoRA, r=32)
• 확률 보정: ECE 0.001 수준(도메인 홀드아웃), 타입별 온도 피팅 적용

Quickstart

1) 허깅페이스 transformers 직접 사용

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "ONYULTEA/K-Decision-9B", torch_dtype=torch.bfloat16, device_map="auto")
tok = AutoTokenizer.from_pretrained("ONYULTEA/K-Decision-9B")

2) /v1/systemone 서버 (System One / Jev 호환)

git clone https://github.com/onyultea/k-decision
python src/serve_systemone.py --merged ONYULTEA/K-Decision-9B --port 8111

// 요청
{"model": "k-decision",
 "state": "민원 접수: 가스 냄새가 심하게 나요 (콜센터)",
 "questions": {
   "route":  {"type": "choice", "instructions": "담당 부서는?",
              "criteria": {"gas": "가스안전과", "water": "상하수도과", "road": "도로과"}},
   "urgent": {"type": "noul", "instructions": "긴급 처리 대상인가?"}}}
// 응답 — 모든 옵션에 확률
{"answers": {
   "route":  {"type": "choice", "choice": "gas",
              "probabilities": {"gas": 0.87, "water": 0.05, "road": 0.08}},
   "urgent": {"type": "noul", "noul": 0.93}}}

질문 타입: choice(2~26옵션), noul(예/아니오). Decision Index reproduction kit·Kev 클라이언트와 호환됩니다.

작동 원리 (Method)

1. 마커 단일패스: 프롬프트에 JSON 스킬레톤 {"route":□,"urgent":□}을 붙이고 마커(□) 직전 위치의 로짓이 해당 필드의 결정을 예측 — N개 필드가 1회 forward로 동시 결정 (디코딩 루프 없음)
2. 제약 디코딩: 합법적 정답 심볼(A~Z / Y,N)로 로짓을 제한한 softmax → 모든 옵션에 합계 1의 확률 보장
3. 캘리브레이션: choice/noul 각각 홀드아웃에서 온도를 피팅해 Brier/ECE 최적화 — 확률이 곧 신뢰도
4. int8 LoRA 학습: 4비트 양자가 확률 판단 정밀도를 해치는 것을 실측으로 확인하고 int8을 채택 (같은 예산에서 정확도 +3pp)

학습 데이터 (Data)

• 한국 생활 7도메인 합성(약 2.8만 레코드): 행정 20종 서비스 라우팅, 의료 응대, 쇼핑 CS, 생활인프라(부동산·교통·통신), 교육, 직장 결재, 에이전트 도구 게이팅 — 존댓말/반말/오탈자/신조어 언어 증강 포함
• 일반 타이핑드 결정: tasksource-jev-typed-decisions(CC-BY-4.0) 샘플, 다국어 증류(Apache-2.0, teacher 확률 소프트라벨), 도구결정 풀(CC-BY-4.0)
• 규정 준거 태스크: 공개 대학 규정문 기반(주제 라우팅·수치 요건 위반 판단·적용 대상 판단)

한계 (Limitations)

• choice 최대 26옵션, state 최대 6,000자 — 초과 시 Unsupported(HTTP 422)로 정직하게 거부
• 세계 지식(KMMLU ~30%)은 9B 베이스 수준 — 파인튜닝은 발현을 바꾸지 지식을 만들지 않음
• 고위험 의사결정(의료 처치·자격 부여·채용)에는 반드시 인간 검토와 병행
• 확률이 높다고 정답을 보장하지 않음 — 임계값 기반 운영 권장

라이선스

• 본 모델 가중치: Apache-2.0 (Qwen3.5-9B 파생)
• 학습·평가 코드: github.com/onyultea/k-decision

인용 (Citation)

@software{kdecision2026,
  title = {K-Decision-9B: Korean-specialized decision model},
  author = {ONYULTEA},
  year = {2026},
  url = {https://huggingface.co/ONYULTEA/K-Decision-9B}
}

© 2026 ONYULTEA · https://onyultea.kr