privacy-counsel-ko-8b-lora (v4-rebalanced)

대한민국 개인정보보호법 전문 상담 모델 — LoRA 어댑터 (667MB)

cywellai/privacy-counsel-ko-8b의 LoRA 어댑터입니다. 머지된 풀 모델(16GB)이 필요하면 위 링크를 이용하세요.

---

성능 요약

지표	값
5축 총점	14.38 / 15
Gold	144/150 (Silver 2, Fail 4)
구조	2.96 / 3
법조항	2.66 / 3
내부구조	2.95 / 3
실무	2.93 / 3
표현	2.87 / 3
시행령 인용률	67%
다만 패턴률	95%
평균 응답 길이	721자

150문항 골드셋 · 5축 v2.1 채점 · Claude Opus 4.6 채점 · 2026-02-27

---

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_name = "Qwen/Qwen3-8B"
adapter_name = "cywellai/privacy-counsel-ko-8b-lora"

tokenizer = AutoTokenizer.from_pretrained(base_model_name, trust_remote_code=True)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)
model = PeftModel.from_pretrained(base_model, adapter_name)

messages = [
    {"role": "user", "content": "개인정보 유출 시 대응 절차는?"},
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=1500, temperature=0.5, do_sample=True)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)

---

LoRA 설정

항목	값
PEFT Type	LoRA
Rank (r)	64
Alpha	128
Dropout	0.05
Target Modules	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
학습 가능 파라미터	174.6M / 8.37B (2.09%)

학습 설정

항목	값
베이스 모델	Qwen/Qwen3-8B (원본 사전학습 모델)
학습 데이터	9,009건 (품질 기반 리밸런싱)
검증 데이터	900건 (층화 샘플링)
Epochs	3
Batch Size	8 × 4 (effective 32)
Learning Rate	5e-5 (cosine, warmup 10%)
Max Seq Length	2048
최종 Eval Loss	0.3737
Token Accuracy	88.82%
학습 시간	~70분 (NVIDIA H200 143GB)
Framework	TRL 0.27.0, Transformers 4.57.6

---

관련 모델

• 풀 모델 (머지): cywellai/privacy-counsel-ko-8b (16GB, 바로 사용 가능)
• 베이스 모델: Qwen/Qwen3-8B