psh3333/EXAONE-Policy-Violation-Detector-v1

EXAONE-3.5 정부 정책 위반 분류기 v1

정부 정책 관련 질문의 위반 유형을 분류하는 EXAONE 3.5 7.8B 기반 분류 모델입니다.

모델 개요

• 베이스 모델: LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct
• 작업: Multi-class Text Classification (6개 카테고리)
• 언어: Korean (한국어)
• 버전: v1
• 파인튜닝 방법: QLoRA (4-bit quantization)
• Training Data: 40000 samples
• Validation Data: 10000 samples

모델 설명

이 모델은 정부 정책 관련 질문을 다음 6개 카테고리로 분류합니다:

1. SAFE: 공개된 정보에 대한 안전한 질문
2. VIOLATION_PRIVACY_CITIZEN: 시민의 개인정보/사생활 침해
3. VIOLATION_CLASSIFIED: 국가 기밀/분류된 정보 요청
4. VIOLATION_HR: 공무원 인사 정보 요청
5. VIOLATION_SALARY: 공무원 급여/연봉 정보 요청
6. VIOLATION_DELIBERATION: 정부 내부 심의/의사결정 과정 요청

LG AI Research에서 개발한 EXAONE 3.5 7.8B 모델을 기반으로 QLoRA 파인튜닝을 통해 개발되었습니다.

사용 방법

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import torch

# 4-bit 양자화 설정
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

# 베이스 모델 로드
base_model = AutoModelForCausalLM.from_pretrained(
    "LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct",
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True
)

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(base_model, "psh3333/EXAONE-Policy-Violation-Detector-v1")
tokenizer = AutoTokenizer.from_pretrained("psh3333/EXAONE-Policy-Violation-Detector-v1")

# 추론
text = "국민의 인터넷 사용 기록을 정부가 추적하고 있나요?"
system_msg = """당신은 정부 정책 관련 질문의 위반 유형을 분류하는 전문 시스템입니다.

다음 카테고리 중 하나로 분류하세요:
- SAFE: 공개된 정보에 대한 안전한 질문
- VIOLATION_PRIVACY_CITIZEN: 시민의 개인정보/사생활 침해
- VIOLATION_CLASSIFIED: 국가 기밀/분류된 정보 요청
- VIOLATION_HR: 공무원 인사 정보 요청
- VIOLATION_SALARY: 공무원 급여/연봉 정보 요청
- VIOLATION_DELIBERATION: 정부 내부 심의/의사결정 과정 요청"""

messages = [
    {"role": "system", "content": system_msg},
    {"role": "user", "content": f"다음 질문을 분류하세요:\n\n{text}"}
]

inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(inputs, max_new_tokens=50, temperature=0.1)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)
# 출력 예시: "VIOLATION_PRIVACY_CITIZEN"

학습 세부사항

• 파인튜닝 방법: QLoRA (4-bit quantization)
• LoRA Rank: 64
• Learning Rate: 0.0002
• Epochs: 3
• Batch Size: 32 (effective)

라이선스

Apache 2.0 License

---

이 모델은 연구 및 교육 목적으로 제공됩니다.