JINIIII/nsmc-sentiment-lora

NSMC 감정 분석 (LoRA Fine-tuned)

이 모델은 LoRA를 사용하여 NSMC(Naver Sentiment Movie Corpus) 데이터셋으로 파인튜닝된 감정 분석 모델입니다.

모델 정보

• 베이스 모델: klue/bert-base
• 파인튜닝 방법: LoRA (Low-Rank Adaptation)
• 학습 파라미터: 약 0.3% (~300K)
• 데이터셋: NSMC (네이버 영화 리뷰)
• Task: 이진 분류 (긍정/부정)

사용 방법

from transformers import AutoModelForSequenceClassification, AutoTokenizer
from peft import PeftModel
import torch

# 베이스 모델 로드
base_model = AutoModelForSequenceClassification.from_pretrained(
    "klue/bert-base",
    num_labels=2
)

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(base_model, "JINIIII/nsmc-sentiment-lora")
tokenizer = AutoTokenizer.from_pretrained("JINIIII/nsmc-sentiment-lora")

# 추론
text = "이 영화 정말 재미있어요!"

inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=128)
outputs = model(**inputs)

probs = torch.softmax(outputs.logits, dim=-1)
pred = torch.argmax(probs, dim=-1).item()

label = "긍정" if pred == 1 else "부정"
confidence = probs[0][pred].item()

print(f"결과: {label} (확신도: {confidence:.2%})")

학습 세부사항

• LoRA Rank (r): 8
• LoRA Alpha: 16
• Target Modules: query, value
• Dropout: 0.1
• 학습 에폭: 5
• 학습률: 5e-4

성능

• 학습 데이터: 10,000개
• 평가 데이터: 2,000개
• 평가 정확도: ~85-90%

활용 예시

• 영화 리뷰 감정 분석
• 상품 리뷰 분석
• SNS 감정 모니터링
• 고객 피드백 자동 분류

제한사항

• 영화 리뷰 도메인에 특화되어 있음
• 짧은 텍스트에서 가장 좋은 성능
• 극단적인 감정 표현에서 정확도가 높음

라이선스

MIT License

작성자

JINIIII

인용

@misc{nsmc-sentiment-lora,
  author = {JINIIII},
  title = {NSMC Sentiment Analysis with LoRA},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/JINIIII/nsmc-sentiment-lora}
}

Note: 이 모델은 교육 목적으로 만들어졌습니다.