yShelby/KoELECTRA_fine_tunning_mood

<모델 소개>

한국어 텍스트의 감정을 분류하기 위해 Jinuuuu님의 KoELECTRA 모델을 파인튜닝한 모델입니다. 6개의 감정 레이블(기쁨/행복, 평온/만족, 슬픔/우울, 분노/짜증, 불안/걱정, 지루/권태)을 multi-hot encoding 방식으로 분류합니다.

<데이터>

파인튜닝에 사용된 데이터는 AI HUB에 배포된 감성 대화 말뭉치(Single-label, Company : 미디어젠)입니다. 비상업적 목적으로 멀티 레이블 변환(수동 레이블링) 후 사용하였으며, 데이터는 재배포하지 않았습니다.

Test set 중 일부는 한국어 번역된 Reddit 및 기타 사이트의 텍스트가 포함되었습니다(전체의 10%). Test 이외의 목적으로 사용하지 않았습니다.

dataset	Amount
Train Set	2,087
Test Set	572

<레이블 매핑>

0: 기쁨/행복 | 1: 평온/만족 | 2: 슬픔/우울 | 3: 분노/짜증 | 4: 불안/걱정 | 5: 지루/권태

<성능>

• Task: multi-label emotion classification

• Label representation : Multi-hot encoding

• Loss: BCEWithLogitsLoss

• Activation: Sigmoid

1. Epoch

   Epoch	Training Loss	Validation Loss	F1 Macro	F1 Micro
   1	0.197600	0.152192	0.868398	0.868145
   2	0.100800	0.106208	0.897518	0.897767
   3	0.048900	0.101381	0.898255	0.898483

2. Test

   Metric	Value
   Test Loss	0.2145
   F1 Macro	0.8002
   F1 Micro	0.7987

3. Classification Report

   Class	Precision	Recall	F1-score	Support
   기쁨/행복	0.79	0.82	0.81	108
   평온/만족	0.79	0.77	0.78	102
   슬픔/우울	0.85	0.70	0.77	114
   분노/짜증	0.84	0.71	0.77	121
   불안/걱정	0.91	0.76	0.83	101
   지루/권태	0.93	0.77	0.84	100
   micro avg	0.85	0.76	0.80	646
   macro avg	0.85	0.76	0.80	646
   weighted avg	0.85	0.76	0.80	646
   samples avg	0.82	0.79	0.80	646