README.md

---
license: mit
datasets:
- TTA-DQA/hate_sentence
language:
- ko
metrics:
- accuracy
- f1
base_model:
- beomi/KcELECTRA-base-v2022
tags:
- Text-Classification
- Multi-Label-Classification
---
### 📌 모델 상세 정보
## 1. 🧾 개요

이 모델은 **한국어 문장 내 유해 표현의 유무 및 유해 표현의 유형(카테고리)를 분류**하기 위해 학습된 모델입니다.  
`mult-label classification`을 수행하며, 유해표현이 포함되는지, 유해표현이라면 그 유형을 **판단(분류)** 합니다.  
AI-Task로는 `text-classification`에 해당합니다.  
사용하는 데이터셋은 [`TTA-DQA/hate_sentence`](https://huggingface.co/datasets/TTA-DQA/hate_sentence)입니다.

- **클래스 구성**:  
  - `"0"`: `insult`  
  - `"1"`: `abuse`
  - `"2"`: `obscenity`
  - `"3"`: `TVPC(Threats of violence/promotion of crime)`
  - `"4"`: `sexuality`
  - `"5"`: `age`  
  - `"6"`: `race and region`  
  - `"7"`: `disabled`  
  - `"8"`: `religion`  
  - `"9"`: `politics`  
  - `"10"`: `job`  
  - `"11"`: `no_hate`  
---
## 2. 🧠 학습 정보

- **Base Model**:  KrBERT-Medium (a pre-trained Korean language model based on BERT)
- **Source**: [snunlp/KR-Medium](https://huggingface.co/snunlp/KR-Medium)
- **Model Type**: Casual Language Model  
- **Pre-training (Korean)**: 약 12.37GB (consisting of 91M and 1.17B words)
- **Fine-tuning (Hate Dataset)**: 약 22.3MB (`TTA-DQA/hate_sentence`)  
- **Learning Rate**: `5e-6`  
- **Weight Decay**: `0.01`  
- **Epochs**: `50`  
- **Batch Size**: `16`  
- **Data Loader Workers**: `2`  
- **Tokenizer**: `BertWordPieceTokenizer`  
- **Model Size**: 약 `405MB`

---

## 3. 🧩 요구사항

- `pytorch ~= 1.8.0`  
- `transformers ~= 4.0.0`

---

## 4. 🚀 Quick Start

```python
from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

model_name = "TTA-DQA/MultiLabel_KrBERT_Medium_Finetuning"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
classifier = pipeline("text-classification", model=model, tokenizer=tokenizer)

sentences = ["오늘 점심 뭐 먹을까?", "이 나쁜 놈아."]
results = classifier(sentences)'
```

---

## 5.📚 Citation
이 모델은 초거대AI 학습용 데이터 품질검증 사업(2024년도 초거대AI 학습용 품질검증)에 의해서 구축되었습니다.

---

## 6. ⚠️ Bias, Risks, and Limitations

본 모델은 각 클래스의 데이터를 편향되게 학습하지는 않았으나,  
언어적·문화적 특성에 의해 레이블에 대한 이견이 있을 수 있습니다.  
유해 표현은 언어, 문화, 적용 분야, 개인적 견해에 따라 주관적인 부분이 존재하여,  
결과에 대한 편향 또는 논란이 발생할 수 있습니다.  

> ❗ 본 모델의 결과는 절대적인 유해 표현 기준이 아님을 유의해 주세요.

---

# 📈 Results
- Task: binary classification (text-classification)
- F1-score: 0.99005
- Accuracy: 0.99005