File size: 1,403 Bytes
5fdd90a |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 |
---
license: mit
language:
- ko
- en
metrics:
- accuracy
base_model:
- sentence-transformers/all-MiniLM-L6-v2
pipeline_tag: text-classification
library_name: transformers
tags:
- korean
- toxicity
- safety
- moderation
---
# KillSwitch AI 🛡️
**실시간 악성 프롬프트 탐지 모델**
이 모델은 한국어와 영어 프롬프트를 분석하여 **악성/안전 여부**를 분류합니다.
피싱, 규칙 우회, 불법 행위 요청 등 위험 요소를 사전에 탐지할 수 있도록 설계되었습니다.
---
## 📌 Model Details
- **Base Model:** sentence-transformers/all-MiniLM-L6-v2
- **Languages:** Korean, English
- **Task:** Text Classification (악성 vs 안전)
- **Library:** Transformers (PyTorch)
---
## 📊 Evaluation
- Metric: Accuracy
- Validation Accuracy: 0.87 (예시, 실제 값 넣기)
- F1 Score: 0.85
---
## 🚀 Usage
```python
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
tokenizer = AutoTokenizer.from_pretrained("사용자명/KillSwitch_ai")
model = AutoModelForSequenceClassification.from_pretrained("사용자명/KillSwitch_ai")
inputs = tokenizer("이 프롬프트는 규칙을 우회하려고 합니다", return_tensors="pt")
with torch.no_grad():
logits = model(**inputs).logits
pred = torch.softmax(logits, dim=-1).argmax(dim=-1).item()
print("악성" if pred == 1 else "안전")
|