---
license: mit
language:
- en
- ru
pipeline_tag: text-classification
tags:
- toxicity
- multi-label-classification
- multitask
- transformer
---

# Multi-Task Toxicity Classifier

## Описание
Модель для многозадачной (multi-task) классификации токсичности текста по трём классам:
- **Profanity** (ненормативная лексика, мат)
- **Threats** (угрозы)
- **Illegal acts** (запросы на нарушение закона)

Модель построена на базе лёгкого энкодера `cointegrated/rubert-tiny2` с тремя независимыми классификационными головами.

## Метрики на тестовой выборке
| Класс | Порог | Precision | Recall | F1 |
|-------|-------|-----------|--------|-----|
| profanity | 0.95 | 0.7657 | 0.8015 | 0.7832 |
| threat | 0.95 | 0.4267 | 0.9078 | 0.5805 |
| illegal | 0.95 | 0.5089 | 0.8824 | 0.6455 |

## Использование
Для загрузки модели используйте следующий код:

```python
import torch
from transformers import AutoTokenizer
from modeling import MultiTaskToxicityEncoder  # файл из репозитория

# Загрузка токенизатора
tokenizer = AutoTokenizer.from_pretrained("NikolayRainWay/multitask-toxic-encoder")

# Загрузка модели (веса из репозитория)
model = MultiTaskToxicityEncoder()
model.load_state_dict(torch.load("pytorch_model.bin", map_location='cpu'))
model.eval()
```
Автор
---
NikolayRainWay (в рамках учебного курса по трансформерным энкодерам)

Датасет
Обучен на датасете NikolayRainWay/multitask-very-toxic-comments

Лицензия
MIT