---
license: cc-by-4.0
---
---

language:

* ru
  license: cc-by-4.0
  library_name: transformers

---

# RuBERT Tiny Toxicity Regression

Модель для оценки токсичности русскоязычных текстов по шкале от **-5 до +3**.

Модель была получена путем дообучения `cointegrated/rubert-tiny-toxicity` на размеченном корпусе русскоязычных интернет-комментариев.

## Что делает модель

Модель предсказывает числовую оценку токсичности текста:

* **-5** – максимально токсичный комментарий;
* **0** – нейтральный комментарий;
* **+3** – позитивный комментарий.

## Обучающие данные

Модель была обучена на корпусе из 101 966 русскоязычных интернет-комментариев.

Источники данных:

* Russian Language Toxic Comments (Kaggle);
* Toxic Russian Comments from B21176df (Kaggle);
* YouTube comments (Russian language) (Kaggle);
* Toxic Russian Comments Dataset (Hugging Face Datasets).

Комментарии были очищены от эмодзи, цифр и лишних символов, после чего использовались для обучения модели.

## Обучающие данные

Модель была дообучена на выборке из **1016 уникальных русскоязычных интернет-комментариев**, размеченных по шкале токсичности от **-5 до +3**.

Обучающая выборка была сформирована на основе двух источников:

* **171 комментарий**, оценённый женщинами-респондентками в рамках анкетирования (в качестве итоговой метки использовалась медианная оценка);
* **912 комментариев**, размеченных независимым экспертом.

При объединении источников дублирующиеся комментарии удалялись. Для совпадающих текстов сохранялись оценки, полученные в ходе анкетирования. Итоговый датасет содержал 1016 уникальных комментариев.

Для снижения гендерного смещения из обучающих данных были исключены оценки, демонстрировавшие систематические различия в восприятии токсичности гендерно маркированных оскорблений.

## Качество модели

Результаты на валидационной выборке:

* MAE = 0.957
* R² = 0.68

В среднем предсказание модели отличается от экспертной оценки менее чем на один балл шкалы.

## Использование

```python
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "ВАШ_НИК/НАЗВАНИЕ_МОДЕЛИ"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

text = "Ты полный идиот"

inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    score = model(**inputs).logits.item()

print(score)
```

## Ограничения

Модель обучалась на русскоязычных интернет-комментариях и может работать менее точно на текстах других жанров.

## Связанный датасет

Для обучения использовался корпус гендерно маркированной инвективной лексики русского языка.