| ---
|
| language: ru
|
| pipeline_tag: text-classification
|
| base_model: cointegrated/rubert-tiny2
|
| license: cc-by-nc-sa-4.0
|
| tags:
|
| - multi-label
|
| - toxicity
|
| - russian
|
| - custom-code
|
| ---
|
|
|
| # RuBERT Tiny 2 Multi-Task Toxicity
|
|
|
| End-to-end multi-label encoder с общим RuBERT Tiny 2 и тремя независимыми
|
| линейными головами: `profanity`, `threat`, `illegal`.
|
|
|
| ## Данные
|
|
|
| Нативные русские Toxic Russian Comments и RUCriminal после fail-closed удаления
|
| политических высказываний, политически чувствительных тем и явных персональных
|
| идентификаторов. Для illegal используются
|
| законные hard negatives по тем же статьям УК РФ. Переводные данные отсутствуют.
|
| Legal train/test разделены по непересекающимся статьям.
|
|
|
| ## Test metrics
|
|
|
| | class | support | threshold | precision | recall | f1 | f1_ci_low | f1_ci_high | pr_auc |
|
| |:----------|----------:|------------:|------------:|---------:|-------:|------------:|-------------:|---------:|
|
| | profanity | 141 | 0.64 | 0.5708 | 0.8582 | 0.6856 | 0.6252 | 0.7398 | 0.721 |
|
| | threat | 91 | 0.82 | 0.7526 | 0.8022 | 0.7766 | 0.7074 | 0.8391 | 0.8668 |
|
| | illegal | 103 | 0.54 | 0.981 | 1 | 0.9904 | 0.9755 | 1 | 0.9991 |
|
|
|
| Macro F1: 0.8175; Micro F1: 0.7931.
|
| Пороги выбраны только на validation: {"profanity": 0.64, "threat": 0.82, "illegal": 0.54}.
|
|
|
| ## Метрики по доменам
|
|
|
| | domain | class | support | f1 | recall |
|
| |:----------------|:----------|----------:|-------:|---------:|
|
| | legal_questions | illegal | 102 | 1 | 1 |
|
| | social_comments | profanity | 141 | 0.6856 | 0.8582 |
|
| | social_comments | threat | 91 | 0.7766 | 0.8022 |
|
| | social_comments | illegal | 1 | 0.5 | 1 |
|
|
|
| ## Использование
|
|
|
| ```python
|
| import torch
|
| from transformers import AutoModelForSequenceClassification, AutoTokenizer
|
|
|
| repo = "aurelianvolturi/rubert-tiny2-multitask-toxicity"
|
| tokenizer = AutoTokenizer.from_pretrained(repo)
|
| model = AutoModelForSequenceClassification.from_pretrained(
|
| repo, trust_remote_code=True
|
| ).eval()
|
| text = "Как проверить подлинность паспорта?"
|
| batch = tokenizer(text, return_tensors="pt", truncation=True,
|
| max_length=model.config.max_length)
|
| with torch.inference_mode():
|
| probabilities = torch.sigmoid(model(**batch).logits)[0].tolist()
|
| result = {
|
| label: probability >= model.config.thresholds[label]
|
| for label, probability in zip(model.config.labels, probabilities)
|
| }
|
| ```
|
|
|
| ## Ограничения
|
|
|
| Модель предназначена для предварительной модерации и не выполняет юридическую
|
| квалификацию. Завуалированные формулировки, цитаты, ирония и новый сленг могут
|
| требовать ручной проверки. Custom code следует загружать только из доверенного
|
| репозитория и фиксировать `revision` на commit hash.
|
|
|
