README.md

---
library_name: transformers
tags: []
---

# RuModernBERT Intent Classifier

Данная модель представляет собой классификатор интентов на базе архитектуры RuModernBERT-base, специально оптимизированный для работы в составе диалоговых голосовых систем на русском языке.

### Описание режима

Модель работает в режиме классификации без учета контекста. Это означает, что для предсказания намерения используется исключительно последняя реплика пользователя. Модель не требует передачи истории диалога или предыдущих ответов системы, что обеспечивает:

* Минимальные вычислительные затраты при инференсе.
* Возможность использования в качестве первого слоя обработки (fast-path) для определения простых команд.
* Независимость от состояния диалога (stateless).

---

## Характеристики модели

* **Базовая модель:** deepvk/RuModernBERT-base
* **Тип задачи:** Классификация последовательностей (Multi-class Classification)
* **Основные классы:** GREETING (приветствие), THANKS (благодарность), FAREWELL (прощание) и другие системные токены.
* **Функция потерь:** Focal Loss (использована для коррекции дисбаланса классов в обучающей выборке).

---

## Инструкция по использованию (Inference)

```python
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
import torch.nn.functional as F

# Загрузка модели и токенизатора
model_name = "galkinv42/RuModernBERT-Intent-Classifier"
tokenizer = AutoTokenizer.from_pretrained("deepvk/RuModernBERT-base")
model = AutoModelForSequenceClassification.from_pretrained(model_name)

def predict_intent(user_input):
    # Токенизация без добавления контекста
    inputs = tokenizer(
        user_input, 
        return_tensors="pt", 
        truncation=True, 
        max_length=512
    )
    
    model.eval()
    with torch.no_grad():
        outputs = model(**inputs)
    
    # Расчет вероятностей
    probabilities = F.softmax(outputs.logits, dim=-1)
    confidence, class_idx = torch.max(probabilities, dim=-1)
    
    label = model.config.id2label[class_idx.item()]
    return label, confidence.item()

# Пример вызова
intent, score = predict_intent("Спасибо за помощь, всего доброго")
print(f"Интент: {intent}, Уверенность: {score:.4f}")

```

---

## Обучение

1. **Данные:** Набор данных включает реальные логи диалогов, дополненные синтетическими примерами для повышения точности на минорных классах (благодарности и прощания).
2. **Аугментация:** В процессе обучения применялась техника RandomWordAug (перестановка слов) для повышения устойчивости модели к вариативности естественной речи.
3. **Методология:** Валидация проводилась с использованием StratifiedGroupKFold по идентификаторам диалогов, что исключает попадание фраз из одного диалога одновременно в обучающую и валидационную выборки.

---

## Ограничения

* Модель не учитывает предыдущие реплики. В случаях, когда интент сильно зависит от контекста (например, краткие ответы "да", "нет", "хорошо"), точность может снижаться.
* Предназначена исключительно для русского языка.

---

### Метрики по классам

| Класс | Precision | Recall | F1-Score | Support |
| --- | --- | --- | --- | --- |
| `<ACTION>` | 0.85 | 0.66 | 0.74 | 87 |
| `<FAREWELL>` | 0.91 | 0.83 | 0.87 | 24 |
| `<GREETING>` | 0.92 | 0.96 | 0.94 | 24 |
| `<NOISE>` | 0.68 | 0.59 | 0.63 | 93 |
| `<QUESTION>` | 0.85 | 0.91 | 0.88 | 188 |
| `<STATEMENT>` | 0.62 | 0.74 | 0.67 | 97 |
| `<THANKS>` | 1.00 | 0.67 | 0.80 | 3 |