README.md

---
license: apache-2.0
language:
- ru
base_model:
- FractalGPT/SbertDistil
- intfloat/multilingual-e5-large-instruct
library_name: sentence-transformers
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- embeddings
- distillation
- nli
- masl
- task-specification
- agent
pipeline_tag: sentence-similarity
---

# SbertDistilV2

**Автор:** Потанин М. В.

## Описание модели

SbertDistilV2 — компактная модель эмбеддингов, специализированная для работы с задачами NLI (Natural Language Interface) и преобразования команд в формат MASL (Multi-agent system language). Модель получена путём двухэтапного обучения с применением дистилляции знаний и дообучения на специализированном датасете.

### Ключевые характеристики

- **Базовая модель**: `FractalGPT/SbertDistil`
- **Модель-учитель**: `intfloat/multilingual-e5-large-instruct`
- **Размерность эмбеддингов**: 384 (против 1024 у учителя)
- **Язык**: Русский
- **Специализация**: NLI задачи, MASL спецификации

## Архитектура обучения

Обучение проводилось в **два этапа**:

### Этап 1: Дистилляция знаний

Передача знаний от большой модели-учителя (`multilingual-e5-large-instruct`, 1024 dim) к компактной модели-ученику (`SbertDistil`, 384 dim).

**Метод согласования размерностей:**
- SVD-проекция для сжатия 1024-мерных эмбеддингов учителя в 384-мерное пространство ученика с минимальными потерями информации

**Комбинированная функция потерь:**

$$\mathcal{L}_{\text{total}} = \alpha \cdot \mathcal{L}_{\text{MSE}} + \beta \cdot \mathcal{L}_{\text{cosine}} + \gamma \cdot \mathcal{L}_{\text{InfoNCE}}$$

Где:

$$\mathcal{L}_{\text{MSE}}$$ — среднеквадратичная ошибка для прямого согласования эмбеддингов (вес: **1.0**)

$$\mathcal{L}_{\text{cosine}}$$ — косинусное сходство для сохранения направлений векторов (вес: **0.5**)

$$\mathcal{L}_{\text{InfoNCE}}$$ — контрастное обучение для улучшения различимости представлений (вес: **0.3**)

**Датасет:** Запросы на естественном языке

### Этап 2: Дообучение на MASL

Специализация модели на задачах преобразования NL-команд в MASL спецификации.

**Датасет:** Пары "запрос на естественном языке / MASL структура" (9 999 примеров)

## Датасет

Модель дообучена на синтетическом датасете NLI Task Specification Dataset (MASL):
- **Размер**: 9 999 примеров
- **Структура**: пары "команда → JSON структура"
- **Формат**: Входные и выходные коннекторы с типами данных, семантическими категориями и областями знаний

Подробнее о датасете см. документацию к [NLI Dataset](https://huggingface.co/datasets/Ponimash/nli_dataset).

## Использование

### Установка

```bash
pip install sentence-transformers
```

### Базовое использование

```python
from sentence_transformers import SentenceTransformer

# Загрузка модели
model = SentenceTransformer("FractalGPT/SbertDistilV2")

# Пример команд
commands = [
    "Преобразуй эту аудиозапись в текстовый формат",
    "Создай презентацию с анализом медицинских данных",
    "Ответь на вопрос о квантовой физике голосом"
]

# Получение эмбеддингов
embeddings = model.encode(commands)

print(f"Размерность эмбеддингов: {embeddings.shape[1]}") 
print(f"Количество векторов: {embeddings.shape[0]}")      
```

### Поиск похожих команд

```python
from sentence_transformers import SentenceTransformer, util
import torch

model = SentenceTransformer("FractalGPT/SbertDistilV2")

# База команд
commands_db = [
    "Преобразуй речь в текст",
    "Создай презентацию по физике",
    "Сделай аудио ответ на вопрос",
    "Проанализируй медицинский документ",
    "Переведи аудио в текстовый файл"
]

# Запрос пользователя
query = "Транскрибируй голосовое сообщение в txt"

# Получение эмбеддингов
query_embedding = model.encode(query, convert_to_tensor=True)
db_embeddings = model.encode(commands_db, convert_to_tensor=True)

# Вычисление косинусного сходства
cosine_scores = util.cos_sim(query_embedding, db_embeddings)[0]

# Сортировка результатов
results = torch.argsort(cosine_scores, descending=True)

print(f"Запрос: {query}\n")
print("Наиболее похожие команды:")
for idx in results[:3]:
    print(f"  {commands_db[idx]} (Score: {cosine_scores[idx]:.4f})")
```

### Кластеризация команд

```python
from sentence_transformers import SentenceTransformer
from sklearn.cluster import KMeans
import numpy as np

model = SentenceTransformer("FractalGPT/SbertDistilV2")

commands = [
    "Преобразуй аудио в текст",
    "Транскрибируй голос в txt",
    "Создай презентацию по биологии",
    "Сделай pptx с анализом данных",
    "Ответь голосом на вопрос",
    "Озвучь ответ на запрос"
]

# Получение эмбеддингов
embeddings = model.encode(commands)

# Кластеризация (3 кластера: транскрипция, презентации, голосовые ответы)
kmeans = KMeans(n_clusters=3, random_state=42)
clusters = kmeans.fit_predict(embeddings)

# Группировка по кластерам
for i in range(3):
    cluster_commands = [cmd for cmd, cluster in zip(commands, clusters) if cluster == i]
    print(f"\nКластер {i+1}:")
    for cmd in cluster_commands:
        print(f"  - {cmd}")
```

## Применение

Модель оптимизирована для следующих задач:

### 1. Семантический поиск команд
Поиск похожих команд в базе знаний мультиагентной системы для переиспользования существующих решений.

### 2. Кластеризация задач
Группировка схожих запросов для оптимизации маршрутизации в агентных системах.

### 3. Классификация намерений
Определение типа задачи (транскрипция, генерация отчётов, голосовые ответы и т.д.) по векторному представлению.

### 4. Ранжирование инструментов
Поиск наиболее подходящих инструментов для выполнения пользовательской команды на основе семантического сходства.

### 5. Дедупликация запросов
Выявление дублирующихся или очень похожих запросов для оптимизации обработки.

## Технические детали

### Оптимизации обучения

- **Mixed Precision Training**: использование bfloat16/float16 для ускорения обучения
- **Gradient Accumulation**: накопление градиентов для эффективной работы с большими батчами
- **SVD Projection**: оптимальное сжатие размерности с сохранением максимальной дисперсии

### Математическое обоснование

**MSE Loss** (прямое согласование):

$$\mathcal{L}_{\text{MSE}} = \frac{1}{N} \sum_{i=1}^{N} \|\text{SVD}(\mathbf{h}_{\text{teacher}}^{(i)}) - \mathbf{h}_{\text{student}}^{(i)}\|^2$$

**Cosine Similarity Loss** (сохранение направлений):

$$\mathcal{L}_{\text{cosine}} = 1 - \frac{1}{N} \sum_{i=1}^{N} \frac{\mathbf{h}_{\text{teacher}}^{(i)} \cdot \mathbf{h}_{\text{student}}^{(i)}}{\|\mathbf{h}_{\text{teacher}}^{(i)}\| \|\mathbf{h}_{\text{student}}^{(i)}\|}$$

**InfoNCE Loss** (контрастное обучение):

$$\mathcal{L}_{\text{InfoNCE}} = -\log \frac{\exp(\text{sim}(\mathbf{h}_i, \mathbf{h}_i^+) / \tau)}{\sum_{j=1}^{N} \exp(\text{sim}(\mathbf{h}_i, \mathbf{h}_j) / \tau)}$$

Где $\tau$ — температурный параметр контрастного обучения.

## Ограничения

- Модель оптимизирована для **русского языка**
- Специализирована на задачах NLI и MASL, может показывать сниженное качество на общих задачах эмбеддингов
- Размерность 384 может быть недостаточной для очень сложных семантических различий

## Связанные модели

- [Qwen2.5-NLI-7B](https://huggingface.co/Ponimash/Qwen2.5-nli-7b) — генеративная модель для создания MASL спецификаций
- [FractalGPT/SbertDistil](https://huggingface.co/FractalGPT/SbertDistil) — базовая модель
- [multilingual-e5-large-instruct](https://huggingface.co/intfloat/multilingual-e5-large-instruct) — модель-учитель

## Примеры результатов

### Пример 1: Транскрипция

```python
query = "Преобразуй голосовое сообщение в текст"
similar = [
    "Транскрибируй аудио в txt",           
    "Переведи речь в текстовый формат",    
    "Распознай речь и сохрани в файл"     
]
```

### Пример 2: Генерация отчётов

```python
query = "Создай презентацию с анализом данных"
similar = [
    "Сделай pptx с результатами исследования",  
    "Подготовь слайды с выводами",             
    "Оформи отчёт в виде презентации"          
]
```

## Цитирование

```bibtex
@misc{sbertdistilv2-nli-masl,
  author = {Потанин, М. В.},
  title = {SbertDistilV2-NLI-MASL: Compact Embeddings for Natural Language Interface Tasks},
  year = {2024},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/FractalGPT/SbertDistilV2}}
}
```

## Лицензия

Модель распространяется под лицензией Apache 2.0.