all-MiniLM-L6-v2-ru-adapted

Это доменно-адаптированная версия модели sentence-transformers/all-MiniLM-L6-v2, дообученная для работы с русскоязычными текстами в задаче семантического поиска.

Базовая модель обучалась только на английских данных. Данная адаптация направлена на улучшение качества получаемых эмбеддингов для русского языка с помощью дообучения на парафразах.

Описание модели

• Базовая модель: sentence-transformers/all-MiniLM-L6-v2
• Размерность эмбеддингов: 384
• Максимальная длина последовательности: 256 токенов
• Функция потерь: TripletLoss (Cosine Distance, margin=0.5)
• Датасет для дообучения: deepvk/ru-HNP (20000 примеров, якорь/позитив/негатив)
• Эпохи обучения: 3
• Batch size: 16
• Warmup steps: 100

Как использовать

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("AtesiT/all-MiniLM-L6-v2-ru-adapted")

sentences = [
    "Какая столица России?",
    "Москва — столица Российской Федерации",
    "Кошки — популярные домашние животные"
]

embeddings = model.encode(sentences, normalize_embeddings=True)
print(embeddings.shape)

similarity = embeddings[0] @ embeddings[1].T
print("Сходство между вопросом и ответом:", similarity)

Оценка качества (базовая модель, до дообучения)

Оценка проводилась на датасете ai-forever/rubq-retrieval (1692 вопроса, 56826 документов в базе знаний) с использованием FAISS (IndexFlatIP) и метрики Recall@K.

Метрика	Базовая модель (all-MiniLM-L6-v2)
Recall@5	0.0272
Recall@10	0.0350

Метрики дообученной модели будут добавлены после завершения полного цикла оценки.

Кривая обучения (Training Loss)

Step	Loss
500	0.214
1000	0.139
1500	0.130
2000	0.117
2500	0.114
3000	0.106
3500	0.108

Ограничения

• Модель дообучалась на ограниченной выборке (20000 примеров) и небольшом числе эпох (3), что типично для образовательного проекта.
• Данные для обучения (ru-HNP, парафразы) отличаются по своей природе от задачи QA-поиска (rubq-retrieval), что ограничивает степень переноса качества между задачами (domain shift).
• Для промышленного использования рекомендуется дообучение на большем объёме данных, более близких по структуре к целевой задаче, а также подбор гиперпараметров.

Обучающий пайплайн

Модель была получена в рамках учебного задания по доменной адаптации энкодерных моделей.

Автор: AtesiT