---
language:
- ru
- en

pipeline_tag: sentence-similarity

tags:
- russian
- pretraining
- embeddings
- feature-extraction
- sentence-similarity
- sentence-transformers
- transformers
- mteb

datasets:
- IlyaGusev/gazeta
- zloelias/lenta-ru
- HuggingFaceFW/fineweb-2
- HuggingFaceFW/fineweb

license: mit

base_model: sergeyzh/rubert-mini-uncased

---

Модель BERT для задач симметричного сравнения запросов (query). Получена дистилляцией эмбеддингов русских и английских текстов с учётом префикса [Qwen/Qwen3-Embedding-8B](https://huggingface.co/Qwen/Qwen3-Embedding-8B). Модель принадлежит к виду uncased - не различает при обработке текста буквы, написанные в верхнем и нижнем регистре.

Модель может использоваться для кэшировании и фильтрации запросов к LLM, Q2Q RAG.

Основные характеристики модели: 
 - размер ембеддинга - 384, 
 - длина контекста - 512, 
 - слоёв - 7,
 - префиксы - не требуются. 



## Использование

```Python
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('sergeyzh/rubert-mini-uncased-query')

sentences = ["восстановление доступа", "как сбросить пароль"]
embeddings = model.encode(sentences)
print(model.similarity(embeddings, embeddings))
```



## Метрики

Оценка качества модели для русского языка выполнена на сравнении близости пар поисковых запросов датасета [ai-forever/rubq-retrieval](https://huggingface.co/datasets/ai-forever/rubq-retrieval) с ответами референсной модели [Qwen/Qwen3-Embedding-8B](https://huggingface.co/Qwen/Qwen3-Embedding-8B):

| Модель | Pearson r | Spearman ρ |
|--------|-----------|------------|
| [Qwen/Qwen3-Embedding-8B](https://huggingface.co/Qwen/Qwen3-Embedding-8B) | 1.000 | 1.000 |
| [sergeyzh/rubert-large-uncased-query](https://huggingface.co/sergeyzh/rubert-large-uncased-query) | 0.850 | 0.800 |
| [Qwen/Qwen3-Embedding-4B](https://huggingface.co/Qwen/Qwen3-Embedding-4B) | 0.845 | 0.788 |
| [Qwen/Qwen3-Embedding-0.6B](https://huggingface.co/Qwen/Qwen3-Embedding-0.6B) | 0.716 | 0.655 |
| [**sergeyzh/rubert-mini-uncased-query**](https://huggingface.co/sergeyzh/rubert-mini-uncased-query) | 0.714 | 0.641 |
| [intfloat/multilingual-e5-large-instruct](https://huggingface.co/intfloat/multilingual-e5-large-instruct) | 0.707 | 0.636 |
| [intfloat/e5-large](https://huggingface.co/intfloat/e5-large) | 0.654 | 0.570 |
| [sergeyzh/rubert-mini-frida](https://huggingface.co/sergeyzh/rubert-mini-frida) | 0.638 | 0.539 |
| [BAAI/bge-m3](https://huggingface.co/BAAI/bge-m3) | 0.630 | 0.533 |
| [ai-forever/FRIDA](https://huggingface.co/ai-forever/FRIDA) | 0.623 | 0.533 |