| ---
|
| language:
|
| - ru
|
| - en
|
|
|
| pipeline_tag: sentence-similarity
|
|
|
| tags:
|
| - russian
|
| - pretraining
|
| - embeddings
|
| - feature-extraction
|
| - sentence-similarity
|
| - sentence-transformers
|
| - transformers
|
| - mteb
|
|
|
| datasets:
|
| - IlyaGusev/gazeta
|
| - zloelias/lenta-ru
|
| - HuggingFaceFW/fineweb-2
|
| - HuggingFaceFW/fineweb
|
|
|
| license: mit
|
|
|
| base_model: sergeyzh/rubert-mini-uncased
|
|
|
| ---
|
|
|
| Модель BERT для задач симметричного сравнения запросов (query). Получена дистилляцией эмбеддингов русских и английских текстов с учётом префикса [Qwen/Qwen3-Embedding-8B](https://huggingface.co/Qwen/Qwen3-Embedding-8B). Модель принадлежит к виду uncased - не различает при обработке текста буквы, написанные в верхнем и нижнем регистре.
|
|
|
| Модель может использоваться для кэшировании и фильтрации запросов к LLM, Q2Q RAG.
|
|
|
| Основные характеристики модели:
|
| - размер ембеддинга - 384,
|
| - длина контекста - 512,
|
| - слоёв - 7,
|
| - префиксы - не требуются.
|
|
|
|
|
|
|
| ## Использование
|
|
|
| ```Python
|
| from sentence_transformers import SentenceTransformer
|
|
|
| model = SentenceTransformer('sergeyzh/rubert-mini-uncased-query')
|
|
|
| sentences = ["восстановление доступа", "как сбросить пароль"]
|
| embeddings = model.encode(sentences)
|
| print(model.similarity(embeddings, embeddings))
|
| ```
|
|
|
|
|
|
|
| ## Метрики
|
|
|
| Оценка качества модели для русского языка выполнена на сравнении близости пар поисковых запросов датасета [ai-forever/rubq-retrieval](https://huggingface.co/datasets/ai-forever/rubq-retrieval) с ответами референсной модели [Qwen/Qwen3-Embedding-8B](https://huggingface.co/Qwen/Qwen3-Embedding-8B):
|
|
|
| | Модель | Pearson r | Spearman ρ |
|
| |--------|-----------|------------|
|
| | [Qwen/Qwen3-Embedding-8B](https://huggingface.co/Qwen/Qwen3-Embedding-8B) | 1.000 | 1.000 |
|
| | [sergeyzh/rubert-large-uncased-query](https://huggingface.co/sergeyzh/rubert-large-uncased-query) | 0.850 | 0.800 |
|
| | [Qwen/Qwen3-Embedding-4B](https://huggingface.co/Qwen/Qwen3-Embedding-4B) | 0.845 | 0.788 |
|
| | [Qwen/Qwen3-Embedding-0.6B](https://huggingface.co/Qwen/Qwen3-Embedding-0.6B) | 0.716 | 0.655 |
|
| | [**sergeyzh/rubert-mini-uncased-query**](https://huggingface.co/sergeyzh/rubert-mini-uncased-query) | 0.714 | 0.641 |
|
| | [intfloat/multilingual-e5-large-instruct](https://huggingface.co/intfloat/multilingual-e5-large-instruct) | 0.707 | 0.636 |
|
| | [intfloat/e5-large](https://huggingface.co/intfloat/e5-large) | 0.654 | 0.570 |
|
| | [sergeyzh/rubert-mini-frida](https://huggingface.co/sergeyzh/rubert-mini-frida) | 0.638 | 0.539 |
|
| | [BAAI/bge-m3](https://huggingface.co/BAAI/bge-m3) | 0.630 | 0.533 |
|
| | [ai-forever/FRIDA](https://huggingface.co/ai-forever/FRIDA) | 0.623 | 0.533 |
|
|
|
|
|
|
|
