---
language:
- ru
- en

pipeline_tag: sentence-similarity

tags:
- russian
- pretraining
- embeddings
- tiny
- feature-extraction
- sentence-similarity
- retrieval
- sentence-transformers
- transformers
- mteb

datasets:
- IlyaGusev/gazeta
- zloelias/lenta-ru
- HuggingFaceFW/fineweb-2
- HuggingFaceFW/fineweb

license: mit

base_model: sergeyzh/BERTA

---

Модель BERT для задач текстового поиска (retrieval). Модель получена дистилляцией эмбеддингов русских и английских текстов [BAAI/bge-m3](https://huggingface.co/BAAI/bge-m3) в [BERTA](https://huggingface.co/sergeyzh/BERTA).

Основные характеристики модели: 
 - размер ембеддинга - 768, 
 - длина контекста - 512, 
 - слоёв - 12,
 - префиксы - не требуются. 



## Использование

```Python
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('sergeyzh/rubert-base-retriever')

sentences = ["привет мир", "hello world", "здравствуй вселенная"]
embeddings = model.encode(sentences)
print(model.similarity(embeddings, embeddings))
```



## Метрики

Оценки модели на задачах текстового поиска для русского языка:


| Model Name | MIRACL Reranking | MIRACL Retrival | RiaNews Retrieval | RuBQ Reranking | RuBQ Retrieval | Average |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: |
| bge-m3 | 0,654 | 0,702 | 0,830 | 0,740 | 0,712 | 0,728 |
| BERTA | 0,643 | 0,676 | 0,816 | 0,752 | 0,710 | 0,719 |
| **rubert-base-retriever** | 0,635 | 0,660 | 0,787 | 0,735 | 0,699 | 0,703 |
| multilingual-e5-base | 0,605 | 0,616 | 0,702 | 0,720 | 0,696 | 0,668 |


Оценки модели на задачах текстового поиска для английского языка:

| Model Name | AILA Statutes | Argu Ana | Legal Bench Corporate Lobbying | SCIDOCS | Stack Overflow QA | Statcan Dialogue Dataset Retrieval | Wikipedia Retrieval Multilingual | Average |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| bge-m3 | 0,298 | 0,539 | 0,904 | 0,164 | 0,806 | 0,284 | 0,924 | 0,560 |
| **rubert-base-retriever** | 0,249 | 0,528 | 0,912 | 0,154 | 0,703 | 0,346 | 0,928 | 0,546 |
| multilingual-e5-large | 0,208 | 0,544 | 0,897 | 0,174 | 0,889 | 0,106 | 0,911 | 0,533 |
| multilingual-e5-base | 0,204 | 0,442 | 0,890 | 0,172 | 0,851 | 0,137 | 0,888 | 0,512 |
| BERTA | 0,188 | 0,414 | 0,907 | 0,112 | 0,493 | 0,304 | 0,888 | 0,472 |