sergeyzh/rubert-mini-retriever

Быстрая модель BERT для задач текстового поиска (retrieval). Модель получена дистилляцией эмбеддингов русских и английских текстов BAAI/bge-m3.

Основные характеристики модели:

• размер ембеддинга - 312,
• длина контекста - 512,
• слоёв - 7,
• префиксы - не требуются.

Использование

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('sergeyzh/rubert-mini-retriever')

sentences = ["привет мир", "hello world", "здравствуй вселенная"]
embeddings = model.encode(sentences)
print(model.similarity(embeddings, embeddings))

Метрики

Оценки модели на задачах текстового поиска для русского языка:

Model Name	MIRACL Reranking	MIRACL Retrival	RiaNews Retrieval	RuBQ Reranking	RuBQ Retrieval	Average
bge-m3	0,654	0,702	0,830	0,740	0,712	0,728
multilingual-e5-small	0,591	0,590	0,700	0,715	0,685	0,656
rubert-mini-frida	0,601	0,571	0,721	0,711	0,654	0,652
rubert-mini-retriever	0,609	0,599	0,698	0,700	0,642	0,650

Оценки модели на задачах текстового поиска для английского языка:

Model Name	AILA Statutes	Argu Ana	Legal Bench Corporate Lobbying	SCIDOCS	Stack Overflow QA	Statcan Dialogue Dataset Retrieval	Wikipedia Retrieval Multilingual	Average
bge-m3	0,298	0,539	0,904	0,164	0,806	0,284	0,924	0,560
rubert-mini-retriever	0,208	0,496	0,903	0,125	0,585	0,197	0,913	0,489
multilingual-e5-small	0,190	0,391	0,895	0,139	0,819	0,103	0,887	0,489
rubert-mini-frida	0,190	0,459	0,890	0,121	0,492	0,174	0,889	0,459