sergeyzh/BERTA-uncased-GGUF

rubert-mini-uncased-GGUF

Оригинальная модель: BERTA-uncased

Для запуска модели в качестве сервера необходимо использовать llama.cpp:

llama-server -m BERTA-uncased-q8_0.gguf -c 512 -ngl 99 --embedding --port 8080

Возможно использование с LM Studio.

Использование модели после запуска llama-server:

import numpy as np
import requests
import json

def embeding(text):
    url = 'http://127.0.0.1:8080/v1/embeddings'  
    headers = {"Content-Type": "application/json", "Authorization": "no-key"} 
    data={"input": text,
          "model": "BERTA-uncased",
          "encoding_format": "float"}
    r = requests.post(url, headers=headers, data=json.dumps(data))
    emb = np.array([np.array(s['embedding']) for s in r.json()['data']])
    return emb

inputs = [
    # 
    "paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
    "categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
    "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
    # 
    "paraphrase: Ярославским баням разрешили работать без посетителей",
    "categorize_entailment: Женщину спасают врачи.",
    "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
]

embeddings = embeding(inputs)
sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diagonal().tolist())