SentenceTransformer based on readerbench/RoBERT-large

This is a sentence-transformers model finetuned from readerbench/RoBERT-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: readerbench/RoBERT-large
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("alina0195/robert-retriever")
# Run inference
sentences = [
    'La ce folosește testarea genotipică a microsateliților?',
    'Genotiparea micro-satelitilor se referă la genotiparea repetitiilor tandem, precum repetitiile scurte în tandem (STR) sau repetitiile nucleotidice variabile în tandem (VNTR), care sunt loci de ADN polimorfice prezente pe tot genomul. Genotiparea micro-satelitilor este un instrument larg acceptat pentru o varietate de aplicații, inclusiv studii de cartografiere a legaturilor, studii de asociere și identificarea organismelor. Chimia cu cinci coloranți a companiei Applied Biosystems crește numărul de markeri micro-satelit pe care îi poate procesa un singur capilar, permițând o productivitate sporită. Figura 1 prezintă un exemplu de 18 loci micro-satelit co-electroforezați într-un singur capilar. Chimia cu cinci coloranți a companiei Applied Biosystems crește numărul de markeri micro-satelit pe care îi poate procesa un singur capilar, permițând o productivitate sporită. Figura 1 prezintă un exemplu de 18 loci micro-satelit co-electroforezați într-un singur capilar.',
    'Microsateliții sunt adesea numiți repetiții tandem scurte (STR) de către geneticații medico-legiști sau repetiții de secvență simple (SSR) de către geneticații de plante. Aceștia sunt folosiți pe scară largă pentru profilarea ADN-ului în analiza de rudenie și identificarea medico-legală. Microsatelitul este o secvență de ADN repetitiv în care anumite motive de ADN (cu o lungime cuprinsă între 2 și 5 perechi de baze) sunt repetate de obicei de 5-50 de ori.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7074, 0.6925],
#         [0.7074, 1.0000, 0.6709],
#         [0.6925, 0.6709, 1.0000]])

Evaluation

Metrics

Triplet

Dataset: msmarco-ro-dev
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.992

Training Details

Training Dataset

Unnamed Dataset

Size: 11,661,069 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 5 tokens mean: 12.14 tokens max: 68 tokens	min: 20 tokens mean: 96.27 tokens max: 489 tokens	min: 25 tokens mean: 97.06 tokens max: 249 tokens

Samples:

anchor	positive	negative
`Adresa ipotecii bancare americane`	`US BANK HOME MORTGAGE se află în comitatul Daviess, la adresa 4801 Frederica St., Owensboro, KY 42301-7441. Ne puteți contacta la numărul de telefon (270) 689-7000.`	Sucursala Pueblo a U.S. Bank este una dintre cele 3086 de sucursale ale băncii și deservește nevoile financiare ale clienților din Pueblo, comitatul Pueblo, Colorado de peste 45 de ani. Sucursala Pueblo se află la adresa 3330 North Elizabeth Street, Pueblo. De asemenea, puteți contacta banca sunând la numărul de telefon al sucursalei, care este 719-543-6257. Sucursala Pueblo a U.S. Bank operează ca un birou cu servicii complete. Pentru programul de lucru al biroului, programul de servicii drive-through și serviciile bancare online, vă rugăm să vizitați site-ul oficial al ...
`Ce sunt benzile de respirație Colgate?`	`Ingrijire dentară. Sunteți în căutarea unui plus de albire a dinților? Pasta de dinți Colgate MaxWhite cu Mini-Bright Strips este o pastă de dinți pe care ar fi bine să o luați în considerare dacă vreți să vă albiți zâmbetul prin îndepărtarea petelor de cafea, ceai, tutun sau alți factori de pătare externi.`	`Colgate are o nouă pastă de dinți spumantă. Pun pariu că are o concentrație mare de SLS pentru a produce spumă. Am folosit-o și acum am o rană persistentă pe vârful limbii. Am crezut că mănânc prea multe dulciuri, dar voi încerca să elimin această nouă pastă de dinți.`
`Definiția grupului Michelin`	`Michelin, liderul în producția de anvelope, se dedică sporirii mobilității clienților în mod sustenabil; proiectarea și distribuirea anvelopelor, serviciilor și soluțiilor cele mai potrivite pentru nevoile clienților; furnizarea de servicii digitale, hărți și ghiduri care să contribuie la îmbogățirea excursiilor și a călătoriei, transformându-le în experiențe unice; dezvoltarea de materiale de înaltă tehnologie, care să deserbească industria mobilității.`	Aceste stele sunt râvnite, deoarece marea majoritate a restaurantelor nu primesc nicio stea. De exemplu, ghidul Michelin pentru Chicago pe 2014 include aproape 500 de restaurante. Un singur restaurant a primit trei stele, patru restaurante au primit două stele, iar 20 de restaurante au primit o stea. Michelin nu folosește recenzii ale clienților pentru a determina clasamentul restaurantelor. Stelele Michelin sunt acordate de la 0 la 3 stele, în funcție de recenzii anonime. Recenzorii se concentrează pe calitate, măiestrie tehnică, personalitate și consecvență în ceea ce privește mâncarea.

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "CachedMultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Evaluation Dataset

Unnamed Dataset

Size: 1,000 evaluation samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 4 tokens mean: 11.91 tokens max: 33 tokens	min: 17 tokens mean: 96.57 tokens max: 258 tokens	min: 21 tokens mean: 94.78 tokens max: 371 tokens

Samples:

anchor	positive	negative
`Cine a scris cântecul „Remember When” de Alan Jackson?`	`„Remember When (cântecul lui Alan Jackson)” este o melodie compusă și înregistrată de artistul american de muzică country Alan Jackson. Lansată în octombrie 2003 ca al doilea și ultimul single de pe albumul său de compilații, Greatest Hits Volume II, a petrecut două săptămâni pe locul 1 în topul Billboard Hot Country Songs din SUA în februarie 2004 și a atins apogeul la locul 29 în topul Billboard Hot 100.`	`Cântecul a fost compus de Bill Mack. Mack a compus cântecul 30 de ani mai devreme pentru a fi înregistrat de Patsy Cline, însă aceasta a decedat într-un accident de avion înainte să înregistreze cântecul.`
`sinonim simultan al concurentului`	`concomitent (adjectiv) co-activ, coincident, combinat, concert, cooperant, sincron, sinergic, unit. simultan (adjectiv) însoțitor, coeval, concomitent, contemporan, simultan. Alte sinonime: accesoriu, accidental, accidental,`	`care au loc concomitent; care coincid în timp; contemporane; simultane. 2. care se desfășoară cu aceeași viteză și exact împreună; care se repetă împreună. 3. Fizică, electricitate. care au aceeași frecvență și o diferență de fază nulă.`
`Comisioanele pentru cardurile de debit Visa NatWest în străinătate`	`Consulteți ghidul nostru de cheltuire în străinătate pentru a afla care sunt cele mai bune opțiuni. Începând cu 1 iunie, clienții care folosesc cardurile de debit NatWest sau RBS în străinătate vor plăti 2,75% din valoarea tranzacției sau 1%, oricare dintre acestea este mai mare. În prezent, clienții plătesc o taxă de 1,25%, plus 2,75% din valoarea tranzacției de fiecare dată când fac plăți în străinătate.`	`1 Taxa de autorizare - Dacă cererea dumneavoastră este aprobată și primiți autorizația de a călători în Statele Unite în cadrul Programului de renunțare la viză, o taxă suplimentară de 10,00 USD va fi percepută pe cardul dumneavoastră de credit.`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "CachedMultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
gradient_accumulation_steps: 32
learning_rate: 8e-05
warmup_ratio: 0.1
bf16: True
dataloader_num_workers: 4
load_best_model_at_end: True
ddp_find_unused_parameters: False
dataloader_persistent_workers: True
gradient_checkpointing: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 32
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 8e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 4
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: False
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: True
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: True
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	msmarco-ro-dev_cosine_accuracy
-1	-1	-	-	0.6790
0.0176	100	9.0639	-	-
0.0351	200	6.8571	-	-
0.0527	300	3.9617	-	-
0.0703	400	2.9201	-	-
0.0878	500	2.5575	-	-
0.1054	600	2.3349	-	-
0.1229	700	2.1485	-	-
0.1405	800	1.9714	-	-
0.1581	900	1.8504	-	-
0.1756	1000	1.7105	1.3991	0.9170
0.1932	1100	1.5833	-	-
0.2108	1200	1.4711	-	-
0.2283	1300	1.3995	-	-
0.2459	1400	1.3314	-	-
0.2634	1500	1.2698	-	-
0.2810	1600	1.2108	-	-
0.2986	1700	1.1522	-	-
0.3161	1800	1.1125	-	-
0.3337	1900	1.0224	-	-
0.3513	2000	0.9665	0.8378	0.9440
0.3688	2100	0.9283	-	-
0.3864	2200	0.8779	-	-
0.4039	2300	0.848	-	-
0.4215	2400	0.7973	-	-
0.4391	2500	0.7679	-	-
0.4566	2600	0.7361	-	-
0.4742	2700	0.7071	-	-
0.4918	2800	0.6764	-	-
0.5093	2900	0.657	-	-
0.5269	3000	0.6395	0.5249	0.9640
0.5444	3100	0.617	-	-
0.5620	3200	0.5985	-	-
0.5796	3300	0.5818	-	-
0.5971	3400	0.5589	-	-
0.6147	3500	0.5549	-	-
0.6323	3600	0.5391	-	-
0.6498	3700	0.5251	-	-
0.6674	3800	0.5139	-	-
0.6849	3900	0.51	-	-
0.7025	4000	0.4879	0.3452	0.9820
0.7201	4100	0.4858	-	-
0.7376	4200	0.4774	-	-
0.7552	4300	0.4651	-	-
0.7728	4400	0.4556	-	-
0.7903	4500	0.4477	-	-
0.8079	4600	0.4411	-	-
0.8254	4700	0.4273	-	-
0.8430	4800	0.4251	-	-
0.8606	4900	0.4158	-	-
0.8781	5000	0.405	0.2828	0.9840
0.8957	5100	0.4052	-	-
0.9133	5200	0.3941	-	-
0.9308	5300	0.3973	-	-
0.9484	5400	0.3867	-	-
0.9660	5500	0.3804	-	-
0.9835	5600	0.3818	-	-
1.0011	5700	0.3721	-	-
1.0186	5800	0.3654	-	-
1.0362	5900	0.3687	-	-
1.0537	6000	0.3608	0.2476	0.9860
1.0713	6100	0.3566	-	-
1.0889	6200	0.3564	-	-
1.1064	6300	0.3475	-	-
1.1240	6400	0.3432	-	-
1.1416	6500	0.3402	-	-
1.1591	6600	0.3378	-	-
1.1767	6700	0.3296	-	-
1.1942	6800	0.3215	-	-
1.2118	6900	0.3161	-	-
1.2294	7000	0.3106	0.2066	0.9910
1.2469	7100	0.3068	-	-
1.2645	7200	0.3005	-	-
1.2821	7300	0.2978	-	-
1.2996	7400	0.2845	-	-
1.3172	7500	0.2688	-	-
1.3347	7600	0.267	-	-
1.3523	7700	0.2718	-	-
1.3699	7800	0.2741	-	-
1.3874	7900	0.2724	-	-
1.4050	8000	0.2601	0.1884	0.9930
1.4226	8100	0.2532	-	-
1.4401	8200	0.2546	-	-
1.4577	8300	0.2539	-	-
1.4752	8400	0.2515	-	-
1.4928	8500	0.2616	-	-
1.5104	8600	0.2514	-	-
1.5279	8700	0.2548	-	-
1.5455	8800	0.2481	-	-
1.5631	8900	0.2521	-	-
1.5806	9000	0.2533	0.1815	0.9920

Framework Versions

Python: 3.11.13
Sentence Transformers: 5.1.1
Transformers: 4.56.2
PyTorch: 2.9.0+cu128
Accelerate: 1.12.0
Datasets: 4.4.1
Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

Downloads last month: 27

Safetensors

Model size

0.3B params

Tensor type

BF16

Model tree for alina0195/robert-retriever

Base model

readerbench/RoBERT-large

Finetuned

(1)

this model

Papers for alina0195/robert-retriever

Evaluation results

Cosine Accuracy on msmarco ro dev
self-reported

0.992