abragin/ruBert-style-base

SentenceTransformer based on ai-forever/ruBert-base

This is a sentence-transformers model finetuned from ai-forever/ruBert-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: ai-forever/ruBert-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("abragin/ruBert-style-base")
# Run inference
sentences = [
    'В общем — ничего хорошего... Читаю газету. Вдруг поднялся мужчина средних лет. Американец. Худой такой. И ниже меня ростом. Подошел к хулиганам и говорит: — Заткнитесь! И затем: — Вон отсюда. Чувствовалось, если надо, он может кого-то и по затылку треснуть. И молодые люди заткнулись.',
    '— А зачем мне пальма? — Начнем с аквариума. — Всю жизнь мечтал иметь парочку дрессированных золотых рыбок... — А пальма? — Пальму можно рисовать с натуры. Держать ее на балконе. — Спрашивается, где у нас балкон? — Так ведь и пальмы еще нет... — Господи, о чем я спрашиваю? О чем мы вообще говорим?! — Действительно, о чем нам говорить?! Тем более, когда все решено. Я посмотрел на окна.',
    'И свояченица, всхлипывая, рассказала, как схватили ее хлопцы в охапку на улице и, несмотря на сопротивление, опустили в широкое окно хаты и заколотили ставнем. Писарь взглянул: петли у широкого ставня оторваны, и он приколочен только сверху деревянным брусом. – Добро ты, одноглазый сатана! – вскричала она, приступив к голове, который попятился назад и все еще продолжал ее мерять своим глазом. – Я знаю твой умысел: ты хотел, ты рад был случаю спечь меня, чтобы свободнее было волочиться за дивчатами, чтобы некому было видеть, как дурачится седой дед. Ты думаешь, я не знаю, о чем говорил ты сего вечера с Ганною? О! я знаю все. Меня трудно провесть и не твоей бестолковой башке. Я долго терплю, но после не прогневайся…       Сказавши это, она показала кулак и быстро ушла, оставив в остолбенении голову. «Нет, тут не на шутку сатана вмешался», – думал он, сильно почесывая свою макушку. – Поймали! – вскрикнули вошедшие в это время десятские. – Кого поймали? – спросил голова. – Дьявола в вывороченном тулупе. – Подавайте его! – закричал голова, схватив за руки приведенного пленника. – Вы с ума сошли: да это пьяный Каленик! – Что за пропасть! в руках наших был, пан голова! – отвечали десятские. – В переулке окружили проклятые хлопцы, стали танцевать, дергать, высовывать языки, вырывать из рук… черт с вами!.. И как мы попали на эту ворону вместо его, бог один знает! – Властью моей и всех мирян дается повеление, – сказал голова, – изловить сей же миг сего разбойника: а оным образом и всех, кого найдете на улице, и привесть на расправу но мне!. – Помилуй, пан голова! – закричали некоторые, кланяясь в ноги. – Увидел бы ты, какие хари: убей бог нас, и родились и крестились – не видали таких мерзких рож. Долго ли до греха, пан голова, перепугают доброго человека так, что после ни одна баба не возьмется вылить переполоху.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9507

Training Details

Training Dataset

Unnamed Dataset

• Columns: anchor, sentence, and label
• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 10,296 evaluation samples
• Columns: anchor, sentence, and label
• Approximate statistics based on the first 1000 samples:

  	anchor	sentence	label
  type	string	string	int
  details	min: 9 tokens mean: 148.16 tokens max: 512 tokens	min: 13 tokens mean: 145.59 tokens max: 498 tokens	1: 100.00%

• Samples:

  anchor	sentence	label
  ибо в один час пришел суд твой. И купцы земные восплачут и возрыдают о ней, потому что товаров их никто уже не покупает, товаров золотых и серебряных, и камней драгоценных и жемчуга, и виссона и порфиры, и шелка и багряницы, и всякого благовонного дерева, и всяких изделий из слоновой кости, и всяких изделий из дорогих дерев, из меди и железа и мрамора, корицы и фимиама, и мира и ладана, и вина и елея, и муки и пшеницы, и скота и овец, иконей и колесниц, и тел и душ человеческих. И плодов, угодных для души твоей, не стало у тебя, и все тучное и блистательное удалилось от тебя; ты уже не найдешь его. Торговавшие всем сим, обогатившиеся от нее, станут вдали от страха мучений ее, плача и рыдая и говоря: горе, горе тебе , великий город, одетый в виссон и порфиру и багряницу, украшенныйзолотом и камнями драгоценными и жемчугом, ибо в один час погибло такое богатство! И все кормчие, и все плывущие на кораблях, и все корабельщики, и всеторгующие на море стали вдали и, видя дым от пожара ее, во...	Так говорит Господь Бог: вот распределение, по которому вы должны разделить землю в наследие двенадцати коленам Израилевым: Иосифу два удела. И наследуйте ее, как один, так и другой; так как Я, подняв руку Мою, клялся отдать ее отцам вашим, то и будет земля сия наследием вашим. И вот предел земли: на северном конце, начиная от великого моря, через Хетлон, по дороге в Цедад, Емаф, Берот, Сивраим, находящийся между Дамасскою и Емафскою областями Гацар-Тихон, который на границе Аврана. И будет граница от моря до Гацар-Енон, граница с Дамаском, и далее на севере область Емаф; и вот северный край.	1
  В скорби своей они с раннего утрабудут искать Меня и говорить: „пойдем и возвратимся к Господу! ибо Он уязвил – и Он исцелит нас, поразил – и перевяжет наши раны; оживит нас через два дня, в третий день восставит нас, и мы будем жить пред лицем Его. Итак познаем, будем стремиться познать Господа; как утренняя заря – явление Его, и Он придет к нам, как дождь, как поздний дождь оросит землю".	Угодно было Дарию поставить над царством сто двадцать сатрапов, чтобы они были во всем царстве, а над ними трех князей, – из которых один был Даниил, – чтобысатрапы давали им отчет и чтобы царю не было никакого обременения.	1
  Буду пасти их на хорошей пажити, и загон их будетна высоких горах Израилевых; там они будут отдыхать в хорошем загоне и будут пастись на тучной пажити, на горахИзраилевых. Я буду пасти овец Моих и Я будупокоить их, говорит Господь Бог. Потерявшуюся отыщу и угнанную возвращу, и пораненную перевяжу, и больную укреплю, а разжиревшую и буйную истреблю; буду пасти их по правде. Вас же, овцы Мои, – так говорит Господь Бог, – вот, Я буду судить между овцою и овцою, между бараном и козлом. Разве мало вам того, что пасетесь на хорошей пажити, а между тем остальное на пажити вашей топчете ногами вашими, пьете чистую воду, а оставшуюся мутите ногами вашими,	Откровение Иисуса Христа, которое дал Ему Бог, чтобы показать рабам Своим, чему надлежит быть вскоре. И Он показал, послав оное через Ангела Своего рабу Своему Иоанну, который свидетельствовал слово Божие и свидетельство Иисуса Христа и что он видел. Блажен читающий и слушающие слова пророчества сего и соблюдающие написанное в нем; ибо время близко. Иоанн семи церквам, находящимся в Асии: благодать вам и мир от Того, Который есть и был и грядет, и от семи духов, находящихся перед престолом Его, и от Иисуса Христа, Который есть свидетель верный, первенец из мертвых и владыка царей земных. Ему, возлюбившему нас и омывшему нас от грехов наших Кровию Своею и соделавшему нас царями и священниками Богу и Отцу Своему, слава и держава во веки веков, аминь. Се, грядет с облаками, и узрит Еговсякое око и те, которые пронзили Его; и возрыдают пред Ним все племена земные. Ей, аминь. Я есмь Альфа и Омега, начало и конец, говорит Господь, Который есть и был игрядет, Вседержитель. Я, Иоанн, брат ваш ...	1

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4
• gradient_accumulation_steps: 4
• learning_rate: 2e-05
• max_steps: 72667
• warmup_steps: 1453
• fp16: True
• load_best_model_at_end: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3.0
• max_steps: 72667
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 1453
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_accuracy
0.0028	200	0.0236	-	-
0.0055	400	0.0196	-	-
0.0083	600	0.0175	-	-
0.0110	800	0.016	-	-
0.0138	1000	0.0158	-	-
0.0165	1200	0.0166	-	-
0.0193	1400	0.0156	-	-
0.0220	1600	0.0153	-	-
0.0248	1800	0.0148	-	-
0.0275	2000	0.0145	-	-
0.0303	2200	0.0143	-	-
0.0330	2400	0.014	-	-
0.0333	2422	-	0.0146	0.9025
0.0358	2600	0.0137	-	-
0.0385	2800	0.0131	-	-
0.0413	3000	0.0135	-	-
0.0440	3200	0.0128	-	-
0.0468	3400	0.0129	-	-
0.0495	3600	0.0125	-	-
0.0523	3800	0.0128	-	-
0.0550	4000	0.0125	-	-
0.0578	4200	0.0119	-	-
0.0606	4400	0.0121	-	-
0.0633	4600	0.0117	-	-
0.0661	4800	0.0124	-	-
0.0667	4844	-	0.0134	0.9079
0.0688	5000	0.011	-	-
0.0716	5200	0.0113	-	-
0.0743	5400	0.0105	-	-
0.0771	5600	0.0111	-	-
0.0798	5800	0.0109	-	-
0.0826	6000	0.0109	-	-
0.0853	6200	0.0105	-	-
0.0881	6400	0.0111	-	-
0.0908	6600	0.0102	-	-
0.0936	6800	0.0109	-	-
0.0963	7000	0.0102	-	-
0.0991	7200	0.0107	-	-
0.1000	7266	-	0.0132	0.9165
0.1018	7400	0.0104	-	-
0.1046	7600	0.0111	-	-
0.1073	7800	0.01	-	-
0.1101	8000	0.0106	-	-
0.1128	8200	0.01	-	-
0.1156	8400	0.0106	-	-
0.1183	8600	0.0105	-	-
0.1211	8800	0.01	-	-
0.1239	9000	0.01	-	-
0.1266	9200	0.0097	-	-
0.1294	9400	0.0097	-	-
0.1321	9600	0.0095	-	-
0.1333	9688	-	0.0117	0.9277
0.1349	9800	0.01	-	-
0.1376	10000	0.0103	-	-
0.1404	10200	0.0102	-	-
0.1431	10400	0.0098	-	-
0.1459	10600	0.0103	-	-
0.1486	10800	0.0101	-	-
0.1514	11000	0.0094	-	-
0.1541	11200	0.0094	-	-
0.1569	11400	0.0098	-	-
0.1596	11600	0.0099	-	-
0.1624	11800	0.01	-	-
0.1651	12000	0.0099	-	-
0.1667	12110	-	0.0120	0.9240
0.1679	12200	0.0095	-	-
0.1706	12400	0.009	-	-
0.1734	12600	0.0096	-	-
0.1761	12800	0.0093	-	-
0.1789	13000	0.0092	-	-
0.1817	13200	0.0098	-	-
0.1844	13400	0.0094	-	-
0.1872	13600	0.0091	-	-
0.1899	13800	0.0089	-	-
0.1927	14000	0.0091	-	-
0.1954	14200	0.0087	-	-
0.1982	14400	0.0091	-	-
0.2000	14532	-	0.0112	0.9287
0.2009	14600	0.009	-	-
0.2037	14800	0.0091	-	-
0.2064	15000	0.0091	-	-
0.2092	15200	0.0089	-	-
0.2119	15400	0.0087	-	-
0.2147	15600	0.0083	-	-
0.2174	15800	0.0093	-	-
0.2202	16000	0.0093	-	-
0.2229	16200	0.0088	-	-
0.2257	16400	0.0084	-	-
0.2284	16600	0.0087	-	-
0.2312	16800	0.0086	-	-
0.2333	16954	-	0.0115	0.9291
0.2339	17000	0.0086	-	-
0.2367	17200	0.0088	-	-
0.2394	17400	0.0085	-	-
0.2422	17600	0.0085	-	-
0.2450	17800	0.0086	-	-
0.2477	18000	0.0087	-	-
0.2505	18200	0.0082	-	-
0.2532	18400	0.0088	-	-
0.2560	18600	0.0087	-	-
0.2587	18800	0.0086	-	-
0.2615	19000	0.0088	-	-
0.2642	19200	0.0086	-	-
0.2666	19376	-	0.0116	0.9312
0.2670	19400	0.0083	-	-
0.2697	19600	0.008	-	-
0.2725	19800	0.0083	-	-
0.2752	20000	0.0083	-	-
0.2780	20200	0.0078	-	-
0.2807	20400	0.0084	-	-
0.2835	20600	0.0082	-	-
0.2862	20800	0.0085	-	-
0.2890	21000	0.0082	-	-
0.2917	21200	0.0081	-	-
0.2945	21400	0.0078	-	-
0.2972	21600	0.0078	-	-
0.3000	21798	-	0.0109	0.9347
0.3000	21800	0.0082	-	-
0.3028	22000	0.0081	-	-
0.3055	22200	0.0083	-	-
0.3083	22400	0.0074	-	-
0.3110	22600	0.0079	-	-
0.3138	22800	0.0078	-	-
0.3165	23000	0.0078	-	-
0.3193	23200	0.0085	-	-
0.3220	23400	0.0084	-	-
0.3248	23600	0.0082	-	-
0.3275	23800	0.0079	-	-
0.3303	24000	0.008	-	-
0.3330	24200	0.0078	-	-
0.3333	24220	-	0.0112	0.9343
0.3358	24400	0.0077	-	-
0.3385	24600	0.0083	-	-
0.3413	24800	0.0082	-	-
0.3440	25000	0.0075	-	-
0.3468	25200	0.0076	-	-
0.3495	25400	0.0078	-	-
0.3523	25600	0.0077	-	-
0.3550	25800	0.0073	-	-
0.3578	26000	0.0076	-	-
0.3605	26200	0.0076	-	-
0.3633	26400	0.0071	-	-
0.3661	26600	0.0073	-	-
0.3666	26642	-	0.0113	0.9336
0.3688	26800	0.0074	-	-
0.3716	27000	0.0074	-	-
0.3743	27200	0.0076	-	-
0.3771	27400	0.0075	-	-
0.3798	27600	0.0078	-	-
0.3826	27800	0.0071	-	-
0.3853	28000	0.007	-	-
0.3881	28200	0.0069	-	-
0.3908	28400	0.0069	-	-
0.3936	28600	0.0081	-	-
0.3963	28800	0.0076	-	-
0.3991	29000	0.0073	-	-
0.4000	29064	-	0.0113	0.9336
0.4018	29200	0.0073	-	-
0.4046	29400	0.0071	-	-
0.4073	29600	0.0069	-	-
0.4101	29800	0.007	-	-
0.4128	30000	0.0068	-	-
0.4156	30200	0.0071	-	-
0.4183	30400	0.0072	-	-
0.4211	30600	0.0072	-	-
0.4239	30800	0.0069	-	-
0.4266	31000	0.0075	-	-
0.4294	31200	0.0074	-	-
0.4321	31400	0.0072	-	-
0.4333	31486	-	0.0110	0.9363
0.4349	31600	0.0074	-	-
0.4376	31800	0.0066	-	-
0.4404	32000	0.0074	-	-
0.4431	32200	0.0071	-	-
0.4459	32400	0.0075	-	-
0.4486	32600	0.0077	-	-
0.4514	32800	0.0072	-	-
0.4541	33000	0.0069	-	-
0.4569	33200	0.0063	-	-
0.4596	33400	0.0067	-	-
0.4624	33600	0.007	-	-
0.4651	33800	0.0067	-	-
0.4666	33908	-	0.0108	0.9376
0.4679	34000	0.007	-	-
0.4706	34200	0.0068	-	-
0.4734	34400	0.0074	-	-
0.4761	34600	0.0068	-	-
0.4789	34800	0.0065	-	-
0.4816	35000	0.0068	-	-
0.4844	35200	0.007	-	-
0.4872	35400	0.0067	-	-
0.4899	35600	0.0065	-	-
0.4927	35800	0.0068	-	-
0.4954	36000	0.0065	-	-
0.4982	36200	0.0066	-	-
0.5000	36330	-	0.0109	0.9408
0.5009	36400	0.0068	-	-
0.5037	36600	0.0067	-	-
0.5064	36800	0.0074	-	-
0.5092	37000	0.0064	-	-
0.5119	37200	0.0068	-	-
0.5147	37400	0.007	-	-
0.5174	37600	0.0069	-	-
0.5202	37800	0.0066	-	-
0.5229	38000	0.007	-	-
0.5257	38200	0.0065	-	-
0.5284	38400	0.0068	-	-
0.5312	38600	0.006	-	-
0.5333	38752	-	0.0108	0.9402
0.5339	38800	0.0063	-	-
0.5367	39000	0.0069	-	-
0.5394	39200	0.0065	-	-
0.5422	39400	0.0067	-	-
0.5450	39600	0.0067	-	-
0.5477	39800	0.007	-	-
0.5505	40000	0.0067	-	-
0.5532	40200	0.0064	-	-
0.5560	40400	0.0065	-	-
0.5587	40600	0.0068	-	-
0.5615	40800	0.0068	-	-
0.5642	41000	0.007	-	-
0.5666	41174	-	0.0104	0.9398
0.5670	41200	0.0066	-	-
0.5697	41400	0.0066	-	-
0.5725	41600	0.0063	-	-
0.5752	41800	0.0064	-	-
0.5780	42000	0.0065	-	-
0.5807	42200	0.0061	-	-
0.5835	42400	0.0062	-	-
0.5862	42600	0.0062	-	-
0.5890	42800	0.0059	-	-
0.5917	43000	0.0068	-	-
0.5945	43200	0.0067	-	-
0.5972	43400	0.0062	-	-
0.5999	43596	-	0.0110	0.9382
0.6000	43600	0.0062	-	-
0.6027	43800	0.0066	-	-
0.6055	44000	0.0065	-	-
0.6083	44200	0.006	-	-
0.6110	44400	0.0066	-	-
0.6138	44600	0.0067	-	-
0.6165	44800	0.0064	-	-
0.6193	45000	0.0066	-	-
0.6220	45200	0.0069	-	-
0.6248	45400	0.0067	-	-
0.6275	45600	0.0063	-	-
0.6303	45800	0.0064	-	-
0.6330	46000	0.0064	-	-
0.6333	46018	-	0.0105	0.9458
0.6358	46200	0.0067	-	-
0.6385	46400	0.0063	-	-
0.6413	46600	0.0064	-	-
0.6440	46800	0.0064	-	-
0.6468	47000	0.0064	-	-
0.6495	47200	0.0065	-	-
0.6523	47400	0.0061	-	-
0.6550	47600	0.0065	-	-
0.6578	47800	0.0061	-	-
0.6605	48000	0.0065	-	-
0.6633	48200	0.0061	-	-
0.6661	48400	0.0059	-	-
0.6666	48440	-	0.0105	0.9468
0.6688	48600	0.0064	-	-
0.6716	48800	0.006	-	-
0.6743	49000	0.0061	-	-
0.6771	49200	0.0061	-	-
0.6798	49400	0.0062	-	-
0.6826	49600	0.006	-	-
0.6853	49800	0.0066	-	-
0.6881	50000	0.0059	-	-
0.6908	50200	0.0065	-	-
0.6936	50400	0.0065	-	-
0.6963	50600	0.0062	-	-
0.6991	50800	0.0061	-	-
0.6999	50862	-	0.0103	0.9470
0.7018	51000	0.0063	-	-
0.7046	51200	0.0065	-	-
0.7073	51400	0.0061	-	-
0.7101	51600	0.0066	-	-
0.7128	51800	0.0064	-	-
0.7156	52000	0.006	-	-
0.7183	52200	0.006	-	-
0.7211	52400	0.0057	-	-
0.7238	52600	0.0065	-	-
0.7266	52800	0.0059	-	-
0.7294	53000	0.0063	-	-
0.7321	53200	0.0063	-	-
0.7333	53284	-	0.0105	0.9429
0.7349	53400	0.0063	-	-
0.7376	53600	0.006	-	-
0.7404	53800	0.0058	-	-
0.7431	54000	0.0063	-	-
0.7459	54200	0.0057	-	-
0.7486	54400	0.0058	-	-
0.7514	54600	0.0058	-	-
0.7541	54800	0.0062	-	-
0.7569	55000	0.0058	-	-
0.7596	55200	0.006	-	-
0.7624	55400	0.0056	-	-
0.7651	55600	0.0061	-	-
0.7666	55706	-	0.0103	0.9454
0.7679	55800	0.006	-	-
0.7706	56000	0.0061	-	-
0.7734	56200	0.0063	-	-
0.7761	56400	0.0061	-	-
0.7789	56600	0.006	-	-
0.7816	56800	0.0062	-	-
0.7844	57000	0.0059	-	-
0.7872	57200	0.0055	-	-
0.7899	57400	0.0053	-	-
0.7927	57600	0.0057	-	-
0.7954	57800	0.0055	-	-
0.7982	58000	0.006	-	-
0.7999	58128	-	0.0101	0.9476
0.8009	58200	0.0056	-	-
0.8037	58400	0.0058	-	-
0.8064	58600	0.0061	-	-
0.8092	58800	0.006	-	-
0.8119	59000	0.0057	-	-
0.8147	59200	0.0056	-	-
0.8174	59400	0.0066	-	-
0.8202	59600	0.006	-	-
0.8229	59800	0.0056	-	-
0.8257	60000	0.006	-	-
0.8284	60200	0.006	-	-
0.8312	60400	0.0063	-	-
0.8333	60550	-	0.0101	0.9481
0.8339	60600	0.0064	-	-
0.8367	60800	0.0061	-	-
0.8394	61000	0.006	-	-
0.8422	61200	0.0056	-	-
0.8450	61400	0.006	-	-
0.8477	61600	0.0063	-	-
0.8505	61800	0.0064	-	-
0.8532	62000	0.0058	-	-
0.8560	62200	0.0063	-	-
0.8587	62400	0.0056	-	-
0.8615	62600	0.0058	-	-
0.8642	62800	0.0059	-	-
0.8666	62972	-	0.0101	0.9491
0.8670	63000	0.0057	-	-
0.8697	63200	0.0056	-	-
0.8725	63400	0.0059	-	-
0.8752	63600	0.006	-	-
0.8780	63800	0.0057	-	-
0.8807	64000	0.0056	-	-
0.8835	64200	0.0053	-	-
0.8862	64400	0.0059	-	-
0.8890	64600	0.0055	-	-
0.8917	64800	0.006	-	-
0.8945	65000	0.0053	-	-
0.8972	65200	0.0059	-	-
0.8999	65394	-	0.01	0.9483
0.9000	65400	0.0058	-	-
0.9027	65600	0.0061	-	-
0.9055	65800	0.0057	-	-
0.9083	66000	0.0058	-	-
0.9110	66200	0.006	-	-
0.9138	66400	0.0057	-	-
0.9165	66600	0.0058	-	-
0.9193	66800	0.0062	-	-
0.9220	67000	0.0059	-	-
0.9248	67200	0.0058	-	-
0.9275	67400	0.0057	-	-
0.9303	67600	0.0054	-	-
0.9330	67800	0.0057	-	-
0.9332	67816	-	0.0100	0.9487
0.9358	68000	0.0056	-	-
0.9385	68200	0.0058	-	-
0.9413	68400	0.0059	-	-
0.9440	68600	0.0058	-	-
0.9468	68800	0.0055	-	-
0.9495	69000	0.0059	-	-
0.9523	69200	0.0057	-	-
0.9550	69400	0.0058	-	-
0.9578	69600	0.0061	-	-
0.9605	69800	0.0052	-	-
0.9633	70000	0.0056	-	-
0.9661	70200	0.0059	-	-
0.9666	70238	-	0.0102	0.9501
0.9688	70400	0.0057	-	-
0.9716	70600	0.0058	-	-
0.9743	70800	0.0054	-	-
0.9771	71000	0.0057	-	-
0.9798	71200	0.0055	-	-
0.9826	71400	0.0056	-	-
0.9853	71600	0.0053	-	-
0.9881	71800	0.0062	-	-
0.9908	72000	0.0057	-	-
0.9936	72200	0.0057	-	-
0.9963	72400	0.006	-	-
0.9991	72600	0.0054	-	-
0.9999	72660	-	0.0100	0.9507

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.5
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.1.1
• Accelerate: 1.1.1
• Datasets: 2.15.0
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}