thang1943/multilingual-e5-large-onlineloss

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • dataset_full_fixed

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("multilingual-e5-large-onlineloss")
# Run inference
sentences = [
    'Thân chào Đức Thịnh, Chiều cao mỗi người phụ thuộc 2 yếu tố là di truyền và môi trường. Nếu ba mẹ cao lớn thì thường con cũng thừa hưởng được yếu tố này. Nhưng điều có thể cải thiện đó là yếu tố môi trường, nghĩa là dinh dưỡng và luyện tập thể thao. Chiều cao con người có được là nhờ sự phát triển của lớp sụn tiếp hợp. Lớp sụn này phát triển liên tục làm xương dài ra. Phần phát triển mạnh nhất nằm ở vùng gối cũng như đầu trên xương cánh tay và vùng đầu dưới cẳng tay. Vùng sụn này, nhất là vùng gần gối, sẽ phát triển mạnh khi có sự kích thích cơ học, nghĩa là có sự chạy nhảy, vận động. Việc cung cấp đầy đủ dinh dưỡng cũng như sữa sẽ làm cho vùng sụn này phát triển tốt và là cơ sở cho việc tăng chiều cao. Khi phát triển đến một độ tuổi nào đó vùng sụn này sẽ không còn nữa thì sự phát triển chiều cao không còn. Với trường hợp của em, ở độ tuổi 20, khó có cơ hội tăng thêm chiều cao như giai đoạn dậy thì, nhưng hy vọng vẫn còn cao thêm một ít cho đến 25 tuổi. Việc tập xà đơn thì chưa thấy có nghiên cứu nào chứng minh môn này giúp phát triển chiều cao hơn các môn khác. Những môn thể thao chạy nhảy như bóng rổ, bóng chuyền, chạy điền kinh, cầu lông… đều có thể giúp phát triển chiều cao, không nhất thiết phải đi bơi hay tập xà như mọi người vẫn nghĩ. Em nên chơi môn thể thao nào mình yêu thích mới có thể duy trì thường xuyên và theo đuổi lâu dài được. Cường độ tập như thế nào thì tùy thuộc mỗi người, em nên tham khảo ý kiến huấn luyện viên hay thầy giáo thể dục để có hướng dẫn chính xác. Chúc em vui khỏe và tiếp tục cao thêm như mong muốn!',
    'Thưa bác sĩ,\r\n\r\nEm là nam, năm nay 20 tuổi. Em cao 1.7m, bác sĩ có thể cho em biết là để tăng chiều cao thì em nên tập xà đơn 1 ngày bao nhiêu hiệp, mỗi hiệp bao nhiêu cái?\r\n\r\nEm xin chân thành cảm ơn! (Đức Thịnh - Bình Định)',
    'Xin chào bác sĩ,\r\n\r\nTôi đã có đủ số con. Tôi rất muốn đi triệt sản nhưng rất ngại đến bệnh viện. Tôi đã xem trên mạng quy trình phẫu thuật thật đơn giản. Đã có lúc tôi đã lấy hết dũng cảm để rạch thử phần bìu một tí và dùng kẹp để móc được ống dẫn tinh ra nhưng không dám tự làm tiếp vì chưa hiểu thế nào. \r\n\r\nXin hỏi bác sĩ nếu tự phẫu thuật có nguy hiểm điều gì không?\r\n\r\nXin cảm ơn bác sĩ !',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.6991
cosine_accuracy@3	0.8053
cosine_accuracy@5	0.8457
cosine_accuracy@10	0.8888
cosine_precision@1	0.6991
cosine_precision@3	0.2684
cosine_precision@5	0.1691
cosine_precision@10	0.0889
cosine_recall@1	0.6991
cosine_recall@3	0.8053
cosine_recall@5	0.8457
cosine_recall@10	0.8888
cosine_ndcg@10	0.7932
cosine_mrr@10	0.7627
cosine_map@100	0.7666

Training Details

Training Dataset

dataset_full_fixed

• Dataset: dataset_full_fixed at ef2e7fd
• Size: 54,755 training samples
• Columns: positive and query
• Approximate statistics based on the first 1000 samples:

  	positive	query
  type	string	string
  details	min: 34 tokens mean: 232.84 tokens max: 512 tokens	min: 6 tokens mean: 79.09 tokens max: 512 tokens

• Samples:

  positive	query
  Hình minh họa Chào em, Trong hầu hết các trường hợp tổn thương gân gót nhẹ, thường chỉ cần bảo tồn, không phẫu thuật. Nếu điều trị sớm và đúng cách, người bệnh có thể hồi phục và trở về sinh hoạt bình thường trong khoảng 3-6 tháng. Tình trạng sưng vùng bị thương có thể xuất phát từ tổn thương mạch máu hồi lưu ở chân hoặc do nhiễm trùng vết thương. Nếu vết thuơng sưng nóng, đỏ, chảy mủ hoặc sốt, em nên tái khám để được kê toa kháng sinh và hướng dẫn cách chăm sóc phù hợp. Để giảm sưng, em nên ngồi kê cao chân, hạn chế đứng lâu 1 chỗ, chườm lạnh và dùng thuốc kháng viêm theo toa bác sĩ em nhé!	Chào bác sĩ.Em bị đứt sợi gân nhỏ bên ngoài chân phải và bị tổn thương gân Achilles. Em tập từ tuần thứ sáu đi được mà không dám đi mạnh. Nay được 8 tuần rồi mà dưới vết thương bị sưng phù mà không nhức. Cho em hỏi vậy có sao không ạ và thời gian bao lâu là em lành hoàn toàn ạ?
  Mô tả ngắn: Thuốc Alverin là viên nén chứa hoạt chất Alverin (dưới dạng Alverin citrat) có tác dụng chống đau do co thắt cơ trơn ở đường tiêu hoá như hội chứng ruột kích thích, bệnh đau túi thừa của ruột kết, đau do co thắt đường mật, cơn đau quặn thận, thống kinh nguyên phát (đau bụng kinh vô căn). Thành phần: Alverine: 40mg Chỉ định: Thuốc Alverin chỉ định điều trị trong các trường hợp sau: Chống đau do co thắt cơ trơn ở đường tiêu hoá như hội chứng ruột kích thích, bệnh đau túi thừa của ruột kết, đau do co thắt đường mật, cơn đau quặn thận. Thống kinh nguyên phát.	Thuốc Alverin 40mg thephaco chống đau do co thắt cơ trơn, hội chứng ruột kích thích (10 vỉ x 10 viên)
  Xin chào bạn, Để khẳng định bạn có vấn đề về tim mạch hay không, bác sĩ cần
  có các thông tin từ bệnh sử (triệu chứng qua lời khai bệnh của bạn), khám lâm
  sàng và các xét nghiệm từ cơ bản đến chuyên sâu (xét nghiệm máu, ECG, siêu âm
  tim, trắc nghiệm gắng sức, chụp động mạch vành...) Tần suất của bạn không thường xuyên (6
  tháng một lần), và triệu chứng đau ngực của bạn không điển hình do tim (có thể
  do nguyên nhân khác như đau do thành ngực, thần kinh liên sườn, viêm sụn sườn,
  đau dạ dày…). Tuy vậy, để chẩn đoán hay loại trừ do tim, bạn nên đến
  khám tim mạch tại bệnh viện chuyên khoa, để các bác sĩ có thể thực hiện các
  khám nghiệm chuyên sâu hơn tìm bệnh cho bạn. Cảm ơn bạn. BS. Nguyễn Thái Bình Sơn Phòng
  khám Đa khoa Tâm Trí Sài Gòn	Thưa bác sĩ Nguyễn Thái Bình Sơn,
  Em có một triệu chứng đau vùng ngực, mỗi lần lên cơn đau thường em không thể di chuyển được, nếu nhích chân hay cựa người một tí là em bị đau lồng ngực trái và cảm giác khó thở, em thường phải đứng yên hay ngồi yên một chỗ khi em bị lên cơn đau.
  Trước đây thời gian đâu thường 0,5 phút đến 2 phút thôi nhưng đợt gần đây nhất là 3 tiếng đòng hồ. Thông thường khoảng 6 tháng em mới bị đau một lần. Mỗi lần bị đau em có đi đo điện tâm đồ và siêu âm tim nhưng BS nói không bị gì cả. Mong BS cho em lời khuyên, em nên đến bệnh viện kiểm tra như thế nào để em biết được em đang bị gì ạ? Cảm ơn BS nhiều!
  (Huỳnh Nữ - Quảng Ngãi)

• Loss: OnlineContrastiveLoss

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 5
• per_device_eval_batch_size: 1
• learning_rate: 1e-06
• num_train_epochs: 5
• lr_scheduler_type: constant_with_warmup
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 5
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10
-1	-1	-	0.7936
0.0114	100	0.0	-
0.0228	200	0.0	-
0.0342	300	0.0	-
0.0457	400	0.0	-
0.0571	500	0.0	-
0.0685	600	0.0	-
0.0799	700	0.0	-
0.0913	800	0.0	-
0.1027	900	0.0	-
0.1141	1000	0.0	-
0.1256	1100	0.0	-
0.1370	1200	0.0	-
0.1484	1300	0.0	-
0.1598	1400	0.0	-
0.1712	1500	0.0	-
0.1826	1600	0.0	-
0.1940	1700	0.0	-
0.2055	1800	0.0	-
0.2169	1900	0.0	-
0.2283	2000	0.0	-
0.2397	2100	0.0	-
0.2511	2200	0.0	-
0.2625	2300	0.0	-
0.2739	2400	0.0	-
0.2854	2500	0.0	-
0.2968	2600	0.0	-
0.3082	2700	0.0	-
0.3196	2800	0.0	-
0.3310	2900	0.0	-
0.3424	3000	0.0	-
0.3538	3100	0.0	-
0.3653	3200	0.0	-
0.3767	3300	0.0	-
0.3881	3400	0.0	-
0.3995	3500	0.0	-
0.4109	3600	0.0	-
0.4223	3700	0.0	-
0.4337	3800	0.0	-
0.4452	3900	0.0	-
0.4566	4000	0.0	-
0.4680	4100	0.0	-
0.4794	4200	0.0	-
0.4908	4300	0.0	-
0.5022	4400	0.0	-
0.5136	4500	0.0	-
0.5251	4600	0.0	-
0.5365	4700	0.0	-
0.5479	4800	0.0	-
0.5593	4900	0.0	-
0.5707	5000	0.0	-
0.5821	5100	0.0	-
0.5935	5200	0.0	-
0.6050	5300	0.0	-
0.6164	5400	0.0	-
0.6278	5500	0.0	-
0.6392	5600	0.0	-
0.6506	5700	0.0	-
0.6620	5800	0.0	-
0.6734	5900	0.0	-
0.6849	6000	0.0	-
0.6963	6100	0.0	-
0.7077	6200	0.0	-
0.7191	6300	0.0	-
0.7305	6400	0.0	-
0.7419	6500	0.0	-
0.7533	6600	0.0	-
0.7648	6700	0.0	-
0.7762	6800	0.0	-
0.7876	6900	0.0	-
0.7990	7000	0.0	-
0.8104	7100	0.0	-
0.8218	7200	0.0	-
0.8332	7300	0.0	-
0.8447	7400	0.0	-
0.8561	7500	0.0	-
0.8675	7600	0.0	-
0.8789	7700	0.0	-
0.8903	7800	0.0	-
0.9017	7900	0.0	-
0.9131	8000	0.0	-
0.9246	8100	0.0	-
0.9360	8200	0.0	-
0.9474	8300	0.0	-
0.9588	8400	0.0	-
0.9702	8500	0.0	-
0.9816	8600	0.0	-
0.9930	8700	0.0	-
1.0	8761	-	0.7932
1.0045	8800	0.0	-
1.0159	8900	0.0	-
1.0273	9000	0.0	-
1.0387	9100	0.0	-
1.0501	9200	0.0	-
1.0615	9300	0.0	-
1.0729	9400	0.0	-
1.0844	9500	0.0	-
1.0958	9600	0.0	-
1.1072	9700	0.0	-
1.1186	9800	0.0	-
1.1300	9900	0.0	-
1.1414	10000	0.0	-
1.1528	10100	0.0	-
1.1643	10200	0.0	-
1.1757	10300	0.0	-
1.1871	10400	0.0	-
1.1985	10500	0.0	-
1.2099	10600	0.0	-
1.2213	10700	0.0	-
1.2327	10800	0.0	-
1.2442	10900	0.0	-
1.2556	11000	0.0	-
1.2670	11100	0.0	-
1.2784	11200	0.0	-
1.2898	11300	0.0	-
1.3012	11400	0.0	-
1.3126	11500	0.0	-
1.3240	11600	0.0	-
1.3355	11700	0.0	-
1.3469	11800	0.0	-
1.3583	11900	0.0	-
1.3697	12000	0.0	-
1.3811	12100	0.0	-
1.3925	12200	0.0	-
1.4039	12300	0.0	-
1.4154	12400	0.0	-
1.4268	12500	0.0	-
1.4382	12600	0.0	-
1.4496	12700	0.0	-
1.4610	12800	0.0	-
1.4724	12900	0.0	-
1.4838	13000	0.0	-
1.4953	13100	0.0	-
1.5067	13200	0.0	-
1.5181	13300	0.0	-
1.5295	13400	0.0	-
1.5409	13500	0.0	-
1.5523	13600	0.0	-
1.5637	13700	0.0	-
1.5752	13800	0.0	-
1.5866	13900	0.0	-
1.5980	14000	0.0	-
1.6094	14100	0.0	-
1.6208	14200	0.0	-
1.6322	14300	0.0	-
1.6436	14400	0.0	-
1.6551	14500	0.0	-
1.6665	14600	0.0	-
1.6779	14700	0.0	-
1.6893	14800	0.0	-
1.7007	14900	0.0	-
1.7121	15000	0.0	-
1.7235	15100	0.0	-
1.7350	15200	0.0	-
1.7464	15300	0.0	-
1.7578	15400	0.0	-
1.7692	15500	0.0	-
1.7806	15600	0.0	-
1.7920	15700	0.0	-
1.8034	15800	0.0	-
1.8149	15900	0.0	-
1.8263	16000	0.0	-
1.8377	16100	0.0	-
1.8491	16200	0.0	-
1.8605	16300	0.0	-
1.8719	16400	0.0	-
1.8833	16500	0.0	-
1.8948	16600	0.0	-
1.9062	16700	0.0	-
1.9176	16800	0.0	-
1.9290	16900	0.0	-
1.9404	17000	0.0	-
1.9518	17100	0.0	-
1.9632	17200	0.0	-
1.9747	17300	0.0	-
1.9861	17400	0.0	-
1.9975	17500	0.0	-
2.0	17522	-	0.7932
2.0089	17600	0.0	-
2.0203	17700	0.0	-
2.0317	17800	0.0	-
2.0431	17900	0.0	-
2.0546	18000	0.0	-
2.0660	18100	0.0	-
2.0774	18200	0.0	-
2.0888	18300	0.0	-
2.1002	18400	0.0	-
2.1116	18500	0.0	-
2.1230	18600	0.0	-
2.1345	18700	0.0	-
2.1459	18800	0.0	-
2.1573	18900	0.0	-
2.1687	19000	0.0	-
2.1801	19100	0.0	-
2.1915	19200	0.0	-
2.2029	19300	0.0	-
2.2144	19400	0.0	-
2.2258	19500	0.0	-
2.2372	19600	0.0	-
2.2486	19700	0.0	-
2.2600	19800	0.0	-
2.2714	19900	0.0	-
2.2828	20000	0.0	-
2.2943	20100	0.0	-
2.3057	20200	0.0	-
2.3171	20300	0.0	-
2.3285	20400	0.0	-
2.3399	20500	0.0	-
2.3513	20600	0.0	-
2.3627	20700	0.0	-
2.3742	20800	0.0	-
2.3856	20900	0.0	-
2.3970	21000	0.0	-
2.4084	21100	0.0	-
2.4198	21200	0.0	-
2.4312	21300	0.0	-
2.4426	21400	0.0	-
2.4541	21500	0.0	-
2.4655	21600	0.0	-
2.4769	21700	0.0	-
2.4883	21800	0.0	-
2.4997	21900	0.0	-
2.5111	22000	0.0	-
2.5225	22100	0.0	-
2.5340	22200	0.0	-
2.5454	22300	0.0	-
2.5568	22400	0.0	-
2.5682	22500	0.0	-
2.5796	22600	0.0	-
2.5910	22700	0.0	-
2.6024	22800	0.0	-
2.6139	22900	0.0	-
2.6253	23000	0.0	-
2.6367	23100	0.0	-
2.6481	23200	0.0	-
2.6595	23300	0.0	-
2.6709	23400	0.0	-
2.6823	23500	0.0	-
2.6938	23600	0.0	-
2.7052	23700	0.0	-
2.7166	23800	0.0	-
2.7280	23900	0.0	-
2.7394	24000	0.0	-
2.7508	24100	0.0	-
2.7622	24200	0.0	-
2.7737	24300	0.0	-
2.7851	24400	0.0	-
2.7965	24500	0.0	-
2.8079	24600	0.0	-
2.8193	24700	0.0	-
2.8307	24800	0.0	-
2.8421	24900	0.0	-
2.8536	25000	0.0	-
2.8650	25100	0.0	-
2.8764	25200	0.0	-
2.8878	25300	0.0	-
2.8992	25400	0.0	-
2.9106	25500	0.0	-
2.9220	25600	0.0	-
2.9335	25700	0.0	-
2.9449	25800	0.0	-
2.9563	25900	0.0	-
2.9677	26000	0.0	-
2.9791	26100	0.0	-
2.9905	26200	0.0	-
3.0	26283	-	0.7932
3.0019	26300	0.0	-
3.0134	26400	0.0	-
3.0248	26500	0.0	-
3.0362	26600	0.0	-
3.0476	26700	0.0	-
3.0590	26800	0.0	-
3.0704	26900	0.0	-
3.0818	27000	0.0	-
3.0933	27100	0.0	-
3.1047	27200	0.0	-
3.1161	27300	0.0	-
3.1275	27400	0.0	-
3.1389	27500	0.0	-
3.1503	27600	0.0	-
3.1617	27700	0.0	-
3.1732	27800	0.0	-
3.1846	27900	0.0	-
3.1960	28000	0.0	-
3.2074	28100	0.0	-
3.2188	28200	0.0	-
3.2302	28300	0.0	-
3.2416	28400	0.0	-
3.2531	28500	0.0	-
3.2645	28600	0.0	-
3.2759	28700	0.0	-
3.2873	28800	0.0	-
3.2987	28900	0.0	-
3.3101	29000	0.0	-
3.3215	29100	0.0	-
3.3330	29200	0.0	-
3.3444	29300	0.0	-
3.3558	29400	0.0	-
3.3672	29500	0.0	-
3.3786	29600	0.0	-
3.3900	29700	0.0	-
3.4014	29800	0.0	-
3.4129	29900	0.0	-
3.4243	30000	0.0	-
3.4357	30100	0.0	-
3.4471	30200	0.0	-
3.4585	30300	0.0	-
3.4699	30400	0.0	-
3.4813	30500	0.0	-
3.4928	30600	0.0	-
3.5042	30700	0.0	-
3.5156	30800	0.0	-
3.5270	30900	0.0	-
3.5384	31000	0.0	-
3.5498	31100	0.0	-
3.5612	31200	0.0	-
3.5727	31300	0.0	-
3.5841	31400	0.0	-
3.5955	31500	0.0	-
3.6069	31600	0.0	-
3.6183	31700	0.0	-
3.6297	31800	0.0	-
3.6411	31900	0.0	-
3.6526	32000	0.0	-
3.6640	32100	0.0	-
3.6754	32200	0.0	-
3.6868	32300	0.0	-
3.6982	32400	0.0	-
3.7096	32500	0.0	-
3.7210	32600	0.0	-
3.7325	32700	0.0	-
3.7439	32800	0.0	-
3.7553	32900	0.0	-
3.7667	33000	0.0	-
3.7781	33100	0.0	-
3.7895	33200	0.0	-
3.8009	33300	0.0	-
3.8124	33400	0.0	-
3.8238	33500	0.0	-
3.8352	33600	0.0	-
3.8466	33700	0.0	-
3.8580	33800	0.0	-
3.8694	33900	0.0	-
3.8808	34000	0.0	-
3.8922	34100	0.0	-
3.9037	34200	0.0	-
3.9151	34300	0.0	-
3.9265	34400	0.0	-
3.9379	34500	0.0	-
3.9493	34600	0.0	-
3.9607	34700	0.0	-
3.9721	34800	0.0	-
3.9836	34900	0.0	-
3.9950	35000	0.0	-
4.0	35044	-	0.7932
4.0064	35100	0.0	-
4.0178	35200	0.0	-
4.0292	35300	0.0	-
4.0406	35400	0.0	-
4.0520	35500	0.0	-
4.0635	35600	0.0	-
4.0749	35700	0.0	-
4.0863	35800	0.0	-
4.0977	35900	0.0	-
4.1091	36000	0.0	-
4.1205	36100	0.0	-
4.1319	36200	0.0	-
4.1434	36300	0.0	-
4.1548	36400	0.0	-
4.1662	36500	0.0	-
4.1776	36600	0.0	-
4.1890	36700	0.0	-
4.2004	36800	0.0	-
4.2118	36900	0.0	-
4.2233	37000	0.0	-
4.2347	37100	0.0	-
4.2461	37200	0.0	-
4.2575	37300	0.0	-
4.2689	37400	0.0	-
4.2803	37500	0.0	-
4.2917	37600	0.0	-
4.3032	37700	0.0	-
4.3146	37800	0.0	-
4.3260	37900	0.0	-
4.3374	38000	0.0	-
4.3488	38100	0.0	-
4.3602	38200	0.0	-
4.3716	38300	0.0	-
4.3831	38400	0.0	-
4.3945	38500	0.0	-
4.4059	38600	0.0	-
4.4173	38700	0.0	-
4.4287	38800	0.0	-
4.4401	38900	0.0	-
4.4515	39000	0.0	-
4.4630	39100	0.0	-
4.4744	39200	0.0	-
4.4858	39300	0.0	-
4.4972	39400	0.0	-
4.5086	39500	0.0	-
4.5200	39600	0.0	-
4.5314	39700	0.0	-
4.5429	39800	0.0	-
4.5543	39900	0.0	-
4.5657	40000	0.0	-
4.5771	40100	0.0	-
4.5885	40200	0.0	-
4.5999	40300	0.0	-
4.6113	40400	0.0	-
4.6228	40500	0.0	-
4.6342	40600	0.0	-
4.6456	40700	0.0	-
4.6570	40800	0.0	-
4.6684	40900	0.0	-
4.6798	41000	0.0	-
4.6912	41100	0.0	-
4.7027	41200	0.0	-
4.7141	41300	0.0	-
4.7255	41400	0.0	-
4.7369	41500	0.0	-
4.7483	41600	0.0	-
4.7597	41700	0.0	-
4.7711	41800	0.0	-
4.7826	41900	0.0	-
4.7940	42000	0.0	-
4.8054	42100	0.0	-
4.8168	42200	0.0	-
4.8282	42300	0.0	-
4.8396	42400	0.0	-
4.8510	42500	0.0	-
4.8625	42600	0.0	-
4.8739	42700	0.0	-
4.8853	42800	0.0	-
4.8967	42900	0.0	-
4.9081	43000	0.0	-
4.9195	43100	0.0	-
4.9309	43200	0.0	-
4.9424	43300	0.0	-
4.9538	43400	0.0	-
4.9652	43500	0.0	-
4.9766	43600	0.0	-
4.9880	43700	0.0	-
4.9994	43800	0.0	-
5.0	43805	-	0.7932

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.4.1
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}