comet24082002/ft_bge_newLaw_ContrastiveLoss_SimSCE_V1_5epochs

SentenceTransformer based on comet24082002/finetune_bge_simsce_V1

This is a sentence-transformers model finetuned from comet24082002/finetune_bge_simsce_V1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: comet24082002/finetune_bge_simsce_V1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_ContrastiveLoss_SimSCE_V1_5epochs")
# Run inference
sentences = [
    'Nhân viên khai thác mặt đất phục vụ chuyến bay được cấp Giấy phép nhân viên hàng không cần đáp ứng mấy điều kiện?',
    'Nhiệm vụ của Hội đồng sát hạch\n1. Xây dựng và ban hành quy chế hoạt động của Hội đồng sát hạch.\n2. Thành lập Tổ sát hạch theo từng lĩnh vực chuyên môn và trình độ tiếng Anh.\n3. Tổ chức xây dựng kế hoạch sát hạch, quy trình sát hạch, nội dung sát hạch, đề và đáp án sát hạch trình Cục trưởng Cục Hàng không Việt Nam ban hành.\n4. Tổ chức sát hạch và báo cáo Cục trưởng Cục Hàng không Việt Nam kết quả sát hạch để cấp giấy phép, năng định chuyên môn, chứng nhận trình độ tiếng Anh cho nhân viên hàng không.\n5. Chủ tịch Hội đồng sát hạch chịu trách nhiệm về việc lựa chọn sát hạch viên và kết quả sát hạch trước Cục trưởng Cục Hàng không Việt Nam.\n6. Tổ chức chấm phúc khảo (nếu có) đối với bài sát hạch trên giấy và thông báo kết quả cho người đề nghị phúc khảo.\n7. Lập Biên bản làm việc của Hội đồng sát hạch theo mẫu quy định tại Phụ lục 06 ban hành kèm theo Thông tư này.',
    '...\nIV. CHUẨN BỊ\n1. Người thực hiện: 04 người\n- Bác sỹ: 01\n- Kỹ thuật viên: 03\n2. Người bệnh:\n- Sau tai nạn sinh hoạt, tai nạn lao động…..\n- Có chẩn đoán gãy Dupuytren và có chỉ định điều trị bảo tồn.\n- Được giải thích kỹ mục đích của thủ thuật, quá trình tiến hành làm thủ thuật.\n- Được vệ sinh sạch sẽ, bộc lộ vùng cẳng chân bên bó bột.\n- Với người bệnh gây mê cần nhịn ăn uống 6 giờ.\n3. Phương tiện:\n- Thuốc gây mê tĩnh mạch hoặc gây tê tại chỗ\n- Máy C- ARM\n- Bơm, kim tiêm, bông băng, cồn, gạc\n- Bàn nắn.\n- Bột thạch cao: 4- 6 cuộn khổ 20cm (bột liền), 6- 8 cuộn khổ 20cm (bột tự cán).\n- Bông lót: 2-3 cuộn khổ 20cm.\n4. Thời gian thực hiện thủ thuật: 60- 80 phút.\nV. CÁC BƯỚC TIẾN HÀNH\n1. Tư thế:\nNgười bệnh nằm ngửa trên bàn chỉnh hình để được gây mê hoặc gây tê tại chỗ.\n2. Vô cảm:\n- Gây mê tĩnh mạch\n- Gây tê tại ổ gãy\n3. Kỹ thuật:\n- Sau gây mê, gây tê cho người bệnh nằm ngửa kê đệm gối dưới đùi. Cố định gối của người bệnh vào bàn chỉnh hình.\n- Kỹ thuật viên 1. Tay trái nắm bàn chân, tay phải đỡ dưới gót chân của người bệnh kéo thẳng trục 5-7 phút.\n- Kỹ thuật viên 2. Đứng vuông góc với KTV1 nắn đầu dưới xương chày ra ngoài. Đẩy mắt cá trong lên trên. Đưa bàn chân vẹo vào trong.\n- Kỹ thuật viên 3. Kiểm tra trên C- ARM và bó bột Cẳng bàn chân.\n...',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 21,048 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 7 tokens mean: 23.71 tokens max: 47 tokens	min: 31 tokens mean: 289.42 tokens max: 512 tokens	0: ~50.00% 1: ~50.00%

• Samples:

  sentence1	sentence2	label
  Người sử dụng lao động không thực hiện chế độ bồi dưỡng bằng hiện vật cho người lao động thì có bị xử phạt không?	"Điều 22. Vi phạm quy định về phòng ngừa tai nạn lao động, bệnh nghề nghiệp ... 8. Phạt tiền đối với người sử dụng lao động có một trong các hành vi: Không trang cấp hoặc trang cấp không đầy đủ phương tiện bảo vệ cá nhân hoặc có trang cấp nhưng không đạt chất lượng theo quy định; không thực hiện chế độ bồi dưỡng bằng hiện vật hoặc bồi dưỡng bằng hiện vật thấp hơn mức theo quy định; trả tiền thay cho bồi dưỡng bằng hiện vật cho người lao động làm việc trong điều kiện có yếu tố nguy hiểm, yếu tố có hại theo một trong các mức sau đây: a) Từ 3.000.000 đồng đến 6.000.000 đồng đối với vi phạm từ 01 người đến 10 người lao động; b) Từ 6.000.000 đồng đến 10.000.000 đồng đối với vi phạm từ 11 người đến 50 người lao động; c) Từ 10.000.000 đồng đến 15.000.000 đồng đối với vi phạm từ 51 người đến 100 người lao động; d) Từ 15.000.000 đồng đến 20.000.000 đồng đối với vi phạm từ 101 người đến 300 người lao động; đ) Từ 20.000.000 đồng đến 30.000.000 đồng đối với hành vi vi phạm từ 301 người lao động trở lên. ... 11. Biện pháp khắc phục hậu quả Buộc người sử dụng lao động trả cho người lao động khoản bồi dưỡng bằng hiện vật được quy thành tiền theo đúng mức quy định đối với hành vi không thực hiện chế độ bồi dưỡng bằng hiện vật hoặc bồi dưỡng bằng hiện vật thấp hơn mức theo quy định cho người lao động làm việc trong điều kiện có yếu tố nguy hiểm, độc hại quy định tại khoản 8 Điều này."	1
  Người sử dụng lao động không thực hiện chế độ bồi dưỡng bằng hiện vật cho người lao động thì có bị xử phạt không?	"Điều 2. Đối tượng áp dụng 1. Người lao động là công dân nước ngoài làm việc tại Việt Nam thuộc đối tượng tham gia bảo hiểm xã hội bắt buộc khi có giấy phép lao động hoặc chứng chỉ hành nghề hoặc giấy phép hành nghề do cơ quan có thẩm quyền của Việt Nam cấp và có hợp đồng lao động không xác định thời hạn, hợp đồng lao động xác định thời hạn từ đủ 01 năm trở lên với người sử dụng lao động tại Việt Nam. 2. Người lao động quy định tại khoản 1 Điều này không thuộc đối tượng tham gia bảo hiểm xã hội bắt buộc theo quy định tại Nghị định này khi thuộc một trong các trường hợp sau: a) Di chuyển trong nội bộ doanh nghiệp theo quy định tại khoản 1 Điều 3 của Nghị định số 11/2016/NĐ-CP ngày 03 tháng 02 năm 2016 của Chính phủ quy định chi tiết thi hành một số điều của Bộ luật Lao động về lao động nước ngoài làm việc tại Việt Nam; b) Người lao động đã đủ tuổi nghỉ hưu theo quy định tại khoản 1 Điều 187 của Bộ luật Lao động. 3. Người sử dụng lao động tham gia bảo hiểm xã hội bắt buộc bao gồm cơ quan nhà nước, đơn vị sự nghiệp, tổ chức chính trị, tổ chức chính trị - xã hội, tổ chức chính trị xã hội - nghề nghiệp, tổ chức xã hội - nghề nghiệp, tổ chức xã hội khác; cơ quan, tổ chức nước ngoài, tổ chức quốc tế hoạt động trên lãnh thổ Việt Nam; doanh nghiệp, hợp tác xã, hộ kinh doanh cá thể, tổ hợp tác, tổ chức khác và cá nhân được phép hoạt động kinh doanh theo quy định của pháp luật có thuê mướn, sử dụng lao động theo hợp đồng lao động. 4. Cơ quan, tổ chức và cá nhân có liên quan đến bảo hiểm xã hội bắt buộc đối với người lao động là công dân nước ngoài."	0
  Thời điểm nào được ra quyết định nghỉ hưu cho người lao động?	"Điều 59. Thời điểm hưởng lương hưu 1. Đối với người lao động đang đóng bảo hiểm xã hội bắt buộc quy định tại các điểm a, b, c, d, đ, e và i khoản 1 Điều 2 của Luật này, thời điểm hưởng lương hưu là thời điểm ghi trong quyết định nghỉ việc do người sử dụng lao động lập khi người lao động đã đủ điều kiện hưởng lương hưu theo quy định của pháp luật. 2. Đối với người lao động đang đóng bảo hiểm xã hội bắt buộc quy định tại điểm h khoản 1 Điều 2 của Luật này, thời điểm hưởng lương hưu được tính từ tháng liền kề khi người lao động đủ điều kiện hưởng lương hưu và có văn bản đề nghị gửi cho cơ quan bảo hiểm xã hội. 3. Đối với người lao động quy định tại điểm g khoản 1 Điều 2 của Luật này và người đang bảo lưu thời gian đóng bảo hiểm xã hội, thời điểm hưởng lương hưu là thời điểm ghi trong văn bản đề nghị của người lao động đã đủ điều kiện hưởng lương hưu theo quy định. 4. Bộ trưởng Bộ Lao động - Thương binh và Xã hội quy định chi tiết về thời điểm hưởng lương hưu đối với người lao động quy định tại khoản 1 Điều 2 của Luật này."	1

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0095	50	0.1061
0.0190	100	0.1025
0.0285	150	0.0815
0.0380	200	0.0336
0.0475	250	0.0238
0.0570	300	0.0232
0.0665	350	0.0207
0.0760	400	0.0195
0.0855	450	0.0203
0.0950	500	0.0196
0.1045	550	0.0178
0.1140	600	0.0164
0.1235	650	0.0178
0.1330	700	0.0177
0.1425	750	0.018
0.1520	800	0.0146
0.1615	850	0.0134
0.1710	900	0.0146
0.1805	950	0.0162
0.1900	1000	0.0151
0.1995	1050	0.0154
0.2090	1100	0.0137
0.2185	1150	0.012
0.2281	1200	0.0166
0.2376	1250	0.0142
0.2471	1300	0.0143
0.2566	1350	0.0137
0.2661	1400	0.0136
0.2756	1450	0.0173
0.2851	1500	0.0138
0.2946	1550	0.0155
0.3041	1600	0.0149
0.3136	1650	0.0146
0.3231	1700	0.0132
0.3326	1750	0.0142
0.3421	1800	0.0126
0.3516	1850	0.0139
0.3611	1900	0.0136
0.3706	1950	0.0117
0.3801	2000	0.0129
0.3896	2050	0.0131
0.3991	2100	0.0128
0.4086	2150	0.0136
0.4181	2200	0.0138
0.4276	2250	0.0159
0.4371	2300	0.0139
0.4466	2350	0.0124
0.4561	2400	0.0132
0.4656	2450	0.0159
0.4751	2500	0.0148
0.4846	2550	0.0115
0.4941	2600	0.0114
0.5036	2650	0.0151
0.5131	2700	0.0132
0.5226	2750	0.0122
0.5321	2800	0.0139
0.5416	2850	0.0117
0.5511	2900	0.0124
0.5606	2950	0.0114
0.5701	3000	0.0108
0.5796	3050	0.0129
0.5891	3100	0.0141
0.5986	3150	0.0107
0.6081	3200	0.0154
0.6176	3250	0.0121
0.6271	3300	0.0135
0.6366	3350	0.0124
0.6461	3400	0.012
0.6556	3450	0.0145
0.6651	3500	0.0124
0.6746	3550	0.0116
0.6842	3600	0.0117
0.6937	3650	0.013
0.7032	3700	0.0128
0.7127	3750	0.0122
0.7222	3800	0.0136
0.7317	3850	0.0134
0.7412	3900	0.0119
0.7507	3950	0.0131
0.7602	4000	0.0111
0.7697	4050	0.0138
0.7792	4100	0.0121
0.7887	4150	0.0112
0.7982	4200	0.0126
0.8077	4250	0.0109
0.8172	4300	0.0124
0.8267	4350	0.0115
0.8362	4400	0.0111
0.8457	4450	0.0123
0.8552	4500	0.0126
0.8647	4550	0.0125
0.8742	4600	0.0132
0.8837	4650	0.0121
0.8932	4700	0.0115
0.9027	4750	0.012
0.9122	4800	0.0127
0.9217	4850	0.0108
0.9312	4900	0.0126
0.9407	4950	0.0123
0.9502	5000	0.0147
0.9597	5050	0.0124
0.9692	5100	0.0138
0.9787	5150	0.0143
0.9882	5200	0.011
0.9977	5250	0.0116
1.0072	5300	0.01
1.0167	5350	0.0094
1.0262	5400	0.0102
1.0357	5450	0.0087
1.0452	5500	0.0101
1.0547	5550	0.0088
1.0642	5600	0.0084
1.0737	5650	0.0092
1.0832	5700	0.0066
1.0927	5750	0.0095
1.1022	5800	0.0086
1.1117	5850	0.0092
1.1212	5900	0.0079
1.1307	5950	0.0078
1.1403	6000	0.0097
1.1498	6050	0.0095
1.1593	6100	0.0085
1.1688	6150	0.009
1.1783	6200	0.0082
1.1878	6250	0.0102
1.1973	6300	0.0084
1.2068	6350	0.0095
1.2163	6400	0.0101
1.2258	6450	0.0076
1.2353	6500	0.0085
1.2448	6550	0.0075
1.2543	6600	0.008
1.2638	6650	0.0091
1.2733	6700	0.009
1.2828	6750	0.0089
1.2923	6800	0.009
1.3018	6850	0.0086
1.3113	6900	0.0076
1.3208	6950	0.0087
1.3303	7000	0.0093
1.3398	7050	0.0092
1.3493	7100	0.009
1.3588	7150	0.0079
1.3683	7200	0.0083
1.3778	7250	0.0092
1.3873	7300	0.0104
1.3968	7350	0.01
1.4063	7400	0.0078
1.4158	7450	0.0076
1.4253	7500	0.0077
1.4348	7550	0.0087
1.4443	7600	0.0074
1.4538	7650	0.0085
1.4633	7700	0.0094
1.4728	7750	0.0092
1.4823	7800	0.008
1.4918	7850	0.0085
1.5013	7900	0.0107
1.5108	7950	0.0096
1.5203	8000	0.0074
1.5298	8050	0.0092
1.5393	8100	0.0086
1.5488	8150	0.0084
1.5583	8200	0.0071
1.5678	8250	0.0063
1.5773	8300	0.0086
1.5868	8350	0.0091
1.5964	8400	0.0094
1.6059	8450	0.0087
1.6154	8500	0.0091
1.6249	8550	0.0109
1.6344	8600	0.0098
1.6439	8650	0.0088
1.6534	8700	0.0101
1.6629	8750	0.0111
1.6724	8800	0.0092
1.6819	8850	0.0077
1.6914	8900	0.0072
1.7009	8950	0.0098
1.7104	9000	0.0085
1.7199	9050	0.007
1.7294	9100	0.0091
1.7389	9150	0.008
1.7484	9200	0.0073
1.7579	9250	0.0078
1.7674	9300	0.0084
1.7769	9350	0.0095
1.7864	9400	0.0077
1.7959	9450	0.0077
1.8054	9500	0.0102
1.8149	9550	0.0084
1.8244	9600	0.0076
1.8339	9650	0.0074
1.8434	9700	0.0088
1.8529	9750	0.0081
1.8624	9800	0.0075
1.8719	9850	0.0105
1.8814	9900	0.008
1.8909	9950	0.0081
1.9004	10000	0.0091
1.9099	10050	0.0086
1.9194	10100	0.0069
1.9289	10150	0.0094
1.9384	10200	0.0102
1.9479	10250	0.0094
1.9574	10300	0.0097
1.9669	10350	0.0085
1.9764	10400	0.0097
1.9859	10450	0.0076
1.9954	10500	0.0088
2.0049	10550	0.006
2.0144	10600	0.0053
2.0239	10650	0.0049
2.0334	10700	0.0057
2.0429	10750	0.0044
2.0525	10800	0.0042
2.0620	10850	0.0041
2.0715	10900	0.0044
2.0810	10950	0.0051
2.0905	11000	0.0063
2.1000	11050	0.0052
2.1095	11100	0.0046
2.1190	11150	0.0045
2.1285	11200	0.0042
2.1380	11250	0.0067
2.1475	11300	0.0052
2.1570	11350	0.0055
2.1665	11400	0.0045
2.1760	11450	0.0055
2.1855	11500	0.0047
2.1950	11550	0.0047
2.2045	11600	0.0048
2.2140	11650	0.005
2.2235	11700	0.0048
2.2330	11750	0.0053
2.2425	11800	0.0054
2.2520	11850	0.0035
2.2615	11900	0.0063
2.2710	11950	0.0056
2.2805	12000	0.0049
2.2900	12050	0.0048
2.2995	12100	0.0051
2.3090	12150	0.0064
2.3185	12200	0.0048
2.3280	12250	0.0053
2.3375	12300	0.0037
2.3470	12350	0.0047
2.3565	12400	0.0049
2.3660	12450	0.0056
2.3755	12500	0.0041
2.3850	12550	0.005
2.3945	12600	0.006
2.4040	12650	0.0054
2.4135	12700	0.0057
2.4230	12750	0.0045
2.4325	12800	0.0048
2.4420	12850	0.0048
2.4515	12900	0.0056
2.4610	12950	0.0048
2.4705	13000	0.0048
2.4800	13050	0.0054
2.4895	13100	0.0044
2.4990	13150	0.0053
2.5086	13200	0.0052
2.5181	13250	0.0051
2.5276	13300	0.0057
2.5371	13350	0.0042
2.5466	13400	0.0057
2.5561	13450	0.0062
2.5656	13500	0.0064
2.5751	13550	0.005
2.5846	13600	0.0049
2.5941	13650	0.005
2.6036	13700	0.0058
2.6131	13750	0.0052
2.6226	13800	0.0048
2.6321	13850	0.0041
2.6416	13900	0.0058
2.6511	13950	0.0053
2.6606	14000	0.0056
2.6701	14050	0.0057
2.6796	14100	0.0061
2.6891	14150	0.0049
2.6986	14200	0.0054
2.7081	14250	0.0043
2.7176	14300	0.005
2.7271	14350	0.0049
2.7366	14400	0.006
2.7461	14450	0.0056
2.7556	14500	0.0057
2.7651	14550	0.0061
2.7746	14600	0.0052
2.7841	14650	0.0054
2.7936	14700	0.0054
2.8031	14750	0.0038
2.8126	14800	0.005
2.8221	14850	0.0045
2.8316	14900	0.0055
2.8411	14950	0.0043
2.8506	15000	0.005
2.8601	15050	0.006
2.8696	15100	0.0058
2.8791	15150	0.0047
2.8886	15200	0.0045
2.8981	15250	0.0039
2.9076	15300	0.0054
2.9171	15350	0.0059
2.9266	15400	0.0052
2.9361	15450	0.0055
2.9456	15500	0.0058
2.9552	15550	0.0058
2.9647	15600	0.0061
2.9742	15650	0.005
2.9837	15700	0.0054
2.9932	15750	0.0057
3.0027	15800	0.0048
3.0122	15850	0.0032
3.0217	15900	0.0021
3.0312	15950	0.0022
3.0407	16000	0.0031
3.0502	16050	0.0021
3.0597	16100	0.0022
3.0692	16150	0.0033
3.0787	16200	0.0026
3.0882	16250	0.0025
3.0977	16300	0.0035
3.1072	16350	0.0028
3.1167	16400	0.0026
3.1262	16450	0.0022
3.1357	16500	0.0027
3.1452	16550	0.0029
3.1547	16600	0.0023
3.1642	16650	0.0029
3.1737	16700	0.0033
3.1832	16750	0.0027
3.1927	16800	0.0024
3.2022	16850	0.003
3.2117	16900	0.0029
3.2212	16950	0.003
3.2307	17000	0.0025
3.2402	17050	0.0037
3.2497	17100	0.003
3.2592	17150	0.0032
3.2687	17200	0.0031
3.2782	17250	0.0026
3.2877	17300	0.0038
3.2972	17350	0.0033
3.3067	17400	0.004
3.3162	17450	0.0027
3.3257	17500	0.0032
3.3352	17550	0.0032
3.3447	17600	0.0037
3.3542	17650	0.0026
3.3637	17700	0.003
3.3732	17750	0.0022
3.3827	17800	0.0031
3.3922	17850	0.0023
3.4017	17900	0.0033
3.4113	17950	0.0028
3.4208	18000	0.0029
3.4303	18050	0.0026
3.4398	18100	0.0032
3.4493	18150	0.003
3.4588	18200	0.0031
3.4683	18250	0.0036
3.4778	18300	0.0027
3.4873	18350	0.0026
3.4968	18400	0.0026
3.5063	18450	0.0023
3.5158	18500	0.0031
3.5253	18550	0.004
3.5348	18600	0.0026
3.5443	18650	0.0043
3.5538	18700	0.0031
3.5633	18750	0.0039
3.5728	18800	0.0029
3.5823	18850	0.0033
3.5918	18900	0.0035
3.6013	18950	0.003
3.6108	19000	0.0029
3.6203	19050	0.0027
3.6298	19100	0.0025
3.6393	19150	0.0028
3.6488	19200	0.0034
3.6583	19250	0.0029
3.6678	19300	0.0038
3.6773	19350	0.0035
3.6868	19400	0.003
3.6963	19450	0.0029
3.7058	19500	0.0035
3.7153	19550	0.0025
3.7248	19600	0.0028
3.7343	19650	0.0027
3.7438	19700	0.0039
3.7533	19750	0.0037
3.7628	19800	0.0034
3.7723	19850	0.0034
3.7818	19900	0.0028
3.7913	19950	0.003
3.8008	20000	0.0028
3.8103	20050	0.0025
3.8198	20100	0.0021
3.8293	20150	0.0034
3.8388	20200	0.0038
3.8483	20250	0.0024
3.8578	20300	0.0035
3.8674	20350	0.0034
3.8769	20400	0.0029
3.8864	20450	0.0035
3.8959	20500	0.0025
3.9054	20550	0.0027
3.9149	20600	0.0031
3.9244	20650	0.0038
3.9339	20700	0.0036
3.9434	20750	0.0023
3.9529	20800	0.0027
3.9624	20850	0.0035
3.9719	20900	0.0022
3.9814	20950	0.0029
3.9909	21000	0.0025
4.0004	21050	0.0026
4.0099	21100	0.0017
4.0194	21150	0.002
4.0289	21200	0.0015
4.0384	21250	0.0018
4.0479	21300	0.0015
4.0574	21350	0.0019
4.0669	21400	0.0013
4.0764	21450	0.0015
4.0859	21500	0.0014
4.0954	21550	0.0014
4.1049	21600	0.0017
4.1144	21650	0.0013
4.1239	21700	0.0019
4.1334	21750	0.0018
4.1429	21800	0.001
4.1524	21850	0.0017
4.1619	21900	0.0018
4.1714	21950	0.0016
4.1809	22000	0.0019
4.1904	22050	0.0013
4.1999	22100	0.0014
4.2094	22150	0.0016
4.2189	22200	0.0021
4.2284	22250	0.0014
4.2379	22300	0.0011
4.2474	22350	0.0018
4.2569	22400	0.0017
4.2664	22450	0.0016
4.2759	22500	0.0014
4.2854	22550	0.0016
4.2949	22600	0.0021
4.3044	22650	0.0016
4.3139	22700	0.0016
4.3235	22750	0.0013
4.3330	22800	0.0015
4.3425	22850	0.0015
4.3520	22900	0.0019
4.3615	22950	0.0021
4.3710	23000	0.0019
4.3805	23050	0.0015
4.3900	23100	0.0015
4.3995	23150	0.0016
4.4090	23200	0.0021
4.4185	23250	0.0017
4.4280	23300	0.0014
4.4375	23350	0.0021
4.4470	23400	0.0015
4.4565	23450	0.0032
4.4660	23500	0.0016
4.4755	23550	0.0013
4.4850	23600	0.002
4.4945	23650	0.0019
4.5040	23700	0.0018
4.5135	23750	0.0018
4.5230	23800	0.0018
4.5325	23850	0.0015
4.5420	23900	0.0018
4.5515	23950	0.0018
4.5610	24000	0.0014
4.5705	24050	0.0015
4.5800	24100	0.0023
4.5895	24150	0.0021
4.5990	24200	0.002
4.6085	24250	0.0017
4.6180	24300	0.0023
4.6275	24350	0.0017
4.6370	24400	0.0012
4.6465	24450	0.0014
4.6560	24500	0.0014
4.6655	24550	0.0015
4.6750	24600	0.0012
4.6845	24650	0.0014
4.6940	24700	0.0014
4.7035	24750	0.0019
4.7130	24800	0.0021
4.7225	24850	0.0022
4.7320	24900	0.0013
4.7415	24950	0.002
4.7510	25000	0.0016
4.7605	25050	0.002
4.7700	25100	0.0013
4.7796	25150	0.0013
4.7891	25200	0.0015
4.7986	25250	0.0011
4.8081	25300	0.0017
4.8176	25350	0.002
4.8271	25400	0.0017
4.8366	25450	0.0013
4.8461	25500	0.0023
4.8556	25550	0.0018
4.8651	25600	0.0021
4.8746	25650	0.0017
4.8841	25700	0.0015
4.8936	25750	0.0015
4.9031	25800	0.0013
4.9126	25850	0.0016
4.9221	25900	0.0017
4.9316	25950	0.0012
4.9411	26000	0.0018
4.9506	26050	0.0013
4.9601	26100	0.0019
4.9696	26150	0.0017
4.9791	26200	0.0019
4.9886	26250	0.0019
4.9981	26300	0.0019

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.1.2
• Accelerate: 0.30.1
• Datasets: 2.19.2
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}