README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:21620
  - loss:MultipleNegativesRankingLoss
base_model: meandyou200175/E5_v3_instruct_topic
widget:
  - source_sentence: 'task: classification | query: hope'
    sentences:
      - Khác
      - Lễ hội
      - Khác
  - source_sentence: 'task: classification | query: Empire State Aerial View'
    sentences:
      - Khác
      - Du lịch Việt Nam|Danh lam thắng cảnh
      - Danh lam thắng cảnh|Du lịch quốc tế
  - source_sentence: >-
      task: classification | query: Tập 8: Chuyện li kì của Huế : Chùa Từ Hiếu -
      P2. Tại sao người dân không dám ăn cá? Tại sao chưa ai thấy chiếc hồ này
      cạn?
    sentences:
      - Lịch sử|Du lịch Việt Nam
      - Tôn giáo
      - Khác
  - source_sentence: >-
      task: classification | query: Nội dung của xương chậu nữ Hiển thị các cơ
      quan chính của xương chậu nữ
    sentences:
      - sách
      - Danh lam thắng cảnh|Du lịch Việt Nam
      - Y tế
  - source_sentence: >-
      task: classification | query: Học lịch sử cười đau bụng, vừa vui vừa dễ
      nhớ!
    sentences:
      - Lịch sử
      - Thủ công mỹ nghệ
      - Âm nhạc
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@2
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_accuracy@100
  - cosine_precision@1
  - cosine_precision@2
  - cosine_precision@5
  - cosine_precision@10
  - cosine_precision@100
  - cosine_recall@1
  - cosine_recall@2
  - cosine_recall@5
  - cosine_recall@10
  - cosine_recall@100
  - cosine_ndcg@10
  - cosine_mrr@1
  - cosine_mrr@2
  - cosine_mrr@5
  - cosine_mrr@10
  - cosine_mrr@100
  - cosine_map@100
model-index:
  - name: SentenceTransformer based on meandyou200175/E5_v3_instruct_topic
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: Unknown
          type: unknown
        metrics:
          - type: cosine_accuracy@1
            value: 0.0328755722014149
            name: Cosine Accuracy@1
          - type: cosine_accuracy@2
            value: 0.06325426550145652
            name: Cosine Accuracy@2
          - type: cosine_accuracy@5
            value: 0.14024136496046608
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.23928422804827298
            name: Cosine Accuracy@10
          - type: cosine_accuracy@100
            value: 0.7719517270079068
            name: Cosine Accuracy@100
          - type: cosine_precision@1
            value: 0.0328755722014149
            name: Cosine Precision@1
          - type: cosine_precision@2
            value: 0.03162713275072826
            name: Cosine Precision@2
          - type: cosine_precision@5
            value: 0.02804827299209322
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.0239284228048273
            name: Cosine Precision@10
          - type: cosine_precision@100
            value: 0.007719517270079068
            name: Cosine Precision@100
          - type: cosine_recall@1
            value: 0.0328755722014149
            name: Cosine Recall@1
          - type: cosine_recall@2
            value: 0.06325426550145652
            name: Cosine Recall@2
          - type: cosine_recall@5
            value: 0.14024136496046608
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.23928422804827298
            name: Cosine Recall@10
          - type: cosine_recall@100
            value: 0.7719517270079068
            name: Cosine Recall@100
          - type: cosine_ndcg@10
            value: 0.11846399039841277
            name: Cosine Ndcg@10
          - type: cosine_mrr@1
            value: 0.0328755722014149
            name: Cosine Mrr@1
          - type: cosine_mrr@2
            value: 0.048064918851435705
            name: Cosine Mrr@2
          - type: cosine_mrr@5
            value: 0.06906644472187543
            name: Cosine Mrr@5
          - type: cosine_mrr@10
            value: 0.08210801313173335
            name: Cosine Mrr@10
          - type: cosine_mrr@100
            value: 0.10204118490728512
            name: Cosine Mrr@100
          - type: cosine_map@100
            value: 0.10204118490728524
            name: Cosine Map@100

SentenceTransformer based on meandyou200175/E5_v3_instruct_topic

This is a sentence-transformers model finetuned from meandyou200175/E5_v3_instruct_topic. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: meandyou200175/E5_v3_instruct_topic
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/E5_v4_instruct_topic_continue")
# Run inference
sentences = [
    'task: classification | query: Học lịch sử cười đau bụng, vừa vui vừa dễ nhớ!',
    'Lịch sử',
    'Âm nhạc',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.7909, -0.1353],
#         [ 0.7909,  1.0000, -0.0556],
#         [-0.1353, -0.0556,  1.0000]])

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0329
cosine_accuracy@2	0.0633
cosine_accuracy@5	0.1402
cosine_accuracy@10	0.2393
cosine_accuracy@100	0.772
cosine_precision@1	0.0329
cosine_precision@2	0.0316
cosine_precision@5	0.028
cosine_precision@10	0.0239
cosine_precision@100	0.0077
cosine_recall@1	0.0329
cosine_recall@2	0.0633
cosine_recall@5	0.1402
cosine_recall@10	0.2393
cosine_recall@100	0.772
cosine_ndcg@10	0.1185
cosine_mrr@1	0.0329
cosine_mrr@2	0.0481
cosine_mrr@5	0.0691
cosine_mrr@10	0.0821
cosine_mrr@100	0.102
cosine_map@100	0.102

Training Details

Training Dataset

Unnamed Dataset

• Size: 21,620 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 49.27 tokens max: 389 tokens	min: 3 tokens mean: 7.09 tokens max: 21 tokens

• Samples:

  anchor	positive
  task: classification | query: Phở tái lăn bí truyền	Ẩm thực địa phương
  task: classification | query: 100 ngày thay đổi tư duy với DAS - Bí Mật Học Viện Số - Ngày 19	Khám phá kiến thức|Học tập - Kỹ năng
  task: classification | query: Vacation Houses Nguồn: tourswaparks	Du lịch nghỉ dưỡng

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 2,403 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 45.45 tokens max: 267 tokens	min: 3 tokens mean: 7.08 tokens max: 21 tokens

• Samples:

  anchor	positive
  task: classification | query: Yoolife Nền tảng số mang thực phẩm sạch từ Nông Trại đến tận mâm cơm gia đình Việt Làm người nông dân sao mà khổ thế!! lam lũ quoanh năm, thiên tai hạn hán dịch bệnh hoành hành, được mùa thì mất giá được giá thì mất mùa. Thấu hiểu được những khó khăn của các chủ nông trại, Yoolife đã trở thành cầu nối tiêu thụ nông sản sạch, an toàn trên không gian mạng. Thông qua siêu ứng dụng Yooseller, bạn có thể: • Mang thực phẩm sạch đến người dùng, không qua trung gian • Sản phẩm kiểm định chặt chẽ, đạt tiêu chuẩn VietGAP • Tiếp cận hơn 1 triệu người dùng trên nền tảng • Miễn phí cho các nhà cung cấp dịch vụ YooSeller cầu nối giữa các trang trại với người tiêu dùng. Hãy tải ngay siêu ứng dụng để đưa thực phẩm sạch đến gần với người dùng nhé! ---------------------------------	Chuyển đổi số|Công nghệ thông tin - Viễn thông
  task: classification | query: Nhà máy Sunhouse Sunhouse có tên đầy đủ là Công ty Cổ phần Tập đoàn Sunhouse, tiền thân là Công ty TNHH Phú Thắng. Đây là doanh nghiệp chuyên sản xuất và kinh doanh các thiết bị gia dụng. Công ty chính thức được thành lập vào ngày 22 5 2000. Đến năm 2004, Sunhouse liên doanh với công ty TNHH Sunhouse Hàn Quốc, thành lập nên Công ty TNHH Sunhouse Việt Nam. Sau 19 năm hình thành và phát triển, Sunhouse đã gia nhập vào nhóm những doanh nghiệp nghìn tỷ, với 7 công ty thành viên và 6 cụm nhà máy, tổng diện tích hơn 60 ha. Tổng số cán bộ nhân viên làm việc tại tập đoàn lên đến hơn 2.000 người. Sunhouse được đánh giá là cánh chim đầu đàn của ngành gia dụng Việt Nam. Không chỉ nổi tiếng trong lãnh thổ Việt Nam mà các sản phẩm mang thương hiệu này đã vươn tầm quốc tế. Hiện nay, doanh nghiệp có mạng lưới 50.000 điểm bá	Doanh nghiệp> Thông tin doanh nghiệp
  task: classification | query: Chào các bạn! Hôm nay, mình sẽ chia sẻ những mẹo và kiến thức cực kỳ hữu ích để bạn tự tin hơn khi thi bằng lái xe! P33	Đời sống> Xe

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_ndcg@10
0.0185	100	2.469	-	-
0.0370	200	1.3544	-	-
0.0555	300	0.6754	-	-
0.0740	400	0.6252	-	-
0.0925	500	0.4433	-	-
0.1110	600	0.5628	-	-
0.1295	700	0.3955	-	-
0.1480	800	0.4755	-	-
0.1665	900	0.3112	-	-
0.1850	1000	0.3946	0.3953	0.0805
0.2035	1100	0.3676	-	-
0.2220	1200	0.3984	-	-
0.2405	1300	0.3767	-	-
0.2590	1400	0.3796	-	-
0.2775	1500	0.3332	-	-
0.2960	1600	0.4419	-	-
0.3145	1700	0.4107	-	-
0.3330	1800	0.3513	-	-
0.3515	1900	0.3502	-	-
0.3700	2000	0.4331	0.3697	0.0884
0.3885	2100	0.5259	-	-
0.4070	2200	0.4406	-	-
0.4255	2300	0.4705	-	-
0.4440	2400	0.3596	-	-
0.4625	2500	0.2859	-	-
0.4810	2600	0.3895	-	-
0.4995	2700	0.4653	-	-
0.5180	2800	0.3776	-	-
0.5365	2900	0.4929	-	-
0.5550	3000	0.31	0.4504	0.0847
0.5735	3100	0.3791	-	-
0.5920	3200	0.3522	-	-
0.6105	3300	0.3995	-	-
0.6290	3400	0.3699	-	-
0.6475	3500	0.3751	-	-
0.6660	3600	0.3472	-	-
0.6846	3700	0.3968	-	-
0.7031	3800	0.4328	-	-
0.7216	3900	0.4753	-	-
0.7401	4000	0.3527	0.3451	0.0974
0.7586	4100	0.506	-	-
0.7771	4200	0.4896	-	-
0.7956	4300	0.4368	-	-
0.8141	4400	0.373	-	-
0.8326	4500	0.3498	-	-
0.8511	4600	0.3926	-	-
0.8696	4700	0.3924	-	-
0.8881	4800	0.4206	-	-
0.9066	4900	0.4101	-	-
0.9251	5000	0.4193	0.3383	0.0910
0.9436	5100	0.3777	-	-
0.9621	5200	0.3059	-	-
0.9806	5300	0.4198	-	-
0.9991	5400	0.2563	-	-
1.0176	5500	0.225	-	-
1.0361	5600	0.3237	-	-
1.0546	5700	0.2978	-	-
1.0731	5800	0.3044	-	-
1.0916	5900	0.2087	-	-
1.1101	6000	0.2689	0.3643	0.0988
1.1286	6100	0.3699	-	-
1.1471	6200	0.2942	-	-
1.1656	6300	0.2929	-	-
1.1841	6400	0.3152	-	-
1.2026	6500	0.3352	-	-
1.2211	6600	0.3146	-	-
1.2396	6700	0.3873	-	-
1.2581	6800	0.258	-	-
1.2766	6900	0.1435	-	-
1.2951	7000	0.2508	0.3768	0.0966
1.3136	7100	0.2884	-	-
1.3321	7200	0.2962	-	-
1.3506	7300	0.1903	-	-
1.3691	7400	0.2946	-	-
1.3876	7500	0.2658	-	-
1.4061	7600	0.2052	-	-
1.4246	7700	0.3019	-	-
1.4431	7800	0.3147	-	-
1.4616	7900	0.4272	-	-
1.4801	8000	0.2707	0.3430	0.1000
1.4986	8100	0.3127	-	-
1.5171	8200	0.2775	-	-
1.5356	8300	0.2783	-	-
1.5541	8400	0.3092	-	-
1.5726	8500	0.35	-	-
1.5911	8600	0.3076	-	-
1.6096	8700	0.2935	-	-
1.6281	8800	0.3629	-	-
1.6466	8900	0.2885	-	-
1.6651	9000	0.3249	0.3294	0.0997
1.6836	9100	0.2983	-	-
1.7021	9200	0.3599	-	-
1.7206	9300	0.2341	-	-
1.7391	9400	0.4031	-	-
1.7576	9500	0.3911	-	-
1.7761	9600	0.3025	-	-
1.7946	9700	0.2315	-	-
1.8131	9800	0.2946	-	-
1.8316	9900	0.2679	-	-
1.8501	10000	0.3445	0.3247	0.1015
1.8686	10100	0.2243	-	-
1.8871	10200	0.3345	-	-
1.9056	10300	0.2642	-	-
1.9241	10400	0.2012	-	-
1.9426	10500	0.211	-	-
1.9611	10600	0.2834	-	-
1.9796	10700	0.2376	-	-
1.9981	10800	0.2351	-	-
2.0167	10900	0.1985	-	-
2.0352	11000	0.2464	0.3235	0.1079
2.0537	11100	0.2602	-	-
2.0722	11200	0.176	-	-
2.0907	11300	0.2486	-	-
2.1092	11400	0.2541	-	-
2.1277	11500	0.1925	-	-
2.1462	11600	0.2509	-	-
2.1647	11700	0.1799	-	-
2.1832	11800	0.219	-	-
2.2017	11900	0.2076	-	-
2.2202	12000	0.2285	0.3028	0.1061
2.2387	12100	0.1823	-	-
2.2572	12200	0.1999	-	-
2.2757	12300	0.1392	-	-
2.2942	12400	0.2552	-	-
2.3127	12500	0.2481	-	-
2.3312	12600	0.2164	-	-
2.3497	12700	0.2157	-	-
2.3682	12800	0.1425	-	-
2.3867	12900	0.0909	-	-
2.4052	13000	0.2931	0.3439	0.1011
2.4237	13100	0.2031	-	-
2.4422	13200	0.0993	-	-
2.4607	13300	0.1865	-	-
2.4792	13400	0.208	-	-
2.4977	13500	0.2853	-	-
2.5162	13600	0.1936	-	-
2.5347	13700	0.1752	-	-
2.5532	13800	0.2559	-	-
2.5717	13900	0.2441	-	-
2.5902	14000	0.2715	0.2953	0.1098
2.6087	14100	0.196	-	-
2.6272	14200	0.2194	-	-
2.6457	14300	0.2381	-	-
2.6642	14400	0.2637	-	-
2.6827	14500	0.1453	-	-
2.7012	14600	0.2422	-	-
2.7197	14700	0.2159	-	-
2.7382	14800	0.2205	-	-
2.7567	14900	0.1853	-	-
2.7752	15000	0.2028	0.2925	0.1072
2.7937	15100	0.2016	-	-
2.8122	15200	0.155	-	-
2.8307	15300	0.1925	-	-
2.8492	15400	0.2408	-	-
2.8677	15500	0.1464	-	-
2.8862	15600	0.2035	-	-
2.9047	15700	0.1883	-	-
2.9232	15800	0.1747	-	-
2.9417	15900	0.251	-	-
2.9602	16000	0.2151	0.2953	0.1117
2.9787	16100	0.226	-	-
2.9972	16200	0.1442	-	-
3.0157	16300	0.191	-	-
3.0342	16400	0.1304	-	-
3.0527	16500	0.2252	-	-
3.0712	16600	0.1846	-	-
3.0897	16700	0.1608	-	-
3.1082	16800	0.1582	-	-
3.1267	16900	0.1602	-	-
3.1452	17000	0.1086	0.2637	0.1048
3.1637	17100	0.1155	-	-
3.1822	17200	0.113	-	-
3.2007	17300	0.1622	-	-
3.2192	17400	0.1963	-	-
3.2377	17500	0.1556	-	-
3.2562	17600	0.0897	-	-
3.2747	17700	0.0999	-	-
3.2932	17800	0.1499	-	-
3.3117	17900	0.2365	-	-
3.3302	18000	0.146	0.2748	0.1113
3.3488	18100	0.1591	-	-
3.3673	18200	0.1885	-	-
3.3858	18300	0.1959	-	-
3.4043	18400	0.076	-	-
3.4228	18500	0.176	-	-
3.4413	18600	0.1378	-	-
3.4598	18700	0.0648	-	-
3.4783	18800	0.1488	-	-
3.4968	18900	0.1361	-	-
3.5153	19000	0.1573	0.2878	0.1096
3.5338	19100	0.2488	-	-
3.5523	19200	0.1086	-	-
3.5708	19300	0.1405	-	-
3.5893	19400	0.0423	-	-
3.6078	19500	0.1069	-	-
3.6263	19600	0.088	-	-
3.6448	19700	0.1489	-	-
3.6633	19800	0.0865	-	-
3.6818	19900	0.1839	-	-
3.7003	20000	0.1476	0.2914	0.1159
3.7188	20100	0.2212	-	-
3.7373	20200	0.1638	-	-
3.7558	20300	0.0782	-	-
3.7743	20400	0.1215	-	-
3.7928	20500	0.1478	-	-
3.8113	20600	0.1934	-	-
3.8298	20700	0.1594	-	-
3.8483	20800	0.1216	-	-
3.8668	20900	0.2124	-	-
3.8853	21000	0.0981	0.2789	0.1141
3.9038	21100	0.126	-	-
3.9223	21200	0.1077	-	-
3.9408	21300	0.1176	-	-
3.9593	21400	0.1776	-	-
3.9778	21500	0.094	-	-
3.9963	21600	0.1025	-	-
4.0148	21700	0.1589	-	-
4.0333	21800	0.1142	-	-
4.0518	21900	0.1656	-	-
4.0703	22000	0.0577	0.2660	0.1105
4.0888	22100	0.0911	-	-
4.1073	22200	0.0844	-	-
4.1258	22300	0.0606	-	-
4.1443	22400	0.1653	-	-
4.1628	22500	0.0968	-	-
4.1813	22600	0.055	-	-
4.1998	22700	0.1013	-	-
4.2183	22800	0.0587	-	-
4.2368	22900	0.1309	-	-
4.2553	23000	0.053	0.2554	0.1165
4.2738	23100	0.1312	-	-
4.2923	23200	0.1208	-	-
4.3108	23300	0.159	-	-
4.3293	23400	0.1135	-	-
4.3478	23500	0.0956	-	-
4.3663	23600	0.1353	-	-
4.3848	23700	0.1623	-	-
4.4033	23800	0.1296	-	-
4.4218	23900	0.1103	-	-
4.4403	24000	0.0837	0.2514	0.1175
4.4588	24100	0.1124	-	-
4.4773	24200	0.0893	-	-
4.4958	24300	0.0852	-	-
4.5143	24400	0.152	-	-
4.5328	24500	0.0731	-	-
4.5513	24600	0.1839	-	-
4.5698	24700	0.0393	-	-
4.5883	24800	0.1167	-	-
4.6068	24900	0.0909	-	-
4.6253	25000	0.098	0.2621	0.1196
4.6438	25100	0.1655	-	-
4.6623	25200	0.1086	-	-
4.6809	25300	0.116	-	-
4.6994	25400	0.0594	-	-
4.7179	25500	0.0677	-	-
4.7364	25600	0.0915	-	-
4.7549	25700	0.0784	-	-
4.7734	25800	0.0746	-	-
4.7919	25900	0.0613	-	-
4.8104	26000	0.0682	0.2570	0.1189
4.8289	26100	0.1423	-	-
4.8474	26200	0.1023	-	-
4.8659	26300	0.085	-	-
4.8844	26400	0.0916	-	-
4.9029	26500	0.1068	-	-
4.9214	26600	0.1184	-	-
4.9399	26700	0.0873	-	-
4.9584	26800	0.136	-	-
4.9769	26900	0.1196	-	-
4.9954	27000	0.1096	0.2472	0.1185

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.1.2
• Transformers: 4.53.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.4.1
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}