SentenceTransformer based on meandyou200175/E5_v3_instruct_topic

This is a sentence-transformers model finetuned from meandyou200175/E5_v3_instruct_topic. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: meandyou200175/E5_v3_instruct_topic
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/E5_v3_4_instruct_topic")
# Run inference
sentences = [
    'task: classification | query: Một thoáng Bách khoa',
    'Khoa học',
    'Music',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6098, 0.1858],
#         [0.6098, 1.0000, 0.0294],
#         [0.1858, 0.0294, 1.0000]])

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.1873
cosine_accuracy@2	0.252
cosine_accuracy@5	0.3701
cosine_accuracy@10	0.4786
cosine_accuracy@100	0.9146
cosine_precision@1	0.1873
cosine_precision@2	0.126
cosine_precision@5	0.074
cosine_precision@10	0.0479
cosine_precision@100	0.0091
cosine_recall@1	0.1873
cosine_recall@2	0.252
cosine_recall@5	0.3701
cosine_recall@10	0.4786
cosine_recall@100	0.9146
cosine_ndcg@10	0.3161
cosine_mrr@1	0.1873
cosine_mrr@2	0.2196
cosine_mrr@5	0.2518
cosine_mrr@10	0.2662
cosine_mrr@100	0.2826
cosine_map@100	0.2826

Training Details

Training Dataset

Unnamed Dataset

Size: 127,618 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 12 tokens
mean: 112.57 tokens
max: 282 tokens

min: 3 tokens
mean: 7.53 tokens
max: 33 tokens

	anchor	positive
type	string	string
details	min: 12 tokens mean: 112.57 tokens max: 282 tokens	min: 3 tokens mean: 7.53 tokens max: 33 tokens

Samples:

anchor	positive
`task: sentence similarity \| query: Mumbai là địa điểm tổ chức các bữa tiệc diễn ra ở Mumbai vào bất kỳ ngày nào và nếu bạn ở thị trấn vào đêm giao thừa, đừng suy nghĩ gì thêm và lái xe xuống Smaaash, Kamala Mills, Lower Parel để tham gia lễ kỷ niệm Đêm Giao thừa 2016 của Smaaash.`	`Lễ kỷ niệm đêm giao thừa năm 2016 của Smaaash ở Mumbai`
`task: classification \| query: Các nhánh của động mạch chủ bụng Các nhánh của động mạch chủ bụng cung cấp máu cho ruột động mạch tạng và động mạch treo tràng trên và dưới , gan động mạch gan , lách động mạch lách , thận động mạch thận và chân động mạch chậu Nguồn: biodigital`	`Y tế\|Khoa học`
`task: sentence similarity \| query: Cảm ơn Randy Cassingham của This is True đã chỉ cho tôi những bài báo đó và nhiều người dân địa phương ban đầu đã thông báo cho tôi (bên kia ao ở Hoa Kỳ) về phong trào này.`	`Ghi nhận nguồn thông tin về phong trào`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Evaluation Dataset

Unnamed Dataset

Size: 5,318 evaluation samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 12 tokens
mean: 111.78 tokens
max: 318 tokens

min: 3 tokens
mean: 7.72 tokens
max: 31 tokens

	anchor	positive
type	string	string
details	min: 12 tokens mean: 111.78 tokens max: 318 tokens	min: 3 tokens mean: 7.72 tokens max: 31 tokens

Samples:

anchor	positive
task: classification \| query: Ung thư vú di căn không có cách chữa trị và đã được chứng minh là có khả năng kháng cự mạnh mẽ với một trong những phương pháp điều trị ung thư mới đầy hứa hẹn và sáng tạo nhất: liệu pháp miễn dịch. Giờ đây, các nhà nghiên cứu tại Trường Y thuộc Đại học Washington ở St. Louis đã xác định được cách điều trị khu vực xung quanh khối u vú đã di căn đến xương để những khối u đó trở nên dễ bị hệ thống miễn dịch của cơ thể tấn công. Khi các nhà nghiên cứu tăng cường hoạt động của một số tế bào miễn dịch nhất định, được gọi là tế bào T và đại thực bào, các tế bào miễn dịch này phối hợp với nhau để loại bỏ các khối u vú di căn đã lan đến xương của chuột và tiếp tục loại bỏ các tế bào khối u cuối cùng quay trở lại. Nghiên cứu được công bố ngày 8 tháng 3 trên Cancer Discovery, tạp chí của Hiệp hội Nghiên cứu Ung thư Hoa	`Sinh vật học`
task: classification \| query: Chàng trai ngang đại học YouTuber: Từ hai bàn trắng kiếm 4 triệu đô/năm, kiếm tiền đa kênh ngại vất vả: Cuối 2018, Brian Jung (21 tuổi) quyết định học đại học đuổi công kinh doanh toàn thời gian. Cha mẹ Hàn Quốc định cư Mỹ ngạc nhiên quyết định này. Jung phụ trách thương mại điện tử thời gian kiếm 200 đô la ngày, đảm bảo tài đại học. Jung kênh YouTube, sở công kinh doanh thức. Nhưng quyết định mình: "Tôi bố mẹ bố mẹ phải chăm nghỉ học Đại học sợ nào, học đâu", Jung nói. Chàng trai quyết tâm đuổi quyết định tương lai mơ hồ. Năm 25 tuổi, Jung YouTube toàn thời gian. Anh kiếm 3,7 triệu đô la 2021, kênh YouTube tài cá nhân 1 triệu đăng ký. Nhìn khứ, quyết định học đại học trở thành doanh nhân "thời quan trọng" đời ấy: Nó phép thời gian kênh phát triển thành doanh nghiệp. Trong thu nhập chi phí hoạt động thuế doa	`Sức khỏe - Đời sống`
`task: sentence similarity \| query: có tính lẳng lơ như gái đĩ`	`hạng người đĩ thoã`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
learning_rate: 2e-05
num_train_epochs: 2
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_ndcg@10
0.0031	100	0.4294	-	-
0.0063	200	0.1525	-	-
0.0094	300	0.2624	-	-
0.0125	400	0.1715	-	-
0.0157	500	0.239	-	-
0.0188	600	0.0826	-	-
0.0219	700	0.1286	-	-
0.0251	800	0.2016	-	-
0.0282	900	0.087	-	-
0.0313	1000	0.0676	-	-
0.0345	1100	0.1304	-	-
0.0376	1200	0.0578	-	-
0.0407	1300	0.064	-	-
0.0439	1400	0.1021	-	-
0.0470	1500	0.099	-	-
0.0501	1600	0.1706	-	-
0.0533	1700	0.0617	-	-
0.0564	1800	0.0501	-	-
0.0596	1900	0.0789	-	-
0.0627	2000	0.0499	-	-
0.0658	2100	0.0528	-	-
0.0690	2200	0.0463	-	-
0.0721	2300	0.1029	-	-
0.0752	2400	0.0433	-	-
0.0784	2500	0.0548	-	-
0.0815	2600	0.0426	-	-
0.0846	2700	0.026	-	-
0.0878	2800	0.0663	-	-
0.0909	2900	0.0813	-	-
0.0940	3000	0.0749	-	-
0.0972	3100	0.1194	-	-
0.1003	3200	0.0969	-	-
0.1034	3300	0.0763	-	-
0.1066	3400	0.0698	-	-
0.1097	3500	0.1532	-	-
0.1128	3600	0.0764	-	-
0.1160	3700	0.0806	-	-
0.1191	3800	0.0786	-	-
0.1222	3900	0.0968	-	-
0.1254	4000	0.084	-	-
0.1285	4100	0.0393	-	-
0.1316	4200	0.079	-	-
0.1348	4300	0.0827	-	-
0.1379	4400	0.0798	-	-
0.1410	4500	0.1271	-	-
0.1442	4600	0.0775	-	-
0.1473	4700	0.1039	-	-
0.1504	4800	0.0525	-	-
0.1536	4900	0.1259	-	-
0.1567	5000	0.0641	-	-
0.1598	5100	0.0561	-	-
0.1630	5200	0.0684	-	-
0.1661	5300	0.0962	-	-
0.1693	5400	0.123	-	-
0.1724	5500	0.1087	-	-
0.1755	5600	0.0798	-	-
0.1787	5700	0.0674	-	-
0.1818	5800	0.1417	-	-
0.1849	5900	0.1191	-	-
0.1881	6000	0.1486	-	-
0.1912	6100	0.0971	-	-
0.1943	6200	0.1703	-	-
0.1975	6300	0.1055	-	-
0.2006	6400	0.1557	-	-
0.2037	6500	0.1442	-	-
0.2069	6600	0.0903	-	-
0.2100	6700	0.1199	-	-
0.2131	6800	0.059	-	-
0.2163	6900	0.0803	-	-
0.2194	7000	0.0956	-	-
0.2225	7100	0.1594	-	-
0.2257	7200	0.0771	-	-
0.2288	7300	0.1061	-	-
0.2319	7400	0.1155	-	-
0.2351	7500	0.077	-	-
0.2382	7600	0.1495	-	-
0.2413	7700	0.1095	-	-
0.2445	7800	0.0995	-	-
0.2476	7900	0.0784	-	-
0.2507	8000	0.0961	-	-
0.2539	8100	0.0905	-	-
0.2570	8200	0.1448	-	-
0.2601	8300	0.0666	-	-
0.2633	8400	0.0937	-	-
0.2664	8500	0.1706	-	-
0.2696	8600	0.0691	-	-
0.2727	8700	0.2023	-	-
0.2758	8800	0.1174	-	-
0.2790	8900	0.1012	-	-
0.2821	9000	0.0971	-	-
0.2852	9100	0.1123	-	-
0.2884	9200	0.0503	-	-
0.2915	9300	0.1049	-	-
0.2946	9400	0.0985	-	-
0.2978	9500	0.2151	-	-
0.3009	9600	0.117	-	-
0.3040	9700	0.1421	-	-
0.3072	9800	0.0953	-	-
0.3103	9900	0.0852	-	-
0.3134	10000	0.0759	0.0983	0.2547
0.3166	10100	0.0999	-	-
0.3197	10200	0.1199	-	-
0.3228	10300	0.0543	-	-
0.3260	10400	0.0915	-	-
0.3291	10500	0.0874	-	-
0.3322	10600	0.1051	-	-
0.3354	10700	0.1227	-	-
0.3385	10800	0.0808	-	-
0.3416	10900	0.1231	-	-
0.3448	11000	0.1029	-	-
0.3479	11100	0.1134	-	-
0.3510	11200	0.1196	-	-
0.3542	11300	0.0811	-	-
0.3573	11400	0.0645	-	-
0.3604	11500	0.1453	-	-
0.3636	11600	0.1302	-	-
0.3667	11700	0.0886	-	-
0.3698	11800	0.0818	-	-
0.3730	11900	0.0662	-	-
0.3761	12000	0.0629	-	-
0.3793	12100	0.1189	-	-
0.3824	12200	0.1367	-	-
0.3855	12300	0.0599	-	-
0.3887	12400	0.1072	-	-
0.3918	12500	0.0785	-	-
0.3949	12600	0.1361	-	-
0.3981	12700	0.0688	-	-
0.4012	12800	0.0896	-	-
0.4043	12900	0.0975	-	-
0.4075	13000	0.1617	-	-
0.4106	13100	0.0793	-	-
0.4137	13200	0.0904	-	-
0.4169	13300	0.1083	-	-
0.4200	13400	0.0992	-	-
0.4231	13500	0.1202	-	-
0.4263	13600	0.1613	-	-
0.4294	13700	0.0583	-	-
0.4325	13800	0.0627	-	-
0.4357	13900	0.0579	-	-
0.4388	14000	0.0787	-	-
0.4419	14100	0.0846	-	-
0.4451	14200	0.1071	-	-
0.4482	14300	0.1173	-	-
0.4513	14400	0.0942	-	-
0.4545	14500	0.1109	-	-
0.4576	14600	0.0864	-	-
0.4607	14700	0.0539	-	-
0.4639	14800	0.0767	-	-
0.4670	14900	0.1206	-	-
0.4701	15000	0.0428	-	-
0.4733	15100	0.0656	-	-
0.4764	15200	0.0883	-	-
0.4795	15300	0.1247	-	-
0.4827	15400	0.0959	-	-
0.4858	15500	0.0363	-	-
0.4890	15600	0.0651	-	-
0.4921	15700	0.1024	-	-
0.4952	15800	0.1274	-	-
0.4984	15900	0.0713	-	-
0.5015	16000	0.1629	-	-
0.5046	16100	0.1572	-	-
0.5078	16200	0.0376	-	-
0.5109	16300	0.1461	-	-
0.5140	16400	0.0629	-	-
0.5172	16500	0.0614	-	-
0.5203	16600	0.152	-	-
0.5234	16700	0.0766	-	-
0.5266	16800	0.1203	-	-
0.5297	16900	0.0923	-	-
0.5328	17000	0.1178	-	-
0.5360	17100	0.0939	-	-
0.5391	17200	0.1096	-	-
0.5422	17300	0.113	-	-
0.5454	17400	0.0671	-	-
0.5485	17500	0.0863	-	-
0.5516	17600	0.1275	-	-
0.5548	17700	0.1047	-	-
0.5579	17800	0.116	-	-
0.5610	17900	0.1499	-	-
0.5642	18000	0.0626	-	-
0.5673	18100	0.1128	-	-
0.5704	18200	0.1192	-	-
0.5736	18300	0.1122	-	-
0.5767	18400	0.063	-	-
0.5798	18500	0.1001	-	-
0.5830	18600	0.0985	-	-
0.5861	18700	0.0813	-	-
0.5892	18800	0.0964	-	-
0.5924	18900	0.0546	-	-
0.5955	19000	0.1309	-	-
0.5987	19100	0.1167	-	-
0.6018	19200	0.1007	-	-
0.6049	19300	0.0375	-	-
0.6081	19400	0.113	-	-
0.6112	19500	0.082	-	-
0.6143	19600	0.088	-	-
0.6175	19700	0.054	-	-
0.6206	19800	0.1483	-	-
0.6237	19900	0.0556	-	-
0.6269	20000	0.0856	0.0939	0.2700
0.6300	20100	0.1001	-	-
0.6331	20200	0.1103	-	-
0.6363	20300	0.0781	-	-
0.6394	20400	0.0901	-	-
0.6425	20500	0.0185	-	-
0.6457	20600	0.0988	-	-
0.6488	20700	0.0678	-	-
0.6519	20800	0.1366	-	-
0.6551	20900	0.1081	-	-
0.6582	21000	0.0577	-	-
0.6613	21100	0.1	-	-
0.6645	21200	0.0955	-	-
0.6676	21300	0.0979	-	-
0.6707	21400	0.0758	-	-
0.6739	21500	0.1529	-	-
0.6770	21600	0.061	-	-
0.6801	21700	0.1259	-	-
0.6833	21800	0.1136	-	-
0.6864	21900	0.2078	-	-
0.6895	22000	0.1134	-	-
0.6927	22100	0.0657	-	-
0.6958	22200	0.072	-	-
0.6990	22300	0.1271	-	-
0.7021	22400	0.1029	-	-
0.7052	22500	0.0533	-	-
0.7084	22600	0.1314	-	-
0.7115	22700	0.0509	-	-
0.7146	22800	0.0388	-	-
0.7178	22900	0.0895	-	-
0.7209	23000	0.093	-	-
0.7240	23100	0.1285	-	-
0.7272	23200	0.0441	-	-
0.7303	23300	0.1249	-	-
0.7334	23400	0.0969	-	-
0.7366	23500	0.1735	-	-
0.7397	23600	0.1058	-	-
0.7428	23700	0.0793	-	-
0.7460	23800	0.0605	-	-
0.7491	23900	0.0764	-	-
0.7522	24000	0.0937	-	-
0.7554	24100	0.094	-	-
0.7585	24200	0.0872	-	-
0.7616	24300	0.115	-	-
0.7648	24400	0.0453	-	-
0.7679	24500	0.0763	-	-
0.7710	24600	0.1408	-	-
0.7742	24700	0.094	-	-
0.7773	24800	0.0877	-	-
0.7804	24900	0.0663	-	-
0.7836	25000	0.1157	-	-
0.7867	25100	0.093	-	-
0.7898	25200	0.0917	-	-
0.7930	25300	0.0762	-	-
0.7961	25400	0.0684	-	-
0.7992	25500	0.0685	-	-
0.8024	25600	0.0627	-	-
0.8055	25700	0.0945	-	-
0.8087	25800	0.0671	-	-
0.8118	25900	0.0294	-	-
0.8149	26000	0.102	-	-
0.8181	26100	0.0836	-	-
0.8212	26200	0.0423	-	-
0.8243	26300	0.0785	-	-
0.8275	26400	0.0668	-	-
0.8306	26500	0.0814	-	-
0.8337	26600	0.0302	-	-
0.8369	26700	0.0879	-	-
0.8400	26800	0.1084	-	-
0.8431	26900	0.093	-	-
0.8463	27000	0.064	-	-
0.8494	27100	0.0398	-	-
0.8525	27200	0.1253	-	-
0.8557	27300	0.0954	-	-
0.8588	27400	0.0888	-	-
0.8619	27500	0.1158	-	-
0.8651	27600	0.0642	-	-
0.8682	27700	0.0915	-	-
0.8713	27800	0.1034	-	-
0.8745	27900	0.019	-	-
0.8776	28000	0.1329	-	-
0.8807	28100	0.091	-	-
0.8839	28200	0.0984	-	-
0.8870	28300	0.1175	-	-
0.8901	28400	0.1068	-	-
0.8933	28500	0.0602	-	-
0.8964	28600	0.0686	-	-
0.8995	28700	0.0527	-	-
0.9027	28800	0.0565	-	-
0.9058	28900	0.0964	-	-
0.9089	29000	0.0704	-	-
0.9121	29100	0.1253	-	-
0.9152	29200	0.1258	-	-
0.9184	29300	0.0861	-	-
0.9215	29400	0.0729	-	-
0.9246	29500	0.122	-	-
0.9278	29600	0.0901	-	-
0.9309	29700	0.0572	-	-
0.9340	29800	0.0534	-	-
0.9372	29900	0.0719	-	-
0.9403	30000	0.0908	0.0686	0.2712
0.9434	30100	0.068	-	-
0.9466	30200	0.0827	-	-
0.9497	30300	0.1422	-	-
0.9528	30400	0.0405	-	-
0.9560	30500	0.1351	-	-
0.9591	30600	0.0804	-	-
0.9622	30700	0.1446	-	-
0.9654	30800	0.1183	-	-
0.9685	30900	0.0841	-	-
0.9716	31000	0.1028	-	-
0.9748	31100	0.0345	-	-
0.9779	31200	0.0645	-	-
0.9810	31300	0.0554	-	-
0.9842	31400	0.0548	-	-
0.9873	31500	0.0541	-	-
0.9904	31600	0.1168	-	-
0.9936	31700	0.0544	-	-
0.9967	31800	0.1478	-	-
0.9998	31900	0.0653	-	-
1.0030	32000	0.0312	-	-
1.0061	32100	0.072	-	-
1.0092	32200	0.0561	-	-
1.0124	32300	0.049	-	-
1.0155	32400	0.1209	-	-
1.0186	32500	0.1089	-	-
1.0218	32600	0.0409	-	-
1.0249	32700	0.0878	-	-
1.0281	32800	0.0403	-	-
1.0312	32900	0.0236	-	-
1.0343	33000	0.0711	-	-
1.0375	33100	0.0596	-	-
1.0406	33200	0.0819	-	-
1.0437	33300	0.0336	-	-
1.0469	33400	0.0986	-	-
1.0500	33500	0.0469	-	-
1.0531	33600	0.0296	-	-
1.0563	33700	0.0539	-	-
1.0594	33800	0.0735	-	-
1.0625	33900	0.0718	-	-
1.0657	34000	0.0879	-	-
1.0688	34100	0.0785	-	-
1.0719	34200	0.1116	-	-
1.0751	34300	0.0767	-	-
1.0782	34400	0.0526	-	-
1.0813	34500	0.0663	-	-
1.0845	34600	0.0679	-	-
1.0876	34700	0.0399	-	-
1.0907	34800	0.0421	-	-
1.0939	34900	0.0242	-	-
1.0970	35000	0.0822	-	-
1.1001	35100	0.0828	-	-
1.1033	35200	0.0427	-	-
1.1064	35300	0.0693	-	-
1.1095	35400	0.0538	-	-
1.1127	35500	0.0561	-	-
1.1158	35600	0.0392	-	-
1.1189	35700	0.1373	-	-
1.1221	35800	0.0672	-	-
1.1252	35900	0.0219	-	-
1.1283	36000	0.037	-	-
1.1315	36100	0.0438	-	-
1.1346	36200	0.0602	-	-
1.1378	36300	0.0217	-	-
1.1409	36400	0.1371	-	-
1.1440	36500	0.0421	-	-
1.1472	36600	0.0958	-	-
1.1503	36700	0.0488	-	-
1.1534	36800	0.051	-	-
1.1566	36900	0.0622	-	-
1.1597	37000	0.0536	-	-
1.1628	37100	0.0967	-	-
1.1660	37200	0.0724	-	-
1.1691	37300	0.048	-	-
1.1722	37400	0.071	-	-
1.1754	37500	0.052	-	-
1.1785	37600	0.1034	-	-
1.1816	37700	0.0905	-	-
1.1848	37800	0.0648	-	-
1.1879	37900	0.0396	-	-
1.1910	38000	0.0958	-	-
1.1942	38100	0.0417	-	-
1.1973	38200	0.0631	-	-
1.2004	38300	0.0585	-	-
1.2036	38400	0.0408	-	-
1.2067	38500	0.0577	-	-
1.2098	38600	0.0561	-	-
1.2130	38700	0.0744	-	-
1.2161	38800	0.0785	-	-
1.2192	38900	0.0431	-	-
1.2224	39000	0.0449	-	-
1.2255	39100	0.0819	-	-
1.2286	39200	0.0808	-	-
1.2318	39300	0.0344	-	-
1.2349	39400	0.0485	-	-
1.2381	39500	0.0541	-	-
1.2412	39600	0.0458	-	-
1.2443	39700	0.0563	-	-
1.2475	39800	0.0637	-	-
1.2506	39900	0.0824	-	-
1.2537	40000	0.0785	0.0548	0.2846
1.2569	40100	0.0546	-	-
1.2600	40200	0.0523	-	-
1.2631	40300	0.0601	-	-
1.2663	40400	0.0849	-	-
1.2694	40500	0.0318	-	-
1.2725	40600	0.0266	-	-
1.2757	40700	0.0505	-	-
1.2788	40800	0.0669	-	-
1.2819	40900	0.1027	-	-
1.2851	41000	0.0677	-	-
1.2882	41100	0.0228	-	-
1.2913	41200	0.0543	-	-
1.2945	41300	0.0315	-	-
1.2976	41400	0.0367	-	-
1.3007	41500	0.0341	-	-
1.3039	41600	0.0546	-	-
1.3070	41700	0.0381	-	-
1.3101	41800	0.0994	-	-
1.3133	41900	0.0667	-	-
1.3164	42000	0.0548	-	-
1.3195	42100	0.0735	-	-
1.3227	42200	0.0652	-	-
1.3258	42300	0.074	-	-
1.3289	42400	0.0314	-	-
1.3321	42500	0.0996	-	-
1.3352	42600	0.0208	-	-
1.3383	42700	0.0613	-	-
1.3415	42800	0.0653	-	-
1.3446	42900	0.0552	-	-
1.3478	43000	0.0994	-	-
1.3509	43100	0.072	-	-
1.3540	43200	0.0621	-	-
1.3572	43300	0.0447	-	-
1.3603	43400	0.0521	-	-
1.3634	43500	0.0682	-	-
1.3666	43600	0.0468	-	-
1.3697	43700	0.072	-	-
1.3728	43800	0.0824	-	-
1.3760	43900	0.0674	-	-
1.3791	44000	0.0566	-	-
1.3822	44100	0.0425	-	-
1.3854	44200	0.0573	-	-
1.3885	44300	0.0702	-	-
1.3916	44400	0.0198	-	-
1.3948	44500	0.0585	-	-
1.3979	44600	0.0496	-	-
1.4010	44700	0.0758	-	-
1.4042	44800	0.0523	-	-
1.4073	44900	0.0533	-	-
1.4104	45000	0.0375	-	-
1.4136	45100	0.0291	-	-
1.4167	45200	0.0513	-	-
1.4198	45300	0.0423	-	-
1.4230	45400	0.0526	-	-
1.4261	45500	0.0358	-	-
1.4292	45600	0.0316	-	-
1.4324	45700	0.0198	-	-
1.4355	45800	0.0871	-	-
1.4386	45900	0.0701	-	-
1.4418	46000	0.0719	-	-
1.4449	46100	0.0587	-	-
1.4480	46200	0.0364	-	-
1.4512	46300	0.0444	-	-
1.4543	46400	0.0572	-	-
1.4575	46500	0.0382	-	-
1.4606	46600	0.0454	-	-
1.4637	46700	0.0256	-	-
1.4669	46800	0.0303	-	-
1.4700	46900	0.0394	-	-
1.4731	47000	0.037	-	-
1.4763	47100	0.068	-	-
1.4794	47200	0.069	-	-
1.4825	47300	0.0661	-	-
1.4857	47400	0.0353	-	-
1.4888	47500	0.0539	-	-
1.4919	47600	0.0243	-	-
1.4951	47700	0.0786	-	-
1.4982	47800	0.0477	-	-
1.5013	47900	0.026	-	-
1.5045	48000	0.0764	-	-
1.5076	48100	0.0602	-	-
1.5107	48200	0.0422	-	-
1.5139	48300	0.0602	-	-
1.5170	48400	0.0892	-	-
1.5201	48500	0.0423	-	-
1.5233	48600	0.0557	-	-
1.5264	48700	0.0098	-	-
1.5295	48800	0.0418	-	-
1.5327	48900	0.0174	-	-
1.5358	49000	0.0386	-	-
1.5389	49100	0.1331	-	-
1.5421	49200	0.0594	-	-
1.5452	49300	0.0235	-	-
1.5483	49400	0.0319	-	-
1.5515	49500	0.0163	-	-
1.5546	49600	0.0238	-	-
1.5577	49700	0.0438	-	-
1.5609	49800	0.0297	-	-
1.5640	49900	0.0867	-	-
1.5672	50000	0.0798	0.0548	0.3029
1.5703	50100	0.0656	-	-
1.5734	50200	0.0395	-	-
1.5766	50300	0.0256	-	-
1.5797	50400	0.0722	-	-
1.5828	50500	0.1204	-	-
1.5860	50600	0.0761	-	-
1.5891	50700	0.0229	-	-
1.5922	50800	0.0569	-	-
1.5954	50900	0.0882	-	-
1.5985	51000	0.0457	-	-
1.6016	51100	0.0473	-	-
1.6048	51200	0.0468	-	-
1.6079	51300	0.0528	-	-
1.6110	51400	0.0465	-	-
1.6142	51500	0.05	-	-
1.6173	51600	0.1046	-	-
1.6204	51700	0.0547	-	-
1.6236	51800	0.0306	-	-
1.6267	51900	0.0322	-	-
1.6298	52000	0.0584	-	-
1.6330	52100	0.1005	-	-
1.6361	52200	0.0554	-	-
1.6392	52300	0.0402	-	-
1.6424	52400	0.0646	-	-
1.6455	52500	0.1111	-	-
1.6486	52600	0.0289	-	-
1.6518	52700	0.0437	-	-
1.6549	52800	0.0489	-	-
1.6580	52900	0.0334	-	-
1.6612	53000	0.1027	-	-
1.6643	53100	0.0433	-	-
1.6675	53200	0.0297	-	-
1.6706	53300	0.0462	-	-
1.6737	53400	0.0669	-	-
1.6769	53500	0.0727	-	-
1.6800	53600	0.0931	-	-
1.6831	53700	0.0212	-	-
1.6863	53800	0.0504	-	-
1.6894	53900	0.0868	-	-
1.6925	54000	0.0606	-	-
1.6957	54100	0.0524	-	-
1.6988	54200	0.0568	-	-
1.7019	54300	0.0313	-	-
1.7051	54400	0.045	-	-
1.7082	54500	0.0285	-	-
1.7113	54600	0.0781	-	-
1.7145	54700	0.0517	-	-
1.7176	54800	0.0595	-	-
1.7207	54900	0.031	-	-
1.7239	55000	0.041	-	-
1.7270	55100	0.0682	-	-
1.7301	55200	0.0315	-	-
1.7333	55300	0.0489	-	-
1.7364	55400	0.0595	-	-
1.7395	55500	0.0469	-	-
1.7427	55600	0.0737	-	-
1.7458	55700	0.0252	-	-
1.7489	55800	0.0565	-	-
1.7521	55900	0.0987	-	-
1.7552	56000	0.0147	-	-
1.7583	56100	0.031	-	-
1.7615	56200	0.0438	-	-
1.7646	56300	0.0251	-	-
1.7677	56400	0.0541	-	-
1.7709	56500	0.0524	-	-
1.7740	56600	0.0543	-	-
1.7772	56700	0.0489	-	-
1.7803	56800	0.0488	-	-
1.7834	56900	0.0684	-	-
1.7866	57000	0.089	-	-
1.7897	57100	0.0514	-	-
1.7928	57200	0.0349	-	-
1.7960	57300	0.0435	-	-
1.7991	57400	0.0303	-	-
1.8022	57500	0.0201	-	-
1.8054	57600	0.0617	-	-
1.8085	57700	0.0438	-	-
1.8116	57800	0.0373	-	-
1.8148	57900	0.011	-	-
1.8179	58000	0.0081	-	-
1.8210	58100	0.0583	-	-
1.8242	58200	0.0222	-	-
1.8273	58300	0.0274	-	-
1.8304	58400	0.0322	-	-
1.8336	58500	0.0735	-	-
1.8367	58600	0.0085	-	-
1.8398	58700	0.0268	-	-
1.8430	58800	0.0372	-	-
1.8461	58900	0.0923	-	-
1.8492	59000	0.0319	-	-
1.8524	59100	0.0487	-	-
1.8555	59200	0.0719	-	-
1.8586	59300	0.049	-	-
1.8618	59400	0.0178	-	-
1.8649	59500	0.0235	-	-
1.8680	59600	0.0387	-	-
1.8712	59700	0.0295	-	-
1.8743	59800	0.0181	-	-
1.8774	59900	0.0613	-	-
1.8806	60000	0.0517	0.0446	0.3161
1.8837	60100	0.0402	-	-
1.8869	60200	0.0637	-	-
1.8900	60300	0.0714	-	-
1.8931	60400	0.0242	-	-
1.8963	60500	0.014	-	-
1.8994	60600	0.0531	-	-
1.9025	60700	0.0394	-	-
1.9057	60800	0.0594	-	-
1.9088	60900	0.0391	-	-
1.9119	61000	0.0217	-	-
1.9151	61100	0.0376	-	-
1.9182	61200	0.0207	-	-
1.9213	61300	0.0496	-	-
1.9245	61400	0.0097	-	-
1.9276	61500	0.049	-	-
1.9307	61600	0.0295	-	-
1.9339	61700	0.0328	-	-
1.9370	61800	0.0432	-	-
1.9401	61900	0.047	-	-
1.9433	62000	0.0369	-	-
1.9464	62100	0.0395	-	-
1.9495	62200	0.0354	-	-
1.9527	62300	0.0394	-	-
1.9558	62400	0.0259	-	-
1.9589	62500	0.0186	-	-
1.9621	62600	0.0472	-	-
1.9652	62700	0.0405	-	-
1.9683	62800	0.0362	-	-
1.9715	62900	0.0572	-	-
1.9746	63000	0.0337	-	-
1.9777	63100	0.0411	-	-
1.9809	63200	0.019	-	-
1.9840	63300	0.0404	-	-
1.9871	63400	0.0216	-	-
1.9903	63500	0.0275	-	-
1.9934	63600	0.0278	-	-
1.9966	63700	0.0581	-	-
1.9997	63800	0.0373	-	-

Framework Versions

Python: 3.11.13
Sentence Transformers: 5.1.2
Transformers: 4.53.3
PyTorch: 2.6.0+cu124
Accelerate: 1.9.0
Datasets: 4.4.1
Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}