SentenceTransformer based on meandyou200175/E5_v3_instruct_topic

This is a sentence-transformers model finetuned from meandyou200175/E5_v3_instruct_topic. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: meandyou200175/E5_v3_instruct_topic
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/E5_v3_41_instruct_topic")
# Run inference
sentences = [
    'task: classification | query: Từ vựng các loại biển báo giao thông\nBổ sung vốn từ ngay bạn nhé\n#giaoduc\n#hoctap\n#sinhvien\n#hoctienganh\n#tuyensinh\n#luyenthi\n#truonghoc\n#giaovien\n#daihoc\n#giaoducsom',
    'Học tập - Kỹ năng',
    'Học tập - Kỹ năng',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.4971, 0.4971],
#         [0.4971, 1.0000, 1.0000],
#         [0.4971, 1.0000, 1.0000]])

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.2397
cosine_accuracy@2	0.3253
cosine_accuracy@5	0.4605
cosine_accuracy@10	0.5887
cosine_accuracy@100	0.9418
cosine_precision@1	0.2397
cosine_precision@2	0.1626
cosine_precision@5	0.0921
cosine_precision@10	0.0589
cosine_precision@100	0.0094
cosine_recall@1	0.2397
cosine_recall@2	0.3253
cosine_recall@5	0.4605
cosine_recall@10	0.5887
cosine_recall@100	0.9418
cosine_ndcg@10	0.3952
cosine_mrr@1	0.2397
cosine_mrr@2	0.2825
cosine_mrr@5	0.3192
cosine_mrr@10	0.3358
cosine_mrr@100	0.3506
cosine_map@100	0.3506

Training Details

Training Dataset

Unnamed Dataset

Size: 209,302 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 12 tokens
mean: 102.33 tokens
max: 495 tokens

min: 3 tokens
mean: 6.59 tokens
max: 28 tokens

	anchor	positive
type	string	string
details	min: 12 tokens mean: 102.33 tokens max: 495 tokens	min: 3 tokens mean: 6.59 tokens max: 28 tokens

Samples:

anchor	positive
`task: classification \| query: Kho đạn triều Nguyễn hoả dược khố`	`Lịch sử`
`task: classification \| query: PIQU Nguồn: klapty`	`Âm nhạc`
task: classification \| query: Bãi Dâu Vũng Tàu Bãi Dâu Vũng Tàu tọa lạc ở đường Trần Phú, Thành phố Vũng Tàu - Đây là một trong những con đường khá lớn, nổi tiếng tại Vũng Tàu nên bạn có thể dễ dàng tìm thấy nó. Theo người dân địa phương nơi đây kể lại, bãi Dâu có tên gọi cũ là bãi Vũng Mây, tên gọi này được đặt dựa trên khung cảnh thiên nhiên được bao phủ rất nhiều mây rừng. Nơi này khá kín gió và bạn có thể thấy nhiều mỏm đá lớn nhô ra ở ngoài biển ở hai đầu bãi. Đặc biệt, bãi Dâu nổi tiếng với vẻ đẹp hoang sơ của thiên nhiên, nó vốn chưa được nhiều người biết đến và chưa được khai thác nhiều. Cũng chính vì điều đó mà bãi Dâu đã sở hữu một đặc trưng về diện mạo hoang sơ mà không phải bất kỳ bãi biển nào tại Vũng Tàu cũng có. #vietnam360 #yoolife #dulich #vietnam #34tinhthanh #vr360vietnam #vr360thanhphohochiminh #vr360baidauvungtau #ba	`Danh lam thắng cảnh`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Evaluation Dataset

Unnamed Dataset

Size: 2,115 evaluation samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 12 tokens
mean: 98.78 tokens
max: 308 tokens

min: 3 tokens
mean: 7.06 tokens
max: 42 tokens

	anchor	positive
type	string	string
details	min: 12 tokens mean: 98.78 tokens max: 308 tokens	min: 3 tokens mean: 7.06 tokens max: 42 tokens

Samples:

anchor	positive
task: classification \| query: Hội trường gác 2 9 Nguyễn Đình Chiểu, Hà Nội chật kín dự. Sự choán, chiếm thời gian phát biểu yếu nhân Hội Nhà văn, Nguyễn Quang Thiều, Trần Đăng Khoa, Nguyễn Bình Phương, Hữu Thỉnh… mắt sách Nhà văn chữ tình gởi tác giả niên Trình Quang Phú toát yếu hội thảo sách. Cuốn sách 400 trang in đẹp 25 chân dung thảy. Tác giả Trình, Trình Quang Phú- hiếm. Trước lầm cầu sông Sài Gòn tướng Trịnh Minh Thế. Chả phải. Mà Trình. Một dịp hợp, viết đọc cố hương gốc tổ Trình xứ Thanh. Ông đại tá an ninh, văn báo, nhiếp ảnh, doanh nhân thành chủ ngơi Tập đoàn Sao Việt đất Tuy Hòa. Và chức hiện đương Viện trưởng Viện Nghiên cứu phát triển trực Liên hiệp Hội KHKT Việt Nam. Tất tật đều… trúng cả! Tôi đương nhắc tắc nhẽ diễn giả. Tất thảy luyến láy duyên độc đáo chi tiết bầu thành công ký tạm gọi tiểu sử này.	`Thời sự`
`task: sentence similarity \| query: luyện tập một cách thường xuyên để đạt tới những phẩm chất hay trình độ ở một mức nào đó`	`rèn luyện thân thể`
`task: sentence similarity \| query: gắn thêm từng mảnh trên bề mặt, thường để trang trí`	`mũ dát ngọc`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
learning_rate: 2e-05
num_train_epochs: 5
warmup_ratio: 0.1
bf16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_ndcg@10
0.0153	100	2.2648	-	-
0.0306	200	1.6187	-	-
0.0459	300	1.1877	-	-
0.0612	400	1.0249	-	-
0.0764	500	0.834	-	-
0.0917	600	0.7643	-	-
0.1070	700	0.6765	-	-
0.1223	800	0.6221	-	-
0.1376	900	0.5857	-	-
0.1529	1000	0.6021	-	-
0.1682	1100	0.533	-	-
0.1835	1200	0.5379	-	-
0.1987	1300	0.5024	-	-
0.2140	1400	0.526	-	-
0.2293	1500	0.5062	-	-
0.2446	1600	0.4948	-	-
0.2599	1700	0.4907	-	-
0.2752	1800	0.5126	-	-
0.2905	1900	0.4958	-	-
0.3058	2000	0.4897	-	-
0.3211	2100	0.4838	-	-
0.3363	2200	0.491	-	-
0.3516	2300	0.4672	-	-
0.3669	2400	0.4607	-	-
0.3822	2500	0.4793	-	-
0.3975	2600	0.4611	-	-
0.4128	2700	0.5091	-	-
0.4281	2800	0.4672	-	-
0.4434	2900	0.4839	-	-
0.4586	3000	0.4731	0.3001	0.3636
0.4739	3100	0.4894	-	-
0.4892	3200	0.4746	-	-
0.5045	3300	0.4812	-	-
0.5198	3400	0.5015	-	-
0.5351	3500	0.4761	-	-
0.5504	3600	0.4737	-	-
0.5657	3700	0.4576	-	-
0.5810	3800	0.4838	-	-
0.5962	3900	0.4468	-	-
0.6115	4000	0.4603	-	-
0.6268	4100	0.4577	-	-
0.6421	4200	0.4826	-	-
0.6574	4300	0.4647	-	-
0.6727	4400	0.443	-	-
0.6880	4500	0.4837	-	-
0.7033	4600	0.444	-	-
0.7185	4700	0.44	-	-
0.7338	4800	0.4722	-	-
0.7491	4900	0.4405	-	-
0.7644	5000	0.4659	-	-
0.7797	5100	0.4898	-	-
0.7950	5200	0.4623	-	-
0.8103	5300	0.4422	-	-
0.8256	5400	0.4493	-	-
0.8409	5500	0.4258	-	-
0.8561	5600	0.4608	-	-
0.8714	5700	0.466	-	-
0.8867	5800	0.4384	-	-
0.9020	5900	0.4681	-	-
0.9173	6000	0.4557	0.2546	0.3756
0.9326	6100	0.462	-	-
0.9479	6200	0.4506	-	-
0.9632	6300	0.4681	-	-
0.9784	6400	0.3216	-	-
0.9937	6500	0.0	-	-
1.0090	6600	0.2507	-	-
1.0243	6700	0.39	-	-
1.0396	6800	0.4508	-	-
1.0549	6900	0.3984	-	-
1.0702	7000	0.3917	-	-
1.0855	7100	0.4115	-	-
1.1007	7200	0.3904	-	-
1.1160	7300	0.4149	-	-
1.1313	7400	0.4025	-	-
1.1466	7500	0.4211	-	-
1.1619	7600	0.4143	-	-
1.1772	7700	0.4383	-	-
1.1925	7800	0.4389	-	-
1.2078	7900	0.4438	-	-
1.2231	8000	0.4031	-	-
1.2383	8100	0.4262	-	-
1.2536	8200	0.3857	-	-
1.2689	8300	0.4336	-	-
1.2842	8400	0.4056	-	-
1.2995	8500	0.4019	-	-
1.3148	8600	0.3842	-	-
1.3301	8700	0.3971	-	-
1.3454	8800	0.4006	-	-
1.3606	8900	0.3851	-	-
1.3759	9000	0.4122	0.2539	0.3787
1.3912	9100	0.3794	-	-
1.4065	9200	0.39	-	-
1.4218	9300	0.3977	-	-
1.4371	9400	0.4046	-	-
1.4524	9500	0.3965	-	-
1.4677	9600	0.3736	-	-
1.4830	9700	0.3906	-	-
1.4982	9800	0.3918	-	-
1.5135	9900	0.381	-	-
1.5288	10000	0.3736	-	-
1.5441	10100	0.3982	-	-
1.5594	10200	0.3903	-	-
1.5747	10300	0.3835	-	-
1.5900	10400	0.403	-	-
1.6053	10500	0.3852	-	-
1.6205	10600	0.3736	-	-
1.6358	10700	0.3955	-	-
1.6511	10800	0.4048	-	-
1.6664	10900	0.3783	-	-
1.6817	11000	0.3751	-	-
1.6970	11100	0.3823	-	-
1.7123	11200	0.3929	-	-
1.7276	11300	0.3927	-	-
1.7429	11400	0.3936	-	-
1.7581	11500	0.4135	-	-
1.7734	11600	0.3931	-	-
1.7887	11700	0.3613	-	-
1.8040	11800	0.3934	-	-
1.8193	11900	0.3767	-	-
1.8346	12000	0.3836	0.2432	0.3877
1.8499	12100	0.3665	-	-
1.8652	12200	0.3524	-	-
1.8804	12300	0.3877	-	-
1.8957	12400	0.3695	-	-
1.9110	12500	0.3747	-	-
1.9263	12600	0.3914	-	-
1.9416	12700	0.3678	-	-
1.9569	12800	0.3662	-	-
1.9722	12900	0.3712	-	-
1.9875	13000	0.0396	-	-
2.0028	13100	0.0643	-	-
2.0180	13200	0.3485	-	-
2.0333	13300	0.3328	-	-
2.0486	13400	0.3405	-	-
2.0639	13500	0.318	-	-
2.0792	13600	0.3246	-	-
2.0945	13700	0.319	-	-
2.1098	13800	0.3426	-	-
2.1251	13900	0.3352	-	-
2.1403	14000	0.3555	-	-
2.1556	14100	0.3716	-	-
2.1709	14200	0.3361	-	-
2.1862	14300	0.327	-	-
2.2015	14400	0.3354	-	-
2.2168	14500	0.3272	-	-
2.2321	14600	0.3296	-	-
2.2474	14700	0.3652	-	-
2.2627	14800	0.3218	-	-
2.2779	14900	0.3347	-	-
2.2932	15000	0.3302	0.2399	0.3843
2.3085	15100	0.321	-	-
2.3238	15200	0.3154	-	-
2.3391	15300	0.3328	-	-
2.3544	15400	0.348	-	-
2.3697	15500	0.3565	-	-
2.3850	15600	0.3332	-	-
2.4002	15700	0.3489	-	-
2.4155	15800	0.3323	-	-
2.4308	15900	0.3419	-	-
2.4461	16000	0.3223	-	-
2.4614	16100	0.351	-	-
2.4767	16200	0.3349	-	-
2.4920	16300	0.3273	-	-
2.5073	16400	0.324	-	-
2.5226	16500	0.3575	-	-
2.5378	16600	0.3539	-	-
2.5531	16700	0.3612	-	-
2.5684	16800	0.3272	-	-
2.5837	16900	0.3587	-	-
2.5990	17000	0.3389	-	-
2.6143	17100	0.3067	-	-
2.6296	17200	0.3228	-	-
2.6449	17300	0.337	-	-
2.6601	17400	0.33	-	-
2.6754	17500	0.3502	-	-
2.6907	17600	0.3449	-	-
2.7060	17700	0.313	-	-
2.7213	17800	0.339	-	-
2.7366	17900	0.3446	-	-
2.7519	18000	0.3364	0.2360	0.3862
2.7672	18100	0.3342	-	-
2.7824	18200	0.3198	-	-
2.7977	18300	0.3294	-	-
2.8130	18400	0.3464	-	-
2.8283	18500	0.3322	-	-
2.8436	18600	0.3247	-	-
2.8589	18700	0.3176	-	-
2.8742	18800	0.299	-	-
2.8895	18900	0.3391	-	-
2.9048	19000	0.3395	-	-
2.9200	19100	0.2967	-	-
2.9353	19200	0.3313	-	-
2.9506	19300	0.3257	-	-
2.9659	19400	0.3381	-	-
2.9812	19500	0.1769	-	-
2.9965	19600	0.0	-	-
3.0118	19700	0.23	-	-
3.0271	19800	0.27	-	-
3.0423	19900	0.2895	-	-
3.0576	20000	0.2997	-	-
3.0729	20100	0.3011	-	-
3.0882	20200	0.2903	-	-
3.1035	20300	0.3038	-	-
3.1188	20400	0.3014	-	-
3.1341	20500	0.2972	-	-
3.1494	20600	0.3026	-	-
3.1647	20700	0.2948	-	-
3.1799	20800	0.3023	-	-
3.1952	20900	0.3069	-	-
3.2105	21000	0.2836	0.2409	0.3918
3.2258	21100	0.281	-	-
3.2411	21200	0.2886	-	-
3.2564	21300	0.3058	-	-
3.2717	21400	0.2907	-	-
3.2870	21500	0.278	-	-
3.3022	21600	0.3107	-	-
3.3175	21700	0.3038	-	-
3.3328	21800	0.3039	-	-
3.3481	21900	0.2796	-	-
3.3634	22000	0.3118	-	-
3.3787	22100	0.2984	-	-
3.3940	22200	0.2832	-	-
3.4093	22300	0.2826	-	-
3.4246	22400	0.2811	-	-
3.4398	22500	0.2894	-	-
3.4551	22600	0.305	-	-
3.4704	22700	0.3019	-	-
3.4857	22800	0.2918	-	-
3.5010	22900	0.268	-	-
3.5163	23000	0.2797	-	-
3.5316	23100	0.2812	-	-
3.5469	23200	0.2917	-	-
3.5621	23300	0.2825	-	-
3.5774	23400	0.2918	-	-
3.5927	23500	0.2665	-	-
3.6080	23600	0.2785	-	-
3.6233	23700	0.2972	-	-
3.6386	23800	0.2844	-	-
3.6539	23900	0.267	-	-
3.6692	24000	0.2743	0.2425	0.4022
3.6845	24100	0.2935	-	-
3.6997	24200	0.2922	-	-
3.7150	24300	0.2917	-	-
3.7303	24400	0.2899	-	-
3.7456	24500	0.2761	-	-
3.7609	24600	0.2971	-	-
3.7762	24700	0.2955	-	-
3.7915	24800	0.3049	-	-
3.8068	24900	0.2853	-	-
3.8220	25000	0.2872	-	-
3.8373	25100	0.2703	-	-
3.8526	25200	0.2856	-	-
3.8679	25300	0.2882	-	-
3.8832	25400	0.2916	-	-
3.8985	25500	0.2693	-	-
3.9138	25600	0.28	-	-
3.9291	25700	0.2781	-	-
3.9444	25800	0.2693	-	-
3.9596	25900	0.2844	-	-
3.9749	26000	0.275	-	-
3.9902	26100	0.0	-	-
4.0055	26200	0.1056	-	-
4.0208	26300	0.254	-	-
4.0361	26400	0.2548	-	-
4.0514	26500	0.2698	-	-
4.0667	26600	0.2637	-	-
4.0819	26700	0.2536	-	-
4.0972	26800	0.2792	-	-
4.1125	26900	0.2743	-	-
4.1278	27000	0.2771	0.2403	0.4027
4.1431	27100	0.2379	-	-
4.1584	27200	0.2429	-	-
4.1737	27300	0.2656	-	-
4.1890	27400	0.2767	-	-
4.2043	27500	0.2727	-	-
4.2195	27600	0.2375	-	-
4.2348	27700	0.2632	-	-
4.2501	27800	0.2371	-	-
4.2654	27900	0.2429	-	-
4.2807	28000	0.2651	-	-
4.2960	28100	0.2409	-	-
4.3113	28200	0.2475	-	-
4.3266	28300	0.2505	-	-
4.3418	28400	0.254	-	-
4.3571	28500	0.268	-	-
4.3724	28600	0.2461	-	-
4.3877	28700	0.2616	-	-
4.4030	28800	0.2421	-	-
4.4183	28900	0.2482	-	-
4.4336	29000	0.244	-	-
4.4489	29100	0.2544	-	-
4.4641	29200	0.2586	-	-
4.4794	29300	0.2807	-	-
4.4947	29400	0.2537	-	-
4.5100	29500	0.2524	-	-
4.5253	29600	0.2499	-	-
4.5406	29700	0.2532	-	-
4.5559	29800	0.264	-	-
4.5712	29900	0.2625	-	-
4.5865	30000	0.2534	0.2362	0.3952
4.6017	30100	0.2517	-	-
4.6170	30200	0.2416	-	-
4.6323	30300	0.2685	-	-
4.6476	30400	0.2603	-	-
4.6629	30500	0.2398	-	-
4.6782	30600	0.2556	-	-
4.6935	30700	0.2529	-	-
4.7088	30800	0.2429	-	-
4.7240	30900	0.247	-	-
4.7393	31000	0.2499	-	-
4.7546	31100	0.2616	-	-
4.7699	31200	0.2451	-	-
4.7852	31300	0.2387	-	-
4.8005	31400	0.2409	-	-
4.8158	31500	0.2575	-	-
4.8311	31600	0.2296	-	-
4.8464	31700	0.2203	-	-
4.8616	31800	0.2289	-	-
4.8769	31900	0.2372	-	-
4.8922	32000	0.2579	-	-
4.9075	32100	0.2472	-	-
4.9228	32200	0.2763	-	-
4.9381	32300	0.2404	-	-
4.9534	32400	0.2533	-	-
4.9687	32500	0.2468	-	-
4.9839	32600	0.0929	-	-
4.9992	32700	0.0	-	-

Framework Versions

Python: 3.12.6
Sentence Transformers: 5.1.2
Transformers: 4.56.0
PyTorch: 2.8.0+cu129
Accelerate: 1.10.1
Datasets: 4.4.1
Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}