SentenceTransformer based on tintnguyen/bert-base-vi-uncased

This is a sentence-transformers model finetuned from tintnguyen/bert-base-vi-uncased. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: tintnguyen/bert-base-vi-uncased
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/bert-base-vi-uncased-st")
# Run inference
sentences = [
    'phương pháp lóc ối bác sĩ sẽ làm gì',
    'Khi thai phụ đã quá ngày dự sinh, các phương pháp sau đây có thể được bác sĩ cân nhắc lựa chọn để gây khởi phát chuyển dạ:\nLóc ối: Với biện pháp này, bác sĩ sẽ đeo găng và dùng ngón tay để tách màng ối ra khỏi thành tử cung.\nPhá vỡ túi nước ối: Bác sĩ sẽ tạo một lỗ nhỏ trên túi nước ối để làm vỡ ối, qua đó kích thích sự chuyển dạ.\nOxytocin: Là một loại thuốc giúp tạo ra các cơn co thắt chuyển dạ, được tiêm theo đường tĩnh mạch vào cánh tay của thai phụ. Liều lượng có thể được tăng dần theo thời gian nhưng phải theo dõi cẩn thận.\nCác chất tương tự Prostaglandin: Đây là những loại thuốc được đặt trong âm đạo để làm chín muồi cổ tử cung.\nLàm giãn nở cổ tử cung: Bác sĩ có thể đặt ống thông có gắn một quả bong bóng rất nhỏ vào cuối cổ tử cung của thai phụ. Sau đó, nước sẽ được bơm vào quả bóng. Khi bóng đã được bơm căng, nó sẽ gây ra tác động áp lực, giúp cổ tử cung mở ra và quá trình chuyển dạ sẽ bắt đầu.',
    'Nghĩa quân Tây Sơn ở vào thế bất lợi: phía bắc có quân Trịnh, phía nam còn quân Nguyễn. Nguyễn Nhạc phải tạm hoà hoãn với quân Trịnh để dồn sức đánh Nguyễn. Từ năm 1776 đến năm 1783, nghĩa quân Tây Sơn đã bốn lần đánh vào Gia Định.Trong lần tiến quân năm 1777, Tây Sơn bắt giết được chúa Nguyễn, chỉ còn Nguyễn Ánh chạy thoát. Chính quyền họ Nguyễn ở Đàng Trong đến đây bị lật đổ.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 631,587 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 5 tokens
mean: 10.92 tokens
max: 41 tokens

min: 8 tokens
mean: 106.79 tokens
max: 512 tokens

	anchor	positive
type	string	string
details	min: 5 tokens mean: 10.92 tokens max: 41 tokens	min: 8 tokens mean: 106.79 tokens max: 512 tokens

Samples:

anchor	positive
`bạn có thể lấy hộ chiếu ở dmv không`	`Nộp đơn xin Hộ chiếu Hoa Kỳ tại Văn phòng DMV. Xuất bản 27/09/2001 01:53 PM`
`tổng số người mỹ thiệt mạng trong tất cả các cuộc chiến tranh`	1 Con số chính thức của người Mỹ thiệt mạng trong Chiến tranh Cách mạng (4.435) chỉ bằng khoảng 2/3 con số mà các nhà sử học đưa ra. Tổng số người Mỹ thiệt mạng trong Nội chiến được đưa ra là 140.414 - cao hơn khoảng 30.000 so với hầu hết các nhà sử học ước tính. Tôi nghi ngờ (nhưng không biết chắc chắn) rằng sự gia tăng có thể đến từ việc DoD tính số người chết trong tù binh là chiến đấu hơn là bệnh tật.
`lý thuyết vụ nổ lớn được quay ở đâu`	`Thuyết Vụ nổ lớn được ghi hình tại Warner Bros. Studios ở Burbank, California. Bạn phải từ mười tám tuổi trở lên để tham gia buổi ghi hình Thuyết Vụ nổ lớn. Số lượng vé có hạn và nhu cầu rất cao. Vé được bán miễn phí trên TVTickets.com. Phần thứ 10 của Big Bang Theory hiện đang được sản xuất.`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

Size: 300 evaluation samples
Columns: anchor and positive
Approximate statistics based on the first 300 samples:
anchor positive
type string string
details
min: 5 tokens
mean: 11.02 tokens
max: 43 tokens

min: 4 tokens
mean: 108.76 tokens
max: 512 tokens

	anchor	positive
type	string	string
details	min: 5 tokens mean: 11.02 tokens max: 43 tokens	min: 4 tokens mean: 108.76 tokens max: 512 tokens

Samples:

anchor	positive
`lúa mạch đen được dùng làm gì và ăn ở pháp`	Tiêu dùng và sử dụng của con người. Như đã nói trước đó, hầu hết lúa mạch đen được trồng ở châu Âu là để làm bánh mì. Canada có một số lượng hạn chế hạt lúa mạch đen được sử dụng để chưng cất và sử dụng thực phẩm, và ở Mỹ khoảng một nửa lúa mạch đen làm ngũ cốc được sử dụng cho những mục đích này (7, 8). Hạt lúa mạch đen được sử dụng để làm bột mì, thức ăn gia súc, hoặc bia. Nó cũng có thể được ăn toàn bộ, dưới dạng quả mọng lúa mạch đen luộc, hoặc bằng cách cuộn lại, tương tự như yến mạch cán (10).
`kỳ hạm của hải quân chúng tôi là gì`	`USS Hiến pháp là kỳ hạm truyền thống của Hải quân Hoa Kỳ. Và nó vẫn đang được thực hiện và được điều khiển bởi một thủy thủ đoàn Hải quân Hoa Kỳ. USS Constellation CVN-64 được Tổng thống Ronald Reagan đặt cho biệt danh là Chiến hạm của Hoa Kỳ. Nó hiện đã ngừng hoạt động và được thay thế trong hạm đội bằng tàu sân bay USS Ronald Reagan CVN-76.`
`cửa sổ kính lớn nhất`	Cửa sổ kính màu lớn nhất thế giới. Cửa sổ kính màu lớn nhất thế giới thực sự nằm trong lăng mộ tại Nghĩa trang Phục sinh ở Công lý. Nó chứa 2.448 tấm và rộng 22.381 feet vuông. Cũng cần lưu ý thêm, nó chỉ cách nhà máy cải tạo nước Stickney, cơ sở xử lý nước thải lớn nhất (vào tháng 7 và cả tháng 8, là cơ sở xử lý nước thải bốc mùi nhất trên thế giới, vài dặm ngắn) chỉ vài dặm ngắn.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
learning_rate: 2e-05
num_train_epochs: 2
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss
0.0025	100	1.6877	-
0.0051	200	1.259	-
0.0076	300	0.6289	-
0.0101	400	0.3623	-
0.0127	500	0.3353	-
0.0152	600	0.2671	-
0.0177	700	0.1881	-
0.0203	800	0.179	-
0.0228	900	0.1611	-
0.0253	1000	0.1587	0.1468
0.0279	1100	0.141	-
0.0304	1200	0.13	-
0.0329	1300	0.1257	-
0.0355	1400	0.1153	-
0.0380	1500	0.1341	-
0.0405	1600	0.1227	-
0.0431	1700	0.1024	-
0.0456	1800	0.0818	-
0.0481	1900	0.1069	-
0.0507	2000	0.0831	0.0978
0.0532	2100	0.1035	-
0.0557	2200	0.0949	-
0.0583	2300	0.1037	-
0.0608	2400	0.0894	-
0.0633	2500	0.0831	-
0.0659	2600	0.1085	-
0.0684	2700	0.0815	-
0.0709	2800	0.071	-
0.0735	2900	0.0889	-
0.0760	3000	0.0832	0.0704
0.0785	3100	0.0992	-
0.0811	3200	0.0733	-
0.0836	3300	0.0878	-
0.0861	3400	0.0757	-
0.0887	3500	0.0476	-
0.0912	3600	0.0741	-
0.0937	3700	0.0766	-
0.0963	3800	0.0736	-
0.0988	3900	0.0673	-
0.1013	4000	0.0718	0.0566
0.1039	4100	0.0649	-
0.1064	4200	0.0767	-
0.1089	4300	0.073	-
0.1115	4400	0.0745	-
0.1140	4500	0.0692	-
0.1165	4600	0.0652	-
0.1191	4700	0.077	-
0.1216	4800	0.0749	-
0.1241	4900	0.0493	-
0.1267	5000	0.0653	0.0533
0.1292	5100	0.073	-
0.1317	5200	0.0652	-
0.1343	5300	0.0639	-
0.1368	5400	0.0549	-
0.1393	5500	0.0731	-
0.1419	5600	0.0832	-
0.1444	5700	0.0687	-
0.1469	5800	0.0711	-
0.1495	5900	0.0709	-
0.1520	6000	0.0547	0.0626
0.1545	6100	0.084	-
0.1571	6200	0.0743	-
0.1596	6300	0.0706	-
0.1621	6400	0.0664	-
0.1647	6500	0.0682	-
0.1672	6600	0.0534	-
0.1697	6700	0.0642	-
0.1723	6800	0.0624	-
0.1748	6900	0.0648	-
0.1773	7000	0.0697	0.0509
0.1799	7100	0.0784	-
0.1824	7200	0.0871	-
0.1849	7300	0.0711	-
0.1875	7400	0.0718	-
0.1900	7500	0.0543	-
0.1925	7600	0.0676	-
0.1951	7700	0.0724	-
0.1976	7800	0.0579	-
0.2001	7900	0.0781	-
0.2027	8000	0.0909	0.0736
0.2052	8100	0.0653	-
0.2077	8200	0.0535	-
0.2103	8300	0.0801	-
0.2128	8400	0.0794	-
0.2153	8500	0.0615	-
0.2179	8600	0.0646	-
0.2204	8700	0.0497	-
0.2229	8800	0.06	-
0.2255	8900	0.0495	-
0.2280	9000	0.0685	0.0450
0.2305	9100	0.0606	-
0.2331	9200	0.0577	-
0.2356	9300	0.0464	-
0.2381	9400	0.0622	-
0.2407	9500	0.0567	-
0.2432	9600	0.0545	-
0.2457	9700	0.0455	-
0.2483	9800	0.0642	-
0.2508	9900	0.0612	-
0.2533	10000	0.0658	0.0310
0.2559	10100	0.0618	-
0.2584	10200	0.052	-
0.2609	10300	0.0504	-
0.2635	10400	0.0593	-
0.2660	10500	0.0534	-
0.2685	10600	0.0555	-
0.2711	10700	0.0583	-
0.2736	10800	0.0472	-
0.2761	10900	0.0591	-
0.2787	11000	0.039	0.0300
0.2812	11100	0.0446	-
0.2837	11200	0.0375	-
0.2863	11300	0.0515	-
0.2888	11400	0.0577	-
0.2913	11500	0.046	-
0.2939	11600	0.0518	-
0.2964	11700	0.055	-
0.2989	11800	0.0492	-
0.3015	11900	0.0513	-
0.3040	12000	0.0442	0.0278
0.3065	12100	0.0675	-
0.3091	12200	0.0526	-
0.3116	12300	0.0688	-
0.3141	12400	0.0589	-
0.3167	12500	0.0602	-
0.3192	12600	0.0551	-
0.3217	12700	0.0681	-
0.3243	12800	0.0522	-
0.3268	12900	0.047	-
0.3293	13000	0.0376	0.0282
0.3319	13100	0.0396	-
0.3344	13200	0.0467	-
0.3369	13300	0.0498	-
0.3395	13400	0.0402	-
0.3420	13500	0.0398	-
0.3445	13600	0.041	-
0.3471	13700	0.0516	-
0.3496	13800	0.0518	-
0.3521	13900	0.0413	-
0.3547	14000	0.0463	0.0199
0.3572	14100	0.0442	-
0.3597	14200	0.0695	-
0.3623	14300	0.0595	-
0.3648	14400	0.0435	-
0.3673	14500	0.0372	-
0.3699	14600	0.0398	-
0.3724	14700	0.0357	-
0.3749	14800	0.0467	-
0.3775	14900	0.0611	-
0.3800	15000	0.054	0.0233
0.3825	15100	0.0411	-
0.3851	15200	0.0485	-
0.3876	15300	0.0388	-
0.3901	15400	0.0474	-
0.3927	15500	0.0525	-
0.3952	15600	0.0568	-
0.3977	15700	0.0414	-
0.4003	15800	0.0375	-
0.4028	15900	0.0606	-
0.4053	16000	0.0495	0.0238
0.4079	16100	0.0407	-
0.4104	16200	0.0383	-
0.4129	16300	0.0318	-
0.4155	16400	0.0503	-
0.4180	16500	0.0386	-
0.4205	16600	0.0397	-
0.4231	16700	0.0409	-
0.4256	16800	0.0484	-
0.4281	16900	0.0514	-
0.4307	17000	0.0359	0.0216
0.4332	17100	0.0411	-
0.4357	17200	0.0372	-
0.4383	17300	0.0489	-
0.4408	17400	0.0364	-
0.4433	17500	0.0517	-
0.4459	17600	0.0422	-
0.4484	17700	0.0334	-
0.4509	17800	0.0532	-
0.4535	17900	0.0384	-
0.4560	18000	0.03	0.0200
0.4585	18100	0.034	-
0.4611	18200	0.0429	-
0.4636	18300	0.0448	-
0.4661	18400	0.03	-
0.4687	18500	0.0338	-
0.4712	18600	0.0436	-
0.4737	18700	0.0271	-
0.4763	18800	0.0516	-
0.4788	18900	0.0358	-
0.4813	19000	0.046	0.0255
0.4839	19100	0.0367	-
0.4864	19200	0.032	-
0.4889	19300	0.0363	-
0.4915	19400	0.0352	-
0.4940	19500	0.041	-
0.4965	19600	0.0508	-
0.4991	19700	0.0454	-
0.5016	19800	0.0459	-
0.5041	19900	0.0295	-
0.5066	20000	0.0415	0.0228
0.5092	20100	0.0422	-
0.5117	20200	0.0317	-
0.5142	20300	0.0263	-
0.5168	20400	0.0568	-
0.5193	20500	0.0339	-
0.5218	20600	0.0295	-
0.5244	20700	0.042	-
0.5269	20800	0.0343	-
0.5294	20900	0.0322	-
0.5320	21000	0.0328	0.0204
0.5345	21100	0.0407	-
0.5370	21200	0.0306	-
0.5396	21300	0.0295	-
0.5421	21400	0.0329	-
0.5446	21500	0.0297	-
0.5472	21600	0.0298	-
0.5497	21700	0.0261	-
0.5522	21800	0.0429	-
0.5548	21900	0.039	-
0.5573	22000	0.0336	0.0151
0.5598	22100	0.0417	-
0.5624	22200	0.0424	-
0.5649	22300	0.0447	-
0.5674	22400	0.0482	-
0.5700	22500	0.0253	-
0.5725	22600	0.0412	-
0.5750	22700	0.0425	-
0.5776	22800	0.0304	-
0.5801	22900	0.0302	-
0.5826	23000	0.0275	0.0144
0.5852	23100	0.0255	-
0.5877	23200	0.0266	-
0.5902	23300	0.038	-
0.5928	23400	0.0254	-
0.5953	23500	0.0486	-
0.5978	23600	0.0325	-
0.6004	23700	0.041	-
0.6029	23800	0.0307	-
0.6054	23900	0.037	-
0.6080	24000	0.0377	0.0194
0.6105	24100	0.0331	-
0.6130	24200	0.0386	-
0.6156	24300	0.0184	-
0.6181	24400	0.0244	-
0.6206	24500	0.0279	-
0.6232	24600	0.0351	-
0.6257	24700	0.0577	-
0.6282	24800	0.0434	-
0.6308	24900	0.0223	-
0.6333	25000	0.0264	0.0151
0.6358	25100	0.0378	-
0.6384	25200	0.0212	-
0.6409	25300	0.0245	-
0.6434	25400	0.0321	-
0.6460	25500	0.0391	-
0.6485	25600	0.0276	-
0.6510	25700	0.0253	-
0.6536	25800	0.0295	-
0.6561	25900	0.0225	-
0.6586	26000	0.0312	0.0133
0.6612	26100	0.0367	-
0.6637	26200	0.029	-
0.6662	26300	0.0311	-
0.6688	26400	0.0383	-
0.6713	26500	0.0357	-
0.6738	26600	0.0259	-
0.6764	26700	0.0277	-
0.6789	26800	0.0278	-
0.6814	26900	0.0242	-
0.6840	27000	0.0288	0.0183
0.6865	27100	0.0352	-
0.6890	27200	0.0298	-
0.6916	27300	0.0448	-
0.6941	27400	0.0299	-
0.6966	27500	0.0385	-
0.6992	27600	0.0365	-
0.7017	27700	0.022	-
0.7042	27800	0.0339	-
0.7068	27900	0.0371	-
0.7093	28000	0.0322	0.0183
0.7118	28100	0.0365	-
0.7144	28200	0.0271	-
0.7169	28300	0.0238	-
0.7194	28400	0.033	-
0.7220	28500	0.0225	-
0.7245	28600	0.022	-
0.7270	28700	0.0132	-
0.7296	28800	0.0304	-
0.7321	28900	0.0357	-
0.7346	29000	0.025	0.0149
0.7372	29100	0.0251	-
0.7397	29200	0.0238	-
0.7422	29300	0.0337	-
0.7448	29400	0.0277	-
0.7473	29500	0.02	-
0.7498	29600	0.0216	-
0.7524	29700	0.0203	-
0.7549	29800	0.0216	-
0.7574	29900	0.0317	-
0.7600	30000	0.0274	0.0116
0.7625	30100	0.0284	-
0.7650	30200	0.0407	-
0.7676	30300	0.0326	-
0.7701	30400	0.0207	-
0.7726	30500	0.0284	-
0.7752	30600	0.0386	-
0.7777	30700	0.031	-
0.7802	30800	0.0215	-
0.7828	30900	0.0243	-
0.7853	31000	0.0248	0.0132
0.7878	31100	0.0366	-
0.7904	31200	0.0248	-
0.7929	31300	0.0336	-
0.7954	31400	0.0316	-
0.7980	31500	0.0252	-
0.8005	31600	0.0236	-
0.8030	31700	0.0277	-
0.8056	31800	0.0256	-
0.8081	31900	0.0462	-
0.8106	32000	0.0322	0.0155
0.8132	32100	0.0159	-
0.8157	32200	0.0216	-
0.8182	32300	0.018	-
0.8208	32400	0.0232	-
0.8233	32500	0.024	-
0.8258	32600	0.0254	-
0.8284	32700	0.0334	-
0.8309	32800	0.0204	-
0.8334	32900	0.0352	-
0.8360	33000	0.024	0.0180
0.8385	33100	0.0368	-
0.8410	33200	0.0243	-
0.8436	33300	0.0196	-
0.8461	33400	0.0264	-
0.8486	33500	0.026	-
0.8512	33600	0.0201	-
0.8537	33700	0.0245	-
0.8562	33800	0.0205	-
0.8588	33900	0.0244	-
0.8613	34000	0.0174	0.0211
0.8638	34100	0.019	-
0.8664	34200	0.031	-
0.8689	34300	0.0257	-
0.8714	34400	0.0195	-
0.8740	34500	0.0274	-
0.8765	34600	0.0197	-
0.8790	34700	0.0154	-
0.8816	34800	0.0233	-
0.8841	34900	0.0314	-
0.8866	35000	0.0223	0.0172
0.8892	35100	0.0264	-
0.8917	35200	0.0214	-
0.8942	35300	0.0264	-
0.8968	35400	0.0194	-
0.8993	35500	0.0221	-
0.9018	35600	0.0185	-
0.9044	35700	0.029	-
0.9069	35800	0.0188	-
0.9094	35900	0.0407	-
0.9120	36000	0.0251	0.0188
0.9145	36100	0.0295	-
0.9170	36200	0.0233	-
0.9196	36300	0.0265	-
0.9221	36400	0.027	-
0.9246	36500	0.022	-
0.9272	36600	0.0174	-
0.9297	36700	0.0204	-
0.9322	36800	0.0314	-
0.9348	36900	0.0256	-
0.9373	37000	0.0139	0.0129
0.9398	37100	0.0237	-
0.9424	37200	0.0235	-
0.9449	37300	0.0202	-
0.9474	37400	0.0178	-
0.9500	37500	0.0225	-
0.9525	37600	0.0224	-
0.9550	37700	0.0259	-
0.9576	37800	0.0215	-
0.9601	37900	0.0197	-
0.9626	38000	0.0208	0.0108
0.9652	38100	0.0296	-
0.9677	38200	0.019	-
0.9702	38300	0.0185	-
0.9728	38400	0.0271	-
0.9753	38500	0.0336	-
0.9778	38600	0.0209	-
0.9804	38700	0.0321	-
0.9829	38800	0.0138	-
0.9854	38900	0.0185	-
0.9880	39000	0.0226	0.0119
0.9905	39100	0.0201	-
0.9930	39200	0.0183	-
0.9956	39300	0.0253	-
0.9981	39400	0.0304	-
1.0006	39500	0.0163	-
1.0032	39600	0.0291	-
1.0057	39700	0.0202	-
1.0082	39800	0.0125	-
1.0108	39900	0.0171	-
1.0133	40000	0.0159	0.0169
1.0158	40100	0.0188	-
1.0184	40200	0.024	-
1.0209	40300	0.0269	-
1.0234	40400	0.0286	-
1.0260	40500	0.0194	-
1.0285	40600	0.0174	-
1.0310	40700	0.0241	-
1.0336	40800	0.0198	-
1.0361	40900	0.0214	-
1.0386	41000	0.0182	0.0138
1.0412	41100	0.0148	-
1.0437	41200	0.0161	-
1.0462	41300	0.0234	-
1.0488	41400	0.0177	-
1.0513	41500	0.0105	-
1.0538	41600	0.0201	-
1.0564	41700	0.0211	-
1.0589	41800	0.0157	-
1.0614	41900	0.0164	-
1.0640	42000	0.0146	0.0080
1.0665	42100	0.0223	-
1.0690	42200	0.0269	-
1.0716	42300	0.0218	-
1.0741	42400	0.0294	-
1.0766	42500	0.0166	-
1.0792	42600	0.0173	-
1.0817	42700	0.015	-
1.0842	42800	0.015	-
1.0868	42900	0.0166	-
1.0893	43000	0.0123	0.0088
1.0918	43100	0.0137	-
1.0944	43200	0.01	-
1.0969	43300	0.0156	-
1.0994	43400	0.0126	-
1.1020	43500	0.0197	-
1.1045	43600	0.014	-
1.1070	43700	0.0154	-
1.1096	43800	0.0214	-
1.1121	43900	0.0157	-
1.1146	44000	0.0151	0.0093
1.1172	44100	0.014	-
1.1197	44200	0.0138	-
1.1222	44300	0.0126	-
1.1248	44400	0.0084	-
1.1273	44500	0.0124	-
1.1298	44600	0.0117	-
1.1324	44700	0.0098	-
1.1349	44800	0.0099	-
1.1374	44900	0.0115	-
1.1400	45000	0.0188	0.0051
1.1425	45100	0.0129	-
1.1450	45200	0.0128	-
1.1476	45300	0.015	-
1.1501	45400	0.0106	-
1.1526	45500	0.0115	-
1.1552	45600	0.0144	-
1.1577	45700	0.0144	-
1.1602	45800	0.0078	-
1.1628	45900	0.0143	-
1.1653	46000	0.0122	0.0089
1.1678	46100	0.0059	-
1.1704	46200	0.0119	-
1.1729	46300	0.0103	-
1.1754	46400	0.0083	-
1.1780	46500	0.0148	-
1.1805	46600	0.0097	-
1.1830	46700	0.0067	-
1.1856	46800	0.0116	-
1.1881	46900	0.0124	-
1.1906	47000	0.0063	0.0125
1.1932	47100	0.007	-
1.1957	47200	0.0095	-
1.1982	47300	0.0072	-
1.2008	47400	0.0124	-
1.2033	47500	0.0109	-
1.2058	47600	0.0108	-
1.2084	47700	0.0057	-
1.2109	47800	0.0133	-
1.2134	47900	0.0095	-
1.2160	48000	0.0057	0.0107
1.2185	48100	0.0085	-
1.2210	48200	0.0037	-
1.2236	48300	0.0077	-
1.2261	48400	0.0128	-
1.2286	48500	0.0124	-
1.2312	48600	0.0081	-
1.2337	48700	0.008	-
1.2362	48800	0.0051	-
1.2388	48900	0.0101	-
1.2413	49000	0.0059	0.0124
1.2438	49100	0.0063	-
1.2464	49200	0.0075	-
1.2489	49300	0.0064	-
1.2514	49400	0.0065	-
1.2540	49500	0.0056	-
1.2565	49600	0.0098	-
1.2590	49700	0.0062	-
1.2616	49800	0.0067	-
1.2641	49900	0.0046	-
1.2666	50000	0.0088	0.0114
1.2692	50100	0.005	-
1.2717	50200	0.0083	-
1.2742	50300	0.0073	-
1.2768	50400	0.0084	-
1.2793	50500	0.0044	-
1.2818	50600	0.0052	-
1.2844	50700	0.0045	-
1.2869	50800	0.0085	-
1.2894	50900	0.0057	-
1.2920	51000	0.0048	0.0111
1.2945	51100	0.0059	-
1.2970	51200	0.0065	-
1.2996	51300	0.0057	-
1.3021	51400	0.0059	-
1.3046	51500	0.0056	-
1.3072	51600	0.0124	-
1.3097	51700	0.0067	-
1.3122	51800	0.011	-
1.3148	51900	0.0078	-
1.3173	52000	0.0068	0.0110
1.3198	52100	0.006	-
1.3224	52200	0.0084	-
1.3249	52300	0.0064	-
1.3274	52400	0.0055	-
1.3300	52500	0.0032	-
1.3325	52600	0.0049	-
1.3350	52700	0.0068	-
1.3376	52800	0.0067	-
1.3401	52900	0.006	-
1.3426	53000	0.0058	0.0098
1.3452	53100	0.0046	-
1.3477	53200	0.0055	-
1.3502	53300	0.0074	-
1.3528	53400	0.0029	-
1.3553	53500	0.0071	-
1.3578	53600	0.0074	-
1.3604	53700	0.0068	-
1.3629	53800	0.0066	-
1.3654	53900	0.0077	-
1.3680	54000	0.0069	0.0107
1.3705	54100	0.0039	-
1.3730	54200	0.0051	-
1.3756	54300	0.0038	-
1.3781	54400	0.0073	-
1.3806	54500	0.0087	-
1.3832	54600	0.0053	-
1.3857	54700	0.0054	-
1.3882	54800	0.0091	-
1.3908	54900	0.0067	-
1.3933	55000	0.0071	0.0094
1.3958	55100	0.0056	-
1.3984	55200	0.0043	-
1.4009	55300	0.0059	-
1.4034	55400	0.007	-
1.4060	55500	0.0064	-
1.4085	55600	0.006	-
1.4110	55700	0.0031	-
1.4136	55800	0.0058	-
1.4161	55900	0.0056	-
1.4186	56000	0.0052	0.0096
1.4212	56100	0.0045	-
1.4237	56200	0.0046	-
1.4262	56300	0.0044	-
1.4288	56400	0.0076	-
1.4313	56500	0.0029	-
1.4338	56600	0.005	-
1.4364	56700	0.0042	-
1.4389	56800	0.0066	-
1.4414	56900	0.0119	-
1.4440	57000	0.0033	0.0076
1.4465	57100	0.0076	-
1.4490	57200	0.0058	-
1.4516	57300	0.0054	-
1.4541	57400	0.0039	-
1.4566	57500	0.0057	-
1.4592	57600	0.008	-
1.4617	57700	0.0082	-
1.4642	57800	0.0041	-
1.4668	57900	0.0037	-
1.4693	58000	0.0048	0.0078
1.4718	58100	0.0041	-
1.4744	58200	0.0049	-
1.4769	58300	0.0085	-
1.4794	58400	0.0036	-
1.4820	58500	0.0061	-
1.4845	58600	0.0039	-
1.4870	58700	0.0049	-
1.4896	58800	0.0027	-
1.4921	58900	0.003	-
1.4946	59000	0.006	0.0097
1.4972	59100	0.0068	-
1.4997	59200	0.0083	-
1.5022	59300	0.0066	-
1.5047	59400	0.0049	-
1.5073	59500	0.0034	-
1.5098	59600	0.0044	-
1.5123	59700	0.0036	-
1.5149	59800	0.0041	-
1.5174	59900	0.006	-
1.5199	60000	0.0063	0.0099
1.5225	60100	0.0028	-
1.5250	60200	0.0045	-
1.5275	60300	0.0056	-
1.5301	60400	0.0046	-
1.5326	60500	0.0053	-
1.5351	60600	0.0044	-
1.5377	60700	0.0053	-
1.5402	60800	0.0044	-
1.5427	60900	0.0034	-
1.5453	61000	0.0033	0.0073
1.5478	61100	0.005	-
1.5503	61200	0.0027	-
1.5529	61300	0.0049	-
1.5554	61400	0.0048	-
1.5579	61500	0.0032	-
1.5605	61600	0.0043	-
1.5630	61700	0.0049	-
1.5655	61800	0.0062	-
1.5681	61900	0.0076	-
1.5706	62000	0.006	0.0053
1.5731	62100	0.0078	-
1.5757	62200	0.0033	-
1.5782	62300	0.0031	-
1.5807	62400	0.0038	-
1.5833	62500	0.0026	-
1.5858	62600	0.0036	-
1.5883	62700	0.0034	-
1.5909	62800	0.0076	-
1.5934	62900	0.0039	-
1.5959	63000	0.006	0.0073
1.5985	63100	0.0055	-
1.6010	63200	0.0046	-
1.6035	63300	0.0042	-
1.6061	63400	0.0061	-
1.6086	63500	0.003	-
1.6111	63600	0.0034	-
1.6137	63700	0.0058	-
1.6162	63800	0.0036	-
1.6187	63900	0.0015	-
1.6213	64000	0.0052	0.0076
1.6238	64100	0.0047	-
1.6263	64200	0.0083	-
1.6289	64300	0.0035	-
1.6314	64400	0.0025	-
1.6339	64500	0.0052	-
1.6365	64600	0.0029	-
1.6390	64700	0.0019	-
1.6415	64800	0.0036	-
1.6441	64900	0.002	-
1.6466	65000	0.007	0.0074
1.6491	65100	0.0038	-
1.6517	65200	0.0051	-
1.6542	65300	0.0027	-
1.6567	65400	0.003	-
1.6593	65500	0.0045	-
1.6618	65600	0.0067	-
1.6643	65700	0.003	-
1.6669	65800	0.0033	-
1.6694	65900	0.0043	-
1.6719	66000	0.0025	0.0071
1.6745	66100	0.0025	-
1.6770	66200	0.0057	-
1.6795	66300	0.0029	-
1.6821	66400	0.0016	-
1.6846	66500	0.0055	-
1.6871	66600	0.0029	-
1.6897	66700	0.0031	-
1.6922	66800	0.006	-
1.6947	66900	0.003	-
1.6973	67000	0.0042	0.0072
1.6998	67100	0.0049	-
1.7023	67200	0.0018	-
1.7049	67300	0.0043	-
1.7074	67400	0.007	-
1.7099	67500	0.0025	-
1.7125	67600	0.0051	-
1.7150	67700	0.0056	-
1.7175	67800	0.003	-
1.7201	67900	0.0041	-
1.7226	68000	0.0025	0.0082
1.7251	68100	0.0018	-
1.7277	68200	0.0034	-
1.7302	68300	0.0065	-
1.7327	68400	0.0047	-
1.7353	68500	0.0052	-
1.7378	68600	0.0013	-
1.7403	68700	0.0063	-
1.7429	68800	0.0047	-
1.7454	68900	0.004	-
1.7479	69000	0.0026	0.0077
1.7505	69100	0.0032	-
1.7530	69200	0.0031	-
1.7555	69300	0.0024	-
1.7581	69400	0.0022	-
1.7606	69500	0.0029	-
1.7631	69600	0.0055	-
1.7657	69700	0.0031	-
1.7682	69800	0.004	-
1.7707	69900	0.0032	-
1.7733	70000	0.0034	0.0067
1.7758	70100	0.007	-
1.7783	70200	0.0049	-
1.7809	70300	0.0023	-
1.7834	70400	0.0028	-
1.7859	70500	0.0048	-
1.7885	70600	0.0042	-
1.7910	70700	0.006	-
1.7935	70800	0.006	-
1.7961	70900	0.0044	-
1.7986	71000	0.0036	0.0063
1.8011	71100	0.0025	-
1.8037	71200	0.0027	-
1.8062	71300	0.0033	-
1.8087	71400	0.0045	-
1.8113	71500	0.0037	-
1.8138	71600	0.0023	-
1.8163	71700	0.0021	-
1.8189	71800	0.0019	-
1.8214	71900	0.0046	-
1.8239	72000	0.0029	0.0065
1.8265	72100	0.0061	-
1.8290	72200	0.005	-
1.8315	72300	0.0036	-
1.8341	72400	0.0057	-
1.8366	72500	0.0049	-
1.8391	72600	0.0068	-
1.8417	72700	0.0026	-
1.8442	72800	0.0032	-
1.8467	72900	0.0036	-
1.8493	73000	0.0026	0.0066
1.8518	73100	0.0024	-
1.8543	73200	0.0014	-
1.8569	73300	0.0022	-
1.8594	73400	0.0039	-
1.8619	73500	0.0019	-
1.8645	73600	0.0016	-
1.8670	73700	0.0034	-
1.8695	73800	0.004	-
1.8721	73900	0.0014	-
1.8746	74000	0.004	0.0062
1.8771	74100	0.0014	-
1.8797	74200	0.0025	-
1.8822	74300	0.0025	-
1.8847	74400	0.0037	-
1.8873	74500	0.0038	-
1.8898	74600	0.0029	-
1.8923	74700	0.0037	-
1.8949	74800	0.0026	-
1.8974	74900	0.0019	-
1.8999	75000	0.0013	0.0062
1.9025	75100	0.0027	-
1.9050	75200	0.0028	-
1.9075	75300	0.0014	-
1.9101	75400	0.0067	-
1.9126	75500	0.0023	-
1.9151	75600	0.0024	-
1.9177	75700	0.0021	-
1.9202	75800	0.0062	-
1.9227	75900	0.0104	-
1.9253	76000	0.0021	0.0064
1.9278	76100	0.0023	-
1.9303	76200	0.0059	-
1.9329	76300	0.0055	-
1.9354	76400	0.002	-
1.9379	76500	0.0029	-
1.9405	76600	0.0028	-
1.9430	76700	0.0021	-
1.9455	76800	0.0037	-
1.9481	76900	0.0019	-
1.9506	77000	0.0027	0.0062
1.9531	77100	0.0039	-
1.9557	77200	0.0027	-
1.9582	77300	0.0034	-
1.9607	77400	0.005	-
1.9633	77500	0.0022	-
1.9658	77600	0.0072	-
1.9683	77700	0.0025	-
1.9709	77800	0.0019	-
1.9734	77900	0.0034	-
1.9759	78000	0.0068	0.0060
1.9785	78100	0.0042	-
1.9810	78200	0.0041	-
1.9835	78300	0.0018	-
1.9861	78400	0.0019	-
1.9886	78500	0.0029	-
1.9911	78600	0.0039	-
1.9937	78700	0.0023	-
1.9962	78800	0.0092	-
1.9987	78900	0.0018	-

Framework Versions

Python: 3.11.10
Sentence Transformers: 3.3.1
Transformers: 4.46.3
PyTorch: 2.5.1+cu124
Accelerate: 1.1.1
Datasets: 3.1.0
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}