tintnguyen/bert-base-vi-uncased-st-4

SentenceTransformer based on tintnguyen/bert-base-vi-uncased-st-3

This is a sentence-transformers model finetuned from tintnguyen/bert-base-vi-uncased-st-3 on the train dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tintnguyen/bert-base-vi-uncased-st-3
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • train

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/bert-base-vi-uncased-st-4")
# Run inference
sentences = [
    'rotheca là gì',
    'Rotheca ::: Rotheca là một chi thực vật có hoa trong họ Hoa môi (Lamiaceae).',
    'Rothera ::: Trạm Nghiên cứu Rothera là một Cơ sở Khảo sát Nam Cực của Anh (BAS) trên bán đảo Nam Cực, tọa lạc tại Điểm Rothera, Đảo Adelaide. Rothera cũng phục vụ như là thủ phủ của Lãnh thổ Nam Cực thuộc Anh, Lãnh thổ hải ngoại thuộc Anh.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

train

• Dataset: train at 73dbd75
• Size: 1,449,744 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 10.87 tokens max: 26 tokens	min: 21 tokens mean: 93.5 tokens max: 402 tokens	min: 19 tokens mean: 99.32 tokens max: 463 tokens

• Samples:

  anchor	positive	negative
  cầu thủ ahn joon-soo là ai	Ahn Joon-soo ::: Ahn Joon-soo (安俊洙, sinh ngày 28 tháng 1 năm 1998) là một cầu thủ bóng đá người Hàn Quốc. Anh thi đấu cho Cerezo Osaka.	Ahn Jung-hwan ::: Ahn Jung-Hwan (Hangul: 안정환; sinh ngày 27 tháng 1 năm 1976 tại Paju, Gyeonggi) là một cựu cầu thủ bóng đá người Hàn Quốc, anh nổi tiếng với việc ghi bàn thắng vàng cho đội tuyển Hàn Quốc trong trận gặp Ý tại vòng hai World Cup 2002 đồng thời đưa tuyển Hàn tiến vào tứ kết.
  cầu thủ ahn joon-soo là ai	Ahn Joon-soo ::: Ahn Joon-soo (安俊洙, sinh ngày 28 tháng 1 năm 1998) là một cầu thủ bóng đá người Hàn Quốc. Anh thi đấu cho Cerezo Osaka.	Ahn Sung-nam ::: Ahn Sung-Nam (Hangul: 안성남; Hanja: 安成男, sinh ngày 17 tháng 4 năm 1984) là một cầu thủ bóng đá Hàn Quốc hiện tại thi đấu cho Gyeongnam FC.
  cầu thủ ahn joon-soo là ai	Ahn Joon-soo ::: Ahn Joon-soo (安俊洙, sinh ngày 28 tháng 1 năm 1998) là một cầu thủ bóng đá người Hàn Quốc. Anh thi đấu cho Cerezo Osaka.	Ahn So-hee ::: Ahn So-hee (Hangul: 안소희), sinh ngày 27 tháng 6 năm 1992, là nữ ca sĩ, diễn viên, vũ công, MC người Hàn Quốc, cựu thành viên nhóm nhạc Wonder Girls do JYP quản lý nhưng đã rời JYP. Hiện cô đang đầu quân cho KeyEast, tập trung vào diễn xuất.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 40
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• num_train_epochs: 2
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0138	500	0.2135
0.0276	1000	0.1575
0.0414	1500	0.1395
0.0552	2000	0.1241
0.0690	2500	0.1041
0.0828	3000	0.1063
0.0966	3500	0.1011
0.1104	4000	0.0982
0.1242	4500	0.0923
0.1380	5000	0.0916
0.1517	5500	0.0831
0.1655	6000	0.0904
0.1793	6500	0.0891
0.1931	7000	0.0843
0.2069	7500	0.0816
0.2207	8000	0.0862
0.2345	8500	0.0743
0.2483	9000	0.09
0.2621	9500	0.0761
0.2759	10000	0.0762
0.2897	10500	0.0794
0.3035	11000	0.0761
0.3173	11500	0.0757
0.3311	12000	0.0697
0.3449	12500	0.0746
0.3587	13000	0.0736
0.3725	13500	0.0672
0.3863	14000	0.0683
0.4001	14500	0.0684
0.4139	15000	0.0683
0.4277	15500	0.0717
0.4415	16000	0.0673
0.4552	16500	0.0624
0.4690	17000	0.0658
0.4828	17500	0.0661
0.4966	18000	0.0667
0.5104	18500	0.0658
0.5242	19000	0.0665
0.5380	19500	0.0642
0.5518	20000	0.0635
0.5656	20500	0.0634
0.5794	21000	0.0623
0.5932	21500	0.0628
0.6070	22000	0.0658
0.6208	22500	0.0611
0.6346	23000	0.0623
0.6484	23500	0.0655
0.6622	24000	0.0587
0.6760	24500	0.0551
0.6898	25000	0.0555
0.7036	25500	0.0551
0.7174	26000	0.0622
0.7312	26500	0.0528
0.7450	27000	0.058
0.7587	27500	0.0538
0.7725	28000	0.0568
0.7863	28500	0.0531
0.8001	29000	0.0552
0.8139	29500	0.0533
0.8277	30000	0.0547
0.8415	30500	0.0541
0.8553	31000	0.055
0.8691	31500	0.0519
0.8829	32000	0.0492
0.8967	32500	0.0569
0.9105	33000	0.0484
0.9243	33500	0.0493
0.9381	34000	0.0507
0.9519	34500	0.0496
0.9657	35000	0.0502
0.9795	35500	0.0473
0.9933	36000	0.0532
1.0071	36500	0.0492
1.0209	37000	0.0469
1.0347	37500	0.046
1.0484	38000	0.0385
1.0622	38500	0.037
1.0760	39000	0.0359
1.0898	39500	0.0315
1.1036	40000	0.0274
1.1174	40500	0.0271
1.1312	41000	0.0242
1.1450	41500	0.0249
1.1588	42000	0.021
1.1726	42500	0.0197
1.1864	43000	0.0194
1.2002	43500	0.0157
1.2140	44000	0.0153
1.2278	44500	0.0143
1.2416	45000	0.0179
1.2554	45500	0.0148
1.2692	46000	0.0155
1.2830	46500	0.0145
1.2968	47000	0.0147
1.3106	47500	0.0141
1.3244	48000	0.0138
1.3382	48500	0.0148
1.3519	49000	0.0137
1.3657	49500	0.014
1.3795	50000	0.0132
1.3933	50500	0.0131
1.4071	51000	0.0125

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}