README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:27671
  - loss:CosineSimilarityLoss
base_model: BAAI/bge-m3
widget:
  - source_sentence: tại sheraton đà nẵng, ưu đãi ẩm thực được phục vụ tại nhà hàng table 88.
    sentences:
      - >-
        thỏa thuận sử dụng dịch vụ được cấu thành bởi bản điều khoản này và đơn
        đề nghị của khách hàng.
      - >-
        khách hàng có thể chấm dứt sử dụng dịch vụ bằng cách gửi yêu cầu cho
        sacombank.
      - sheraton grand danang resort áp dụng ưu đãi tại nhà hàng table 88.
  - source_sentence: cơ sở xác định lãi suất năm đầu là lãi suất niêm yết tại ngày 27/08/2024.
    sentences:
      - khách hàng có thể mở tiết kiệm online dễ dàng
      - >-
        với các khoản vay thẻ tín dụng dài hạn (từ nửa năm đến 5 năm), lãi suất
        áp dụng là 15,6%.
      - mức lãi tham chiếu lấy tại ngày 27/08/2024 cho năm đầu tiên.
  - source_sentence: kích hoạt thẻ tín dụng mới nhận được
    sentences:
      - mua chứng chỉ tiền gửi nhận lãi hấp dẫn
      - gửi tiền trực tuyến 6 tháng lãi suất cao hơn tại quầy 0,7%.
      - mức lợi tức cố định áp dụng cho 12 tháng đầu của cctg là 7,1%.
  - source_sentence: mức lãi suất cố định cho chứng chỉ tiền gửi được công bố là 7,1% mỗi năm.
    sentences:
      - địa chỉ khách sạn golden imperial là đường bà huyện thanh quan, đà lạt.
      - >-
        ưu đãi cộng biên độ 0,7% lãi suất dành riêng cho tiền gửi online các kỳ
        hạn 6 tháng, 1 năm rưỡi và 2 năm.
      - lãi suất của chứng chỉ tiền gửi là 7,1%/năm.
  - source_sentence: lãi suất tóm tắt quy định tiền gửi tiết kiệm
    sentences:
      - thẻ phụ chia sẻ hạn mức tín dụng với thẻ chính
      - >-
        chủ thẻ gói an sinh xã hội không mất phí khi rút tiền mặt ở atm
        sacombank.
      - sản phẩm tiết kiệm phù đổng kỳ hạn 6 tháng được hưởng lãi suất 4,40%.
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - pearson_cosine
  - spearman_cosine
model-index:
  - name: SentenceTransformer based on BAAI/bge-m3
    results:
      - task:
          type: semantic-similarity
          name: Semantic Similarity
        dataset:
          name: banking validation
          type: banking-validation
        metrics:
          - type: pearson_cosine
            value: 0.9738099157766997
            name: Pearson Cosine
          - type: spearman_cosine
            value: 0.7901669907306993
            name: Spearman Cosine

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'lãi suất tóm tắt quy định tiền gửi tiết kiệm',
    'thẻ phụ chia sẻ hạn mức tín dụng với thẻ chính',
    'sản phẩm tiết kiệm phù đổng kỳ hạn 6 tháng được hưởng lãi suất 4,40%.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.0030, -0.0185],
#         [ 0.0030,  1.0000, -0.0120],
#         [-0.0185, -0.0120,  1.0000]])

Evaluation

Metrics

Semantic Similarity

• Dataset: banking-validation
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.9738
spearman_cosine	0.7902

Training Details

Training Dataset

Unnamed Dataset

• Size: 27,671 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 8 tokens mean: 17.67 tokens max: 30 tokens	min: 8 tokens mean: 18.98 tokens max: 34 tokens	min: 0.0 mean: 0.33 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  người dùng có quyền hủy dịch vụ bằng văn bản yêu cầu gửi tới ngân hàng.	khách hàng có thể chấm dứt sử dụng dịch vụ bằng cách gửi yêu cầu cho sacombank.	1.0
  quinter central nha trang nằm ở 86/4 trần phú.	mức lãi suất 4,20% áp dụng cho kỳ hạn 6 tháng gửi tại quầy.	0.0
  la vela sài gòn có địa chỉ 280 nam kỳ khởi nghĩa.	nguồn tiền để thanh toán vé số vietlott sms có thể lấy từ tài khoản hoặc thẻ tín dụng/ghi nợ sacombank.	0.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	banking-validation_spearman_cosine
0.2890	500	0.0641	0.7825
0.5780	1000	0.0357	0.7824
0.8671	1500	0.0286	0.7850
1.0	1730	-	0.7848
1.1561	2000	0.0184	0.7862
1.4451	2500	0.0163	0.7876
1.7341	3000	0.0135	0.7879
2.0	3460	-	0.7894
2.0231	3500	0.0143	0.7890
2.3121	4000	0.008	0.7888
2.6012	4500	0.0082	0.7891
2.8902	5000	0.0071	0.7892
3.0	5190	-	0.7898
3.1792	5500	0.0057	0.7899
3.4682	6000	0.0054	0.7901
3.7572	6500	0.0045	0.7901
4.0	6920	-	0.7902

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.1
• Transformers: 4.57.1
• PyTorch: 2.8.0+cu126
• Accelerate: 1.11.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}