README.md

metadata

base_model: huudan123/model_stage2
datasets: []
language: []
library_name: sentence-transformers
metrics:
  - pearson_cosine
  - spearman_cosine
  - pearson_manhattan
  - spearman_manhattan
  - pearson_euclidean
  - spearman_euclidean
  - pearson_dot
  - spearman_dot
  - pearson_max
  - spearman_max
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:96896
  - loss:CosineSimilarityLoss
widget:
  - source_sentence: 'Đó là chính thức: Thỏa thuận đạt được trên \"vách đá tài chính\"'
    sentences:
      - >-
        Chỉ số trung bình công nghiệp Dow Jones . DJI kết thúc phiên tăng 56,79
        điểm, tương đương 0,67%, lên 8.588,36 điểm - mức cao nhất kể từ ngày
        17/1.
      - >-
        Thượng viện Hoa Kỳ bỏ phiếu về thỏa thuận vách đá tài chính khi thời hạn
        gần kề
      - Nhà hoạt động Trung Quốc Chen hạ cánh ở Mỹ
  - source_sentence: Một người đàn ông mặc vest đang đạp xe trên con đường trải nhựa.
    sentences:
      - >-
        Bất cứ khi nào tôi bắt đầu đọc đi đọc lại cùng một dòng, tôi bắt đầu đọc
        lướt.
      - Một người đàn ông, phụ nữ và đi bộ trên một con đường trải nhựa.
      - >-
        Một trắng với những vệt màu nâu nhạt có một cây gậy trong miệng và bàn
        chân của nó trong tuyết.
  - source_sentence: >-
      Một người đàn ông đang giơ lên và nói về một chiếc áo phông You Tube màu
      xám.
    sentences:
      - Một người đàn ông mặc bộ đồ màu xám đang khóa một chiếc xe đạp
      - Số người chết vì động đất ở Philippines tăng lên 185 người
      - Và thực tế đơn giản ngày hôm nay?
  - source_sentence: >-
      Ông Kerry: Chưa có thỏa thuận nào trong các cuộc đàm phán hạt nhân với
      Iran
    sentences:
      - Không có nhiều thứ mà bạn có thể làm với một món khai vị bột chua.
      - Nhà đàm phán Iran lạc quan về các cuộc đàm phán hạt nhân mới nhất
      - >-
        \"Tôi nghĩ bây giờ chúng ta có thể coi những gì đang xảy ra là một dịch
        bệnh thực sự\", Bộ trưởng Y tế Jean-Francois Mattei nói trên đài phát
        thanh France Inter.
  - source_sentence: >-
      Tổng thống Ukraine Leonid Kuchma hôm nay đã cắt ngắn chuyến thăm Mỹ Latinh
      khi cuộc tranh cãi biên giới gay gắt giữa Ukraine và Nga ngày càng xấu đi.
    sentences:
      - Mỹ, NATO dấy lên nghi ngại Nga rút khỏi biên giới Ukraine
      - Một chiếc xe buýt màu xanh lá cây lái xuống một con đường.
      - >-
        Một người đàn ông mặc áo khoác màu cam nói chuyện với một người khác khi
        họ đi bộ trong tuyết.
model-index:
  - name: SentenceTransformer based on huudan123/model_stage2
    results:
      - task:
          type: semantic-similarity
          name: Semantic Similarity
        dataset:
          name: sts evaluator
          type: sts-evaluator
        metrics:
          - type: pearson_cosine
            value: 0.3362062126113508
            name: Pearson Cosine
          - type: spearman_cosine
            value: 0.3395881748719913
            name: Spearman Cosine
          - type: pearson_manhattan
            value: 0.3439351157948261
            name: Pearson Manhattan
          - type: spearman_manhattan
            value: 0.33195061249879154
            name: Spearman Manhattan
          - type: pearson_euclidean
            value: 0.34537897117861416
            name: Pearson Euclidean
          - type: spearman_euclidean
            value: 0.3335043710180897
            name: Spearman Euclidean
          - type: pearson_dot
            value: 0.36070275383861666
            name: Pearson Dot
          - type: spearman_dot
            value: 0.36356203777789586
            name: Spearman Dot
          - type: pearson_max
            value: 0.36070275383861666
            name: Pearson Max
          - type: spearman_max
            value: 0.36356203777789586
            name: Spearman Max

SentenceTransformer based on huudan123/model_stage2

This is a sentence-transformers model finetuned from huudan123/model_stage2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: huudan123/model_stage2
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("huudan123/model_stage3_silver")
# Run inference
sentences = [
    'Tổng thống Ukraine Leonid Kuchma hôm nay đã cắt ngắn chuyến thăm Mỹ Latinh khi cuộc tranh cãi biên giới gay gắt giữa Ukraine và Nga ngày càng xấu đi.',
    'Mỹ, NATO dấy lên nghi ngại Nga rút khỏi biên giới Ukraine',
    'Một người đàn ông mặc áo khoác màu cam nói chuyện với một người khác khi họ đi bộ trong tuyết.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: sts-evaluator
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.3362
spearman_cosine	0.3396
pearson_manhattan	0.3439
spearman_manhattan	0.332
pearson_euclidean	0.3454
spearman_euclidean	0.3335
pearson_dot	0.3607
spearman_dot	0.3636
pearson_max	0.3607
spearman_max	0.3636

Training Details

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• eval_strategy: epoch
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• learning_rate: 2e-05
• num_train_epochs: 30
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• gradient_checkpointing: True

All Hyperparameters

Click to expand

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 30
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss	sts-evaluator_spearman_max
0	0	-	-	0.6240
0.6605	500	0.0145	-	-
1.0	757	-	0.0263	0.5462
1.3210	1000	0.003	-	-
1.9815	1500	0.0018	-	-
2.0	1514	-	0.0612	0.4366
2.6420	2000	0.0013	-	-
3.0	2271	-	0.0872	0.3509
3.3025	2500	0.0012	-	-
3.9630	3000	0.0011	-	-
4.0	3028	-	0.1092	0.3342
4.6235	3500	0.001	-	-
5.0	3785	-	0.1062	0.3636

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.4
• PyTorch: 2.3.1+cu121
• Accelerate: 0.33.0
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}