---
base_model: huudan123/model_stage2
datasets: []
language: []
library_name: sentence-transformers
metrics:
- pearson_cosine
- spearman_cosine
- pearson_manhattan
- spearman_manhattan
- pearson_euclidean
- spearman_euclidean
- pearson_dot
- spearman_dot
- pearson_max
- spearman_max
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:96896
- loss:CosineSimilarityLoss
widget:
- source_sentence: 'Đó là chính thức: Thỏa thuận đạt được trên \"vách đá tài chính\"'
sentences:
- Chỉ số trung bình công nghiệp Dow Jones . DJI kết thúc phiên tăng 56,79 điểm,
tương đương 0,67%, lên 8.588,36 điểm - mức cao nhất kể từ ngày 17/1.
- Thượng viện Hoa Kỳ bỏ phiếu về thỏa thuận vách đá tài chính khi thời hạn gần kề
- Nhà hoạt động Trung Quốc Chen hạ cánh ở Mỹ
- source_sentence: Một người đàn ông mặc vest đang đạp xe trên con đường trải nhựa.
sentences:
- Bất cứ khi nào tôi bắt đầu đọc đi đọc lại cùng một dòng, tôi bắt đầu đọc lướt.
- Một người đàn ông, phụ nữ và đi bộ trên một con đường trải nhựa.
- Một trắng với những vệt màu nâu nhạt có một cây gậy trong miệng và bàn chân của
nó trong tuyết.
- source_sentence: Một người đàn ông đang giơ lên và nói về một chiếc áo phông You
Tube màu xám.
sentences:
- Một người đàn ông mặc bộ đồ màu xám đang khóa một chiếc xe đạp
- Số người chết vì động đất ở Philippines tăng lên 185 người
- Và thực tế đơn giản ngày hôm nay?
- source_sentence: 'Ông Kerry: Chưa có thỏa thuận nào trong các cuộc đàm phán hạt
nhân với Iran'
sentences:
- Không có nhiều thứ mà bạn có thể làm với một món khai vị bột chua.
- Nhà đàm phán Iran lạc quan về các cuộc đàm phán hạt nhân mới nhất
- \"Tôi nghĩ bây giờ chúng ta có thể coi những gì đang xảy ra là một dịch bệnh thực
sự\", Bộ trưởng Y tế Jean-Francois Mattei nói trên đài phát thanh France Inter.
- source_sentence: Tổng thống Ukraine Leonid Kuchma hôm nay đã cắt ngắn chuyến thăm
Mỹ Latinh khi cuộc tranh cãi biên giới gay gắt giữa Ukraine và Nga ngày càng xấu
đi.
sentences:
- Mỹ, NATO dấy lên nghi ngại Nga rút khỏi biên giới Ukraine
- Một chiếc xe buýt màu xanh lá cây lái xuống một con đường.
- Một người đàn ông mặc áo khoác màu cam nói chuyện với một người khác khi họ đi
bộ trong tuyết.
model-index:
- name: SentenceTransformer based on huudan123/model_stage2
results:
- task:
type: semantic-similarity
name: Semantic Similarity
dataset:
name: sts evaluator
type: sts-evaluator
metrics:
- type: pearson_cosine
value: 0.3362062126113508
name: Pearson Cosine
- type: spearman_cosine
value: 0.3395881748719913
name: Spearman Cosine
- type: pearson_manhattan
value: 0.3439351157948261
name: Pearson Manhattan
- type: spearman_manhattan
value: 0.33195061249879154
name: Spearman Manhattan
- type: pearson_euclidean
value: 0.34537897117861416
name: Pearson Euclidean
- type: spearman_euclidean
value: 0.3335043710180897
name: Spearman Euclidean
- type: pearson_dot
value: 0.36070275383861666
name: Pearson Dot
- type: spearman_dot
value: 0.36356203777789586
name: Spearman Dot
- type: pearson_max
value: 0.36070275383861666
name: Pearson Max
- type: spearman_max
value: 0.36356203777789586
name: Spearman Max
---
# SentenceTransformer based on huudan123/model_stage2
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [huudan123/model_stage2](https://huggingface.co/huudan123/model_stage2). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [huudan123/model_stage2](https://huggingface.co/huudan123/model_stage2)
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("huudan123/model_stage3_silver")
# Run inference
sentences = [
'Tổng thống Ukraine Leonid Kuchma hôm nay đã cắt ngắn chuyến thăm Mỹ Latinh khi cuộc tranh cãi biên giới gay gắt giữa Ukraine và Nga ngày càng xấu đi.',
'Mỹ, NATO dấy lên nghi ngại Nga rút khỏi biên giới Ukraine',
'Một người đàn ông mặc áo khoác màu cam nói chuyện với một người khác khi họ đi bộ trong tuyết.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
## Evaluation
### Metrics
#### Semantic Similarity
* Dataset: `sts-evaluator`
* Evaluated with [EmbeddingSimilarityEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)
| Metric | Value |
|:-------------------|:-----------|
| pearson_cosine | 0.3362 |
| spearman_cosine | 0.3396 |
| pearson_manhattan | 0.3439 |
| spearman_manhattan | 0.332 |
| pearson_euclidean | 0.3454 |
| spearman_euclidean | 0.3335 |
| pearson_dot | 0.3607 |
| spearman_dot | 0.3636 |
| pearson_max | 0.3607 |
| **spearman_max** | **0.3636** |
## Training Details
### Training Hyperparameters
#### Non-Default Hyperparameters
- `overwrite_output_dir`: True
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 128
- `per_device_eval_batch_size`: 128
- `learning_rate`: 2e-05
- `num_train_epochs`: 30
- `warmup_ratio`: 0.1
- `fp16`: True
- `load_best_model_at_end`: True
- `gradient_checkpointing`: True
#### All Hyperparameters
Click to expand
- `overwrite_output_dir`: True
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 128
- `per_device_eval_batch_size`: 128
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 30
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: True
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional