Adc05102002/bge-m3-vi-tune

SentenceTransformer based on Adc05102002/bge-m3-vi-base

This is a sentence-transformers model finetuned from Adc05102002/bge-m3-vi-base on the train dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Adc05102002/bge-m3-vi-base
• Maximum Sequence Length: 4026 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Dataset:
  • train

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'PeftModelForFeatureExtraction'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Adc05102002/bge-m3-vi-tune")
# Run inference
sentences = [
    'Quản lý và sử dụng Quỹ Thi đua, Khen thưởng ngành Văn hóa, Thể thao và Du lịch được quy định như thế nào?',
    'Điều 67. Quản lý quỹ thi đua, khen thưởng\n\n\tKhoản 1. Quỹ thi đua, khen thưởng của cấp nào do cơ quan thi đua, khen thưởng phối hợp với cơ quan tài chính cấp đó quản lý. Đối với cấp tỉnh, nguồn kinh phí chi cho công tác thi đua, khen thưởng do Ban Thi đua - Khen thưởng của tỉnh phối hợp với cơ quan tài chính cấp tỉnh quản lý và sử dụng theo tỷ lệ quy định trên cơ sở dự toán; việc quyết toán căn cứ số chi thực tế theo đúng chế độ, chính sách quy định.\n\n\tKhoản 2. Thủ trưởng cơ quan các cấp chịu trách nhiệm chi tiền thưởng cho các tập thể, cá nhân thuộc biên chế, quỹ lương do cấp mình quản lý và hạch toán chi theo quy định.\nCác tập thể, cá nhân thuộc bộ, ban, ngành, đoàn thể trung ương, tỉnh, thành phố trực thuộc trung ương được Thủ tướng Chính phủ, Chủ tịch nước quyết định khen thưởng thì bộ, ban, ngành, tỉnh, đoàn thể trung ương đó có trách nhiệm chi thưởng từ ngân sách nhà nước của cấp mình và hạch toán chi thành mục riêng.\nCá nhân được nhận danh hiệu Nhà giáo, Thầy thuốc, Nghệ sỹ, Nghệ nhân (nhân dân và ưu tú) thuộc bộ, ban, ngành, tỉnh, đoàn thể trung ương trình Thủ tướng Chính phủ xét, phong tặng thì bộ, ban, ngành, tỉnh, đoàn thể trung ương đó chi trả tiền thưởng và hạch toán chi thành mục riêng.',
    'phần đường, làn đường, không giữ khoảng cách an toàn giữa hai xe theo quy định gây tai nạn giao thông hoặc đi vào đường có biển báo hiệu có nội dung cấm đi vào đối với loại phương tiện đang điều khiển, đi ngược chiều của đường một chiều, đi ngược chiều trên đường có biển \n\t\t\t“Cấm đi ngược chiều”\n gây tai nạn giao thông, trừ các hành vi vi phạm quy định tại điểm a khoản 8 Điều này;\n\n\t\tĐiểm b) Điều khiển xe lạng lách, đánh võng; chạy quá tốc độ đuổi nhau trên đường bộ; dùng chân điều khiển vô lăng xe khi xe đang chạy trên đường;\n\n\t\tĐiểm c) Điều khiển xe chạy quá tốc độ quy định trên 35 km/h.\n\n\tKhoản 8. Phạt tiền từ 1\n\tKhoản 000.000 đồng đến 1\n\t\tĐiểm a) Điều khiển xe đi ngược chiều trên đường cao tốc, lùi xe trên đường cao tốc, trừ các xe ưu tiên đang đi làm nhiệm vụ khẩn cấp theo quy định;\n\n\t\tĐiểm b) Gây tai nạn giao thông không dừng lại, không giữ nguyên hiện trường, bỏ trốn không đến trình báo với cơ quan có thẩm quyền, không tham gia cấp cứu người bị nạn;\n\n\t\tĐiểm c) Điều khiển xe trên đường mà trong máu hoặc hơi thở có nồng độ cồn vượt quá 50 miligam đến 80 miligam/100 mililít máu hoặc vượt quá 0,25 miligam đến 0,4 miligam/1 lít khí thở.\n\n\tKhoản 9. Phạt tiền từ 1\n\tKhoản 000.000 đồng đến \n\tKhoản 000.000 đồng đối với hành vi vi phạm quy định tại điểm b khoản 7 Điều này mà không chấp hành hiệu lệnh dừng xe của người thi hành công vụ hoặc gây tai nạn giao thông.\n\n\tKhoản 10. Phạt tiền từ \n\tKhoản 000.000 đồng đến \n\t\tĐiểm a) Điều khiển xe trên đường mà trong máu hoặc hơi thở có nồng độ cồn vượt quá 80 miligam/100 mililít máu hoặc vượt quá 0,4 miligam/1 lít khí thở;\n\n\t\tĐiểm b) Không chấp hành yêu cầu kiểm tra về nồng độ cồn của người thi hành công vụ;\n\n\t\tĐiểm c) Điều khiển xe trên đường mà trong cơ thể có chất ma túy;\n\n\t\tĐiểm d) Không chấp hành yêu cầu kiểm tra về chất ma túy của người thi hành công vụ.\n\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.5005, -0.1257],
#         [ 0.5005,  1.0000, -0.2017],
#         [-0.1257, -0.2017,  1.0000]])

Training Details

Training Dataset

train

• Dataset: train at c13b061

• Size: 5,516 training samples

• Columns: anchor and positive

• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 10 tokens mean: 31.22 tokens max: 57 tokens	min: 72 tokens mean: 610.9 tokens max: 1219 tokens

• Samples:

  anchor	positive
  Công an xã xử phạt lỗi không mang bằng lái xe có đúng không?	Điều 7. Nhiệm vụ của lực lượng Cảnh sát khác và Công an xã

  Khoản 1. Bố trí lực lượng tham gia tuần tra, kiểm soát trật tự, an toàn giao thông theo kế hoạch.
  
  Khoản 2. Thống kê, báo cáo các vụ, việc vi phạm pháp luật, tai nạn giao thông đường bộ; kết quả tuần tra, kiểm soát và xử lý vi phạm hành chính về trật tự, an toàn giao thông đường bộ theo sự phân công trong kế hoạch.
  
  Khoản 3. Trường hợp không có lực lượng Cảnh sát giao thông đi cùng thì lực lượng Cảnh sát khác và Công an xã thực hiện việc tuần tra, kiểm soát theo kế hoạch đã được cấp có thẩm quyền phê duyệt.
  
  Khoản 4. Lực lượng Công an xã chỉ được tuần tra, kiểm soát trên các tuyến đường liên xã, liên thôn thuộc địa bàn quản lý và xử lý các hành vi vi phạm trật tự, an toàn giao thông sau: điều khiển xe mô tô, xe gắn máy không đội mũ bảo hiểm, chở quá số người quy định, chở hàng hóa cồng kềnh; đỗ xe ở lòng đường trái quy định; điều khiển phương tiện phóng nhanh, lạng lách, đánh võng, tháo ống xả, không có gương chiếu hậu hoặ...</code> |
  

  | Phải thực hiện thao tác nạp mẫu vào bình chứa và xử lý mẫu sơ bộ bằng hóa chất như thế nào? | Điều 11. Tiến hành lấy, bảo quản mẫu

      Điểm a) Dọn sạch khu vực đã chọn làm điểm thu mẫu để loại bỏ các cặn, bùn, các lớp vi khuẩn ở trên thành cống thải, vật nổi trên mặt nước. Nếu dòng thải không có điều kiện chảy rối thì thực hiện như khoản 3 Điều 
      Điểm b) Kiểm tra lại độ sạch của các bình chứa mẫu, dụng cụ lấy và chứa mẫu trung gian. Rà soát và chuẩn bị các dụng cụ và hóa chất để xử lý sơ bộ. Kiểm tra và chuẩn bị vật tư niêm phong. Chuẩn bị các trang thiết bị bảo hộ và các điều kiện cần thiết khác (có thể ghi và dán nhãn mẫu vào thời điểm này);
  
      Điểm c) Lắp dụng cụ lấy mẫu (nối cán của cây lấy mẫu, buộc dây gàu), mặc bảo hộ lao động và các thiết bị bảo đảm an toàn khác.
  
      Điểm a) Việc lấy mẫu phải có mặt chủ nguồn thải hoặc người đại diện của cơ sở có nguồn thải. Trường hợp chủ nguồn thải hoặc người đại diện vắng mặt hoặc không hợp tác thì trưởng đoàn công tác có trách nhiệm lập biên bản về sự vắng mặt hoặc không hợp tác và phải có người chứng kiến việc lấy mẫu;
  
      Điểm b) Tr...</code> |
  

  | Trình tự đánh giá chất lượng hàng năm đối với Kiểm soát viên được quy định như thế nào? | Điều 13. Trình tự, thủ tục đánh giá

      Điểm a) Người quản lý doanh nghiệp nhà nước viết bản tự nhận xét, đánh giá theo nội dung, tiêu chí đánh giá và tự nhận mức độ xếp loại chất lượng;
  
      Điểm b) Hội đồng thành viên họp nhận xét, đánh giá đối với người quản lý doanh nghiệp. Cuộc họp đánh giá, xếp loại chất lượng được ghi thành biên bản, trong đó nêu rõ thành phần tham dự, các ý kiến tham gia;
  
      Điểm c) Lấy ý kiến bằng văn bản về đánh giá, xếp loại chất lượng người quản lý doanh nghiệp của cấp ủy cùng cấp;
  
      Điểm d) Trên cơ sở ý kiến của cấp ủy cùng cấp, Hội đồng thành viên hoặc Chủ tịch công ty xem xét, quyết định đánh giá, xếp loại chất lượng đối với người quản lý doanh nghiệp theo thẩm quyền hoặc báo cáo kết quả đánh giá, xếp loại chất lượng Chủ tịch Hội đồng thành viên, thành viên Hội đồng thành viên, Chủ tịch công ty gửi cơ quan đại diện chủ sở hữu xem xét, quyết định.
  
      Điểm a) Kiểm soát viên viết bản tự nhận xét, đánh giá và tự nhận mức độ xếp loại chất lượng gửi đến cơ quan ...</code> |
  

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• num_train_epochs: 5
• learning_rate: 3e-05
• lr_scheduler_type: constant_with_warmup
• warmup_steps: 0.03
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• per_device_train_batch_size: 32
• num_train_epochs: 5
• max_steps: -1
• learning_rate: 3e-05
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: None
• warmup_steps: 0.03
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.0578	10	3.4042
0.1156	20	3.4242
0.1734	30	3.3575
0.2312	40	3.3364
0.2890	50	3.3027
0.3468	60	3.2140
0.4046	70	3.1071
0.4624	80	3.0983
0.5202	90	3.0155
0.5780	100	2.9224
0.6358	110	2.8186
0.6936	120	2.7603
0.7514	130	2.7636
0.8092	140	2.7688
0.8671	150	2.5655
0.9249	160	2.5714
0.9827	170	2.5100
1.0405	180	2.3449
1.0983	190	2.4728
1.1561	200	2.2962
1.2139	210	2.3515
1.2717	220	2.2728
1.3295	230	2.2553
1.3873	240	2.2241
1.4451	250	2.3062
1.5029	260	2.3398
1.5607	270	2.0516
1.6185	280	2.1120
1.6763	290	2.1730
1.7341	300	2.1035
1.7919	310	2.0691
1.8497	320	2.0123
1.9075	330	1.9984
1.9653	340	2.0118
2.0231	350	1.8542
2.0809	360	1.9576
2.1387	370	1.6936
2.1965	380	1.9642
2.2543	390	1.7611
2.3121	400	1.7278
2.3699	410	1.7350
2.4277	420	1.9592
2.4855	430	1.7795
2.5434	440	1.7016
2.6012	450	1.7765
2.6590	460	1.6856
2.7168	470	1.7306
2.7746	480	1.7065
2.8324	490	1.4620
2.8902	500	1.6106
2.9480	510	1.6705
3.0058	520	1.5199
3.0636	530	1.5497
3.1214	540	1.4253
3.1792	550	1.5167
3.2370	560	1.4550
3.2948	570	1.3935
3.3526	580	1.4080
3.4104	590	1.4052
3.4682	600	1.5440
3.5260	610	1.4851
3.5838	620	1.2712
3.6416	630	1.4262
3.6994	640	1.3924
3.7572	650	1.4750
3.8150	660	1.2477
3.8728	670	1.2456
3.9306	680	1.4857
3.9884	690	1.3898
4.0462	700	1.3008
4.1040	710	1.2095
4.1618	720	1.2976
4.2197	730	1.2864
4.2775	740	1.1289
4.3353	750	1.1390
4.3931	760	1.2896
4.4509	770	1.4013
4.5087	780	1.2712
4.5665	790	1.0540
4.6243	800	1.2158
4.6821	810	1.1734
4.7399	820	1.2259
4.7977	830	1.1259
4.8555	840	1.1196
4.9133	850	1.1762
4.9711	860	1.1654

Training Time

• Training: 2.7 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.5.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.3.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}