ntAnh-dev/paraphrase-multilingual-MiniLM-L12-v2-bk-quyche

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ntAnh-dev/paraphrase-multilingual-MiniLM-L12-v2-bk-quyche")
# Run inference
sentences = [
    'Sinh viên khi đăng ký học phần thì được gì?',
    'Quy chế đào tạo đại học bách khoa Hà Nội 2025\nCHƯƠNG V\nĐÀO TẠO TIẾN SĨ\nĐiều 38. Học phần bổ sung và học phần tiến sĩ\n1. Các học phần bổ sung nhằm hỗ trợ NCS có đủ kiến thức, trình độ chuyên môn để\nthực hiện đề tài nghiên cứu.\na) Đối với NCS đã có bằng thạc sĩ: khối lượng kiến thức cần phải học bổ sung được\nxác định căn cứ vào các học phần đã tích lũy ở trình độ thạc sĩ, kiến thức cần cập nhật, bổ\nsung và yêu cầu của lĩnh vực, đề tài nghiên cứu. Khối lượng kiến thức tối thiểu 4 TC tương\nứng với 2 học phần.\nb) Đối với NCS chưa có bằng thạc sĩ: các học phần bổ sung bao gồm toàn bộ học\nphần của CTĐT thạc sĩ theo định hướng nghiên cứu thuộc ngành tương ứng trừ luận văn\nthạc sĩ.\nc) NCS đăng ký các học phần bổ sung thuộc chương trình (đại học, thạc sĩ) nào thì sẽ\nhọc theo lớp học phần thuộc chương trình đó.\n2. Các học phần tiến sĩ nhằm nâng cao trình độ lý thuyết, cập nhật các kiến thức mới\nnhất của lĩnh vực chuyên môn, phương pháp nghiên cứu và khả năng ứng dụng các phương\npháp nghiên cứu trong lĩnh vực, đề tài nghiên cứu.\na) Mỗi NCS phải hoàn thành tối thiểu 8 TC tương ứng 3-4 học phần tiến sĩ.\nb) NCS phải thực hiện quy trình đăng ký học từ tài khoản học tập trong thời hạn 4\ntuần đầu của học kỳ. Học phần tiến sĩ được tổ chức giảng dạy cho lớp có 5 NCS trở lên;\ntrong trường hợp dưới 5 NCS, học phần được thực hiện dưới hình thức hướng dẫn, làm đồ\nán, khoá luận hoặc tiểu luận để thay thế giờ lên lớp.\n3. NCS phải hoàn thành tất cả các học phần bổ sung và các học phần tiến sĩ đạt từ\nđiểm C trở lên theo yêu cầu của chương trình trong vòng 2 năm kể từ khi có quyết định\ncông nhận NCS. Trong trường hợp quá thời hạn 2 năm nhưng không thể hoàn thành, NCS\ncó thể đề nghị xin gia hạn thời gian thực hiện trong khoảng thời gian 6 tháng kế tiếp; quá\nthời hạn trên vẫn không thể hoàn thành thì bị xem xét cho thôi học.\n\n',
    'Quy chế Công tác sinh viên Đại học Bách Khoa Hà Nội\nChương III NỘI DUNG CÔNG TÁC SINH VIÊN\nĐiều 8. Quản lý thông tin sinh viên\n2. Hồ sơ quản lý quá trình học tập, rèn luyện của sinh viên gồm:\na) Kết quả học tập (điểm quá trình, điểm kết thúc học phần, kết quả thi hoặc bảo\nvệ đồ án tốt nghiệp/khoá luận tốt nghiệp) và kết quả rèn luyện (điểm rèn luyện theo\nhọc kỳ, năm học, khoá học);\nb) Kết quả các hoạt động xã hội đã tham gia trong từng học kỳ, năm học;\nc) Hình thức khen thưởng (nếu có) mà sinh viên đạt được trong học tập, nghiên\ncứu khoa học, hoạt động phong trào, đoàn thể;\nd) Hình thức kỷ luật (nếu có);\nđ) Thông tin thay đổi (nếu có) do chuyển chương trình đào tạo, chuyển ngành\nhọc, chuyển trường, nghỉ học có thời hạn, thôi học, tốt nghiệp;\ne) Địa chỉ nơi cư trú;\ng) Tình trạng đóng học phí;\nh) Thông tin về việc tham gia bảo hiểm y tế;\ni) Thông tin kết quả khám sức khỏe cho sinh viên do Đại học tổ chức;\nk) Các học bổng đã được nhận.\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.3737,  0.1972],
#         [ 0.3737,  1.0000, -0.0715],
#         [ 0.1972, -0.0715,  1.0000]])

Evaluation

Metrics

Information Retrieval

• Dataset: paraphrase-multilingual-MiniLM-L12-v2-251218
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.7838
cosine_accuracy@3	0.9324
cosine_accuracy@5	0.973
cosine_accuracy@10	1.0
cosine_precision@1	0.7838
cosine_precision@3	0.6937
cosine_precision@5	0.6378
cosine_precision@10	0.4946
cosine_recall@1	0.2085
cosine_recall@3	0.4309
cosine_recall@5	0.5757
cosine_recall@10	0.7718
cosine_ndcg@10	0.8035
cosine_mrr@10	0.8564
cosine_map@100	0.7325

Information Retrieval

• Dataset: paraphrase-multilingual-MiniLM-L12-v2-251218
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.8991
cosine_accuracy@3	0.9358
cosine_accuracy@5	0.945
cosine_accuracy@10	0.9725
cosine_precision@1	0.8991
cosine_precision@3	0.7554
cosine_precision@5	0.6459
cosine_precision@10	0.5009
cosine_recall@1	0.2174
cosine_recall@3	0.4287
cosine_recall@5	0.54
cosine_recall@10	0.7256
cosine_ndcg@10	0.8116
cosine_mrr@10	0.919
cosine_map@100	0.7576

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,485 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 11 tokens mean: 22.66 tokens max: 46 tokens	min: 128 tokens mean: 128.0 tokens max: 128 tokens

• Samples:

  anchor	positive
  Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?	Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội Điều 2. Các quy định chung 2. Học bổng KKHT nhằm khuyến khích sinh viên nâng cao thành tích học tập và rèn luyện tại ĐHBK Hà Nội. 3. Quỹ học bổng KKHT hình thành từ nguồn học phí và bằng 8% (tám phần trăm) học phí của học kỳ lấy điểm xét cấp học bổng. 4. Học bổng KKHT có 3 mức: a) Học bổng loại khá (loại C): Bằng tổng học phí của tất cả các học phần tính điểm trung bình học kỳ (GPA). b) Học bổng loại giỏi (loại B): Bằng 1,2 lần mức học bổng loại khá. c) Học bổng loại xuất sắc (loại A): Bằng 1,5 lần mức học bổng loại khá. Điều 3. Tiêu chuẩn xét cấp học bổng 1. Học bổng loại C: GPA ≥ 2,5 và điểm rèn luyện học kỳ ≥ 65 điểm. 2. Học bổng loại B: GPA ≥ 3,2 và điểm rèn luyện học kỳ ≥ 80 điểm. 3. Học bổng loại A: GPA ≥ 3,6 và điểm rèn luyện học kỳ ≥ 90 điểm. Điều 4. Nguyên tắc xét cấp học bổng 1. Sử dụng kết quả học tập và rèn luyện của học kỳ liền trước để xét cấp học bổng cho học kỳ sau. 2. Học bổng được xét theo ...
  Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?	Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội Điều 1. Phạm vi điều chỉnh và đối tượng áp dụng 1. Văn bản này quy định về nguyên tắc, tiêu chuẩn xét duyệt và cấp học bổng cho sinh viên đại học hình thức đào tạo chính quy tại Đại học Bách khoa Hà Nội (sau đây viết tắt là ĐHBK Hà N ội), căn cứ các quy định liên quan tại Nghị định số 84/2020/NĐ-CP ngày 17/7/2020 của Chính phủ và Quy chế Quản lý tài chính của Đại học Bách khoa Hà Nội được ban hành theo Nghị quyết số 20/NQ-ĐHBK ngày 16/3/2023 của Hội đồng Đại học, Đại học Bách khoa Hà Nội. 2. Quy định này áp dụng đối với sinh viên đại học hình thức đào tạo chính quy văn bằng thứ nhất của ĐHBK Hà Nội. Điều 2. Các quy định chung 1. Học bổng khuyến khích học tập (KKHT) cấp cho các sinh viên được lựa chọn bởi Hội đồng xét cấp học bổng ĐHBK Hà Nội theo từng học kỳ chính của năm học , căn cứ vào thành tích học tập và rèn luyện của sinh viên trong học kỳ chính liền trước đó.
  trường gồm mấy loại học bổng khuyến khích học tập ?	Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội Điều 4. Nguyên tắc xét cấp học bổng 3. Không xét cấp học bổng đối với sinh viên thuộc một trong các trường hợp sau: a) Chịu hình thức kỷ luật từ mức khiển trách trở lên tại thời điểm xét học bổng; b) Đăng ký học ít hơn 1 5 tín chỉ (kể cả các học phần không tính điểm GPA) tại học kỳ lấy điểm xét, cấp học bổng, ngoại trừ học kỳ 1 năm học thứ nhất; c) Đăng ký học ít hơn 6 tín chỉ (kể cả các học phần không tính điểm GPA) tại học kỳ cấp học bổng; d) Học quá thời gian theo kế hoạch học tập chuẩn của chương trình đào tạo; đ) Học chương trình đào tạo do trường đối tác nước ngoài cấp một văn bằng tốt nghiệp duy nhất; Điều 5. Thời gian công bố kết quả xét duyệt và cấp học bổng 1. Danh sách sinh viên được cấp học bổng và mức đ iểm chuẩn để đạt học bổng loại A, B, C theo khóa, ngành đào tạo tương ứng sẽ được công bố trên cổng thông tin sinh viên: ctt.hust.edu.vn, chậm nhất vào tuần học thứ 10 của học kỳ cấp học bổng.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 597 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 597 samples:

  	anchor	positive
  type	string	string
  details	min: 10 tokens mean: 23.93 tokens max: 55 tokens	min: 128 tokens mean: 128.0 tokens max: 128 tokens

• Samples:

  anchor	positive
  Quy định, quy chế về học tập thì sinh viên xem ở trang nào?	Quy chế Công tác sinh viên Đại học Bách Khoa Hà Nội Chương III NỘI DUNG CÔNG TÁC SINH VIÊN Điều 8. Quản lý thông tin sinh viên 2. Hồ sơ quản lý quá trình học tập, rèn luyện của sinh viên gồm: a) Kết quả học tập (điểm quá trình, điểm kết thúc học phần, kết quả thi hoặc bảo vệ đồ án tốt nghiệp/khoá luận tốt nghiệp) và kết quả rèn luyện (điểm rèn luyện theo học kỳ, năm học, khoá học); b) Kết quả các hoạt động xã hội đã tham gia trong từng học kỳ, năm học; c) Hình thức khen thưởng (nếu có) mà sinh viên đạt được trong học tập, nghiên cứu khoa học, hoạt động phong trào, đoàn thể; d) Hình thức kỷ luật (nếu có); đ) Thông tin thay đổi (nếu có) do chuyển chương trình đào tạo, chuyển ngành học, chuyển trường, nghỉ học có thời hạn, thôi học, tốt nghiệp; e) Địa chỉ nơi cư trú; g) Tình trạng đóng học phí; h) Thông tin về việc tham gia bảo hiểm y tế; i) Thông tin kết quả khám sức khỏe cho sinh viên do Đại học tổ chức; k) Các học bổng đã được nhận.
  Quy định, quy chế về học tập thì sinh viên xem ở trang nào?	Quy chế Công tác sinh viên Đại học Bách Khoa Hà Nội Chương I NHỮNG QUY ĐỊNH CHUNG Điều 3. Vị trí của sinh viên trong Đại học Bách khoa Hà Nội Sinh viên là trung tâm các hoạt động giáo dục, đào tạo, nghiên cứu, khoa học công nghệ, đổi mới sáng tạo và khởi nghiệp tại Đại học Bách khoa Hà Nội, được hỗ trợ và tạo điều kiện tốt nhất về vật chất, tinh thần để phát triển toàn diện cả về đạo đức, tri thức, phẩm chất, năng lực, tầm nhìn, kỹ năng và sức khỏe để phục vụ xã hội và đất nước. Điều 4. Từ viết tắt 1. Đại học: Đại học Bách khoa Hà Nội; 2. Đơn vị quản ngành: Trường/Khoa quản ngành; 3. NCKH: nghiên cứu khoa học; 4. QLLSV: quản lý lớp sinh viên. Chương II TRÁCH NHIỆM VÀ QUYỀN LỢI CỦA SINH VIÊN Điều 5. Trách nhiệm của sinh viên 1. Chấp hành nghiêm chủ trương, đường lối của Đảng, chính sách pháp luật của Nhà nước và các quy định của Đại học. 2. Học tập, rèn luyện theo chương trình, kế hoạch của Đại học; chủ động, tích cực tự học tập, NCKH và rèn luyện đạo đức, lối sống.
  Quy định, quy chế về học tập thì sinh viên xem ở trang nào?	Quy chế Công tác sinh viên Đại học Bách Khoa Hà Nội Chương IV ĐÁNH GIÁ KẾT QUẢ RÈN LUYỆN SINH VIÊN Điều 22. Nội dung, tiêu chí và thời gian đánh giá 1. Nội dung đánh giá gồm: a) Ý thức tham gia học tập; b) Ý thức chấp hành nội quy, quy chế, quy định của Đại học; c) Ý thức tham gia các hoạt động chính trị, xã hội, văn hoá, văn nghệ, thể thao, phòng chống tội phạm và các tệ nạn xã hội; d) Ý thức công dân trong quan hệ với cộng đồng; đ) Ý thức và kết quả tham gia công tác cán bộ lớp, các đoàn thể, tổ chức khác trong Đại học hoặc các thành tích đặc biệt trong học tập và rèn luyện. 2. Kết quả rèn luyện của sinh viên được đánh giá theo học kỳ, năm học và khóa học. 3. Tiêu chí và thang, khung điểm đánh giá: hằng năm Giám đốc đại học ban hành quy định chi tiết về tiêu chí và thang, khung điểm cho từng nội dung đánh giá. Điều 23. Quy trình đánh giá 1. Các đơn vị liên quan được phân cấp tổ chức hoạt động công bố công khai kế hoạch tổ chức các hoạt động cho sinh viên trên cổng thông tin sinh viên...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 30
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 30
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	paraphrase-multilingual-MiniLM-L12-v2-251218_cosine_ndcg@10
-1	-1	-	-	0.5888
0.3559	100	1.9738	1.8826	0.6336
0.7117	200	1.5412	1.7519	0.6931
1.0676	300	1.3578	1.6506	0.7402
1.4235	400	1.2408	1.6552	0.7387
1.7794	500	1.1665	1.5786	0.7650
2.1352	600	1.0873	1.5021	0.7725
2.4911	700	1.0551	1.5724	0.7614
2.8470	800	1.0584	1.4993	0.7910
3.2028	900	0.9829	1.5282	0.7861
3.5587	1000	0.9766	1.5346	0.7957
3.9146	1100	1.0012	1.5599	0.7393
4.2705	1200	0.9527	1.5495	0.7834
4.6263	1300	0.9567	1.5561	0.7618
4.9822	1400	0.9442	1.5282	0.7664
5.3381	1500	0.8543	1.5997	0.7987
5.6940	1600	0.9086	1.5722	0.7471
6.0498	1700	0.9049	1.5572	0.7464
6.4057	1800	0.861	1.5593	0.7424
6.7616	1900	0.8544	1.6033	0.7750
7.1174	2000	0.88	1.5399	0.7711
7.4733	2100	0.7994	1.5754	0.7445
7.8292	2200	0.8917	1.5410	0.7739
8.1851	2300	0.8223	1.6651	0.7746
8.5409	2400	0.8083	1.5392	0.7786
8.8968	2500	0.8465	1.5854	0.7616
9.2527	2600	0.791	1.6248	0.7874
9.6085	2700	0.7658	1.6303	0.7799
9.9644	2800	0.8345	1.5883	0.7734
10.3203	2900	0.7768	1.5622	0.7883
10.6762	3000	0.7973	1.5702	0.7637
11.0320	3100	0.8093	1.5512	0.7833
11.3879	3200	0.7456	1.5918	0.7738
11.7438	3300	0.8042	1.5712	0.7677
12.0996	3400	0.7686	1.6072	0.7540
12.4555	3500	0.8091	1.5431	0.7751
12.8114	3600	0.7492	1.5707	0.7585
13.1673	3700	0.7522	1.6303	0.7955
13.5231	3800	0.7287	1.6398	0.7775
13.8790	3900	0.7579	1.5936	0.7589
14.2349	4000	0.7459	1.6094	0.7872
14.5907	4100	0.7687	1.5937	0.7836
14.9466	4200	0.7098	1.6023	0.7943
15.3025	4300	0.7107	1.5996	0.7858
15.6584	4400	0.7041	1.6134	0.8099
16.0142	4500	0.7432	1.5947	0.8015
16.3701	4600	0.707	1.6477	0.7868
16.7260	4700	0.7495	1.6026	0.7843
17.0819	4800	0.7294	1.6257	0.7776
17.4377	4900	0.682	1.6573	0.8054
17.7936	5000	0.7326	1.6821	0.7938
18.1495	5100	0.6753	1.6687	0.7951
18.5053	5200	0.6649	1.6190	0.8038
18.8612	5300	0.7077	1.6292	0.7932
19.2171	5400	0.6538	1.6576	0.7998
19.5730	5500	0.7191	1.6292	0.7978
19.9288	5600	0.714	1.6407	0.8002
20.2847	5700	0.6545	1.6965	0.7895
20.6406	5800	0.6755	1.6884	0.7952
20.9964	5900	0.7138	1.6375	0.7981
21.3523	6000	0.6893	1.6520	0.7980
21.7082	6100	0.6905	1.6350	0.8052
22.0641	6200	0.6822	1.6342	0.7933
22.4199	6300	0.6298	1.6664	0.8044
22.7758	6400	0.643	1.6501	0.7984
23.1317	6500	0.6687	1.6730	0.7967
23.4875	6600	0.6801	1.6590	0.7904
23.8434	6700	0.6742	1.6567	0.7959
24.1993	6800	0.6234	1.6965	0.8008
24.5552	6900	0.6402	1.6812	0.8012
24.9110	7000	0.7185	1.6665	0.7989
25.2669	7100	0.6277	1.7008	0.8041
25.6228	7200	0.6156	1.6956	0.8034
25.9786	7300	0.6474	1.6867	0.8059
26.3345	7400	0.5892	1.7106	0.8032
26.6904	7500	0.6629	1.7075	0.8068
27.0463	7600	0.6537	1.6895	0.8011
27.4021	7700	0.6178	1.7006	0.8048
27.7580	7800	0.6545	1.6961	0.8029
28.1139	7900	0.6339	1.6983	0.7980
28.4698	8000	0.6496	1.7020	0.7970
28.8256	8100	0.6199	1.6991	0.8001
29.1815	8200	0.613	1.7019	0.8038
29.5374	8300	0.6264	1.7035	0.8035
29.8932	8400	0.657	1.7041	0.8035
-1	-1	-	-	0.8116

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.0+cu126
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}