anhtld/VN-Law-Embedding

VN-Law Embedding Improved

This is a sentence-transformers model finetuned from truro7/vn-law-embedding on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: truro7/vn-law-embedding
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: vi
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("VN-Law-Embedding")
# Run inference
sentences = [
    '{"question": "Người sử dụng lao động có phải thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động không?"},',
    '{"answer": "Có. Luật pháp Việt Nam quy định rõ ràng rằng người sử dụng lao động **phải** thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động tại cơ sở.\n\n**Căn cứ pháp lý chính:**\n\n* **Bộ luật Lao động 2019:**  Điều 63 và Điều 64 quy định chi tiết về đối thoại tại nơi làm việc.\n\n**Nội dung chính của quy định này:**\n\n* **Đối thoại định kỳ:** Người sử dụng lao động phải tổ chức đối thoại định kỳ với người lao động và tổ chức đại diện người lao động (nếu có).  Thời gian đối thoại định kỳ được quy định cụ thể trong Bộ luật Lao động và các văn bản hướng dẫn.\n* **Đối thoại khi có yêu cầu:**  Ngoài đối thoại định kỳ, người sử dụng lao động cũng phải đối thoại khi có yêu cầu từ người lao động hoặc tổ chức đại diện người lao động.\n* **Nội dung đối thoại:**  Nội dung đối thoại rất rộng, bao gồm nhiều vấn đề liên quan đến quan hệ lao động, như:\n    * Tình hình sản xuất, kinh doanh của doanh nghiệp.\n    * Việc thực hiện hợp đồng lao động, thỏa ước lao động tập thể, nội quy lao động, quy chế và các cam kết, thỏa thuận khác tại nơi làm việc.\n    * Điều kiện làm việc.\n    * Yêu cầu của người lao động, tổ chức đại diện người lao động đối với người sử dụng lao động.\n    * Các nội dung khác mà hai bên quan tâm.\n* **Mục đích của đối thoại:**\n    * Tăng cường sự hiểu biết giữa người sử dụng lao động và người lao động.\n    * Xây dựng quan hệ lao động hài hòa, ổn định và tiến bộ.\n    * Ngăn ngừa và giải quyết các tranh chấp lao động.\n    * Thực hiện dân chủ tại nơi làm việc.\n\n**Tổ chức đại diện người lao động:**\n\n* Tổ chức đại diện người lao động có thể là Công đoàn cơ sở hoặc tổ chức của người lao động tại doanh nghiệp (nếu được thành lập hợp pháp theo quy định của pháp luật).\n* Vai trò của tổ chức đại diện người lao động rất quan trọng trong đối thoại, trao đổi, bảo vệ quyền và lợi ích hợp pháp, chính đáng của người lao động.\n\n**Tóm lại:**\n\nViệc thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động là **nghĩa vụ pháp lý** của người sử dụng lao động tại Việt Nam. Đây là một công cụ quan trọng để xây dựng quan hệ lao động tốt đẹp, đảm bảo quyền lợi của người lao động và sự phát triển bền vững của doanh nghiệp.\n\nĐể có thông tin chi tiết và chính xác nhất, bạn nên tham khảo trực tiếp **Bộ luật Lao động 2019** và các văn bản hướng dẫn liên quan."}',
    'Theo quy định pháp luật hiện hành của Việt Nam, **không có quy định bắt buộc** trọng tài viên lao động phải tham gia một khóa đào tạo cụ thể nào trước khi hành nghề.\n\nTuy nhiên, để trở thành một trọng tài viên lao động có năng lực và chuyên nghiệp, việc tham gia các khóa đào tạo, bồi dưỡng kiến thức và kỹ năng về pháp luật lao động, kỹ năng giải quyết tranh chấp, kỹ năng trọng tài là **rất quan trọng và được khuyến khích.**\n\n**Giải thích chi tiết hơn:**\n\n* **Pháp luật không quy định bắt buộc:**  Hiện tại, Luật Hòa giải, đối thoại tại Tòa án và các văn bản pháp luật liên quan đến trọng tài lao động không quy định cụ thể về việc trọng tài viên lao động phải có chứng chỉ hay hoàn thành khóa đào tạo nào.  Điều kiện để trở thành Trọng tài viên lao động thường tập trung vào kinh nghiệm, kiến thức và uy tín trong lĩnh vực lao động.\n\n* **Khuyến khích đào tạo để nâng cao năng lực:** Mặc dù không bắt buộc, nhưng việc tham gia các khóa đào tạo mang lại nhiều lợi ích thiết thực cho trọng tài viên lao động:\n    * **Cập nhật kiến thức pháp luật:** Pháp luật lao động liên tục thay đổi và phát triển. Các khóa đào tạo giúp trọng tài viên cập nhật những quy định mới nhất, đảm bảo áp dụng pháp luật chính xác trong quá trình giải quyết tranh chấp.\n    * **Nâng cao kỹ năng chuyên môn:** Các khóa đào tạo thường trang bị các kỹ năng cần thiết cho trọng tài viên như:\n        * **Kỹ năng hòa giải, thương lượng:**  Giúp trọng tài viên hướng dẫn các bên tranh chấp tìm ra giải pháp hòa bình, tự nguyện.\n        * **Kỹ năng điều hành phiên họp trọng tài:** Đảm bảo phiên họp diễn ra hiệu quả, công bằng và đúng trình tự.\n        * **Kỹ năng phân tích, đánh giá chứng cứ:**  Giúp trọng tài viên đưa ra phán quyết khách quan, dựa trên cơ sở pháp lý và chứng cứ xác thực.\n        * **Kỹ năng soạn thảo phán quyết trọng tài:**  Đảm bảo phán quyết rõ ràng, dễ hiểu, có tính khả thi và tuân thủ pháp luật.\n    * **Mở rộng mạng lưới chuyên môn:** Các khóa đào tạo là cơ hội để trọng tài viên gặp gỡ, trao đổi kinh nghiệm với các đồng nghiệp, chuyên gia trong lĩnh vực lao động.\n    * **Nâng cao uy tín cá nhân:** Việc có chứng chỉ đào tạo hoặc tham gia các khóa học uy tín có thể giúp trọng tài viên nâng cao uy tín và được các bên tranh chấp tin tưởng hơn.\n\n**Các loại hình đào tạo mà trọng tài viên lao động có thể tham gia:**\n\n* **Khóa đào tạo do các Trung tâm Trọng tài Lao động tổ chức:**  Các trung tâm trọng tài thường xuyên tổ chức các khóa đào tạo chuyên sâu về trọng tài lao động, mời các chuyên gia, luật sư, thẩm phán có kinh nghiệm giảng dạy.\n* **Khóa đào tạo do các trường đại học, viện nghiên cứu tổ chức:**  Các cơ sở đào tạo này có thể tổ chức các khóa học ngắn hạn, dài hạn về pháp luật lao động, giải quyết tranh chấp, kỹ năng trọng tài.\n* **Hội thảo, hội nghị chuyên đề:**  Tham gia các sự kiện này giúp trọng tài viên cập nhật thông tin mới nhất về pháp luật lao động và xu hướng giải quyết tranh chấp.\n\n**Tóm lại:**\n\nMặc dù không bắt buộc, việc tham gia các khóa đào tạo là **hết sức cần thiết và có lợi** cho trọng tài viên lao động.  Nó giúp nâng cao năng lực chuyên môn, kiến thức pháp luật, kỹ năng giải quyết tranh chấp, từ đó góp phần vào việc giải quyết tranh chấp lao động một cách hiệu quả, công bằng và đúng pháp luật.  Để trở thành một trọng tài viên lao động giỏi, việc **tự giác học hỏi, trau dồi kiến thức và kỹ năng một cách liên tục** là điều quan trọng hơn cả.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768, dim_512, dim_256 and dim_128
• Evaluated with InformationRetrievalEvaluator

Metric	dim_768	dim_512	dim_256	dim_128
cosine_accuracy@1	0.8396	0.8419	0.8425	0.8391
cosine_accuracy@3	0.9639	0.9645	0.9651	0.9616
cosine_accuracy@5	0.9857	0.9874	0.9863	0.9863
cosine_accuracy@10	0.9977	0.9977	0.9977	0.9971
cosine_precision@1	0.8396	0.8419	0.8425	0.8391
cosine_precision@3	0.3213	0.3215	0.3217	0.3205
cosine_precision@5	0.1971	0.1975	0.1973	0.1973
cosine_precision@10	0.0998	0.0998	0.0998	0.0997
cosine_recall@1	0.8396	0.8419	0.8425	0.8391
cosine_recall@3	0.9639	0.9645	0.9651	0.9616
cosine_recall@5	0.9857	0.9874	0.9863	0.9863
cosine_recall@10	0.9977	0.9977	0.9977	0.9971
cosine_ndcg@10	0.9268	0.9282	0.9283	0.926
cosine_mrr@10	0.9031	0.9049	0.905	0.9022
cosine_map@100	0.9032	0.9051	0.9052	0.9023

Training Details

Training Dataset

json

• Dataset: json
• Size: 15,709 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 19 tokens mean: 35.09 tokens max: 94 tokens	min: 22 tokens mean: 495.92 tokens max: 512 tokens

• Samples:

  anchor	positive
  {"question": "Trường hợp người lao động nước ngoài bị mất giấy phép lao động, phải làm gì để được cấp lại?"}	Để được cấp lại giấy phép lao động (GPLĐ) khi bị mất, người lao động nước ngoài tại Việt Nam cần thực hiện các bước sau: 1. Báo cáo mất giấy phép lao động: * Báo cáo cho người sử dụng lao động: Ngay khi phát hiện mất GPLĐ, bạn cần báo cáo ngay lập tức cho người sử dụng lao động của mình. Họ sẽ cần biết để hỗ trợ bạn trong quá trình xin cấp lại. * Không bắt buộc báo công an: Theo quy định hiện hành của Việt Nam, không bắt buộc phải báo cáo mất GPLĐ với cơ quan công an. Tuy nhiên, việc này có thể hữu ích trong trường hợp bạn cần chứng minh việc mất giấy tờ và tránh các rủi ro pháp lý liên quan đến việc giấy tờ bị lợi dụng. 2. Chuẩn bị hồ sơ xin cấp lại giấy phép lao động: Hồ sơ xin cấp lại GPLĐ về cơ bản tương tự như hồ sơ xin cấp mới, tuy nhiên có một số điểm khác biệt. Bạn cần chuẩn bị các giấy tờ sau: * Văn bản đề nghị cấp lại giấy phép lao động: Theo mẫu do Bộ Lao động - Thương binh và Xã hội quy định (Mẫu số 11/PLI Phụ lục I Nghị định 152/2020/NĐ-CP). Vă...
  {"question": "Doanh nghiệp cho thuê lại có phải báo cáo số lao động bị trả lại cho cơ quan lao động không?"}{"question": "Trong trường hợp nào Chủ tịch Ủy ban nhân dân cấp tỉnh có quyền quyết định hoãn cuộc đình công?"}	{"answer": "Doanh nghiệp cho thuê lại lao động có nghĩa vụ báo cáo số lượng lao động bị trả lại cho cơ quan quản lý nhà nước về lao động. Cụ thể, theo quy định của pháp luật Việt Nam (ví dụ như Nghị định 145/2020/NĐ-CP hướng dẫn Bộ luật Lao động), doanh nghiệp cho thuê lại lao động phải thực hiện chế độ báo cáo định kỳ về tình hình hoạt động cho thuê lại lao động, trong đó bao gồm cả số lượng lao động đã cho thuê và số lượng lao động bị trả lại. Việc báo cáo này nhằm mục đích: * Quản lý nhà nước về thị trường lao động: Cơ quan quản lý lao động cần nắm bắt thông tin về biến động lao động để có chính sách điều chỉnh thị trường lao động phù hợp. * Thống kê và phân tích tình hình sử dụng lao động: Giúp cơ quan chức năng đánh giá được hiệu quả hoạt động của doanh nghiệp cho thuê lại và tình hình sử dụng lao động trong các ngành nghề, lĩnh vực khác nhau. * Bảo vệ quyền lợi của người lao động: Việc báo cáo giúp cơ quan lao động nắm bắt được tình hình lao động bị trả lại,...
  {"question": "Doanh nghiệp có thể làm gì để kết nối cung và cầu lao động một cách hiệu quả hơn?"}	Để doanh nghiệp kết nối cung và cầu lao động một cách hiệu quả hơn, họ có thể thực hiện nhiều biện pháp khác nhau, tập trung vào việc hiểu rõ thị trường lao động, thu hút ứng viên phù hợp, và tối ưu hóa quy trình tuyển dụng. Dưới đây là một số gợi ý chi tiết: 1. Hiểu rõ thị trường lao động và nhu cầu tuyển dụng: * Phân tích nhu cầu nhân lực: Xác định rõ số lượng, kỹ năng, kinh nghiệm cần thiết cho từng vị trí và phòng ban trong ngắn hạn và dài hạn. Dự báo nhu cầu dựa trên kế hoạch kinh doanh và chiến lược phát triển của doanh nghiệp. * Nghiên cứu thị trường lao động: Tìm hiểu về tình hình cung - cầu lao động trong ngành và khu vực địa lý liên quan. Xác định mức lương, phúc lợi, và các yếu tố thu hút ứng viên phổ biến trên thị trường. * Phân khúc ứng viên mục tiêu: Xác định rõ đối tượng ứng viên mà doanh nghiệp muốn thu hút (sinh viên mới ra trường, chuyên gia có kinh nghiệm, lao động phổ thông, v.v.). Hiểu rõ nhu cầu, mong muốn và kênh tìm việc ưa thích của từng ...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 72
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 4
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 100
• lr_scheduler_type: cosine_with_restarts
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• push_to_hub: True
• hub_model_id: VN-Law-Embedding
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 72
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: cosine_with_restarts
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: VN-Law-Embedding
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10	dim_512_cosine_ndcg@10	dim_256_cosine_ndcg@10	dim_128_cosine_ndcg@10
0.1826	10	1.1661	-	-	-	-
0.3653	20	1.2164	-	-	-	-
0.5479	30	0.915	-	-	-	-
0.7306	40	0.8548	-	-	-	-
0.9132	50	0.672	-	-	-	-
0.9863	54	-	0.7404	0.7371	0.7302	0.7118
1.0959	60	0.4671	-	-	-	-
1.2785	70	0.3227	-	-	-	-
1.4612	80	0.2632	-	-	-	-
1.6438	90	0.2659	-	-	-	-
1.8265	100	0.1884	-	-	-	-
1.9909	109	-	0.8416	0.8407	0.8370	0.8250
2.0091	110	0.1432	-	-	-	-
2.1918	120	0.129	-	-	-	-
2.3744	130	0.1226	-	-	-	-
2.5571	140	0.0952	-	-	-	-
2.7397	150	0.0854	-	-	-	-
2.9224	160	0.0969	-	-	-	-
2.9954	164	-	0.8797	0.8775	0.8783	0.8653
3.1050	170	0.0883	-	-	-	-
3.2877	180	0.0761	-	-	-	-
3.4703	190	0.0623	-	-	-	-
3.6530	200	0.0614	-	-	-	-
3.8356	210	0.0387	-	-	-	-
4.0	219	-	0.8911	0.8890	0.8896	0.8817
4.0183	220	0.0392	-	-	-	-
4.2009	230	0.0514	-	-	-	-
4.3836	240	0.0409	-	-	-	-
4.5662	250	0.0341	-	-	-	-
4.7489	260	0.033	-	-	-	-
4.9315	270	0.0346	-	-	-	-
4.9863	273	-	0.8981	0.8985	0.8942	0.8898
5.1142	280	0.0231	-	-	-	-
5.2968	290	0.0222	-	-	-	-
5.4795	300	0.0234	-	-	-	-
5.6621	310	0.027	-	-	-	-
5.8447	320	0.0437	-	-	-	-
5.9909	328	-	0.9022	0.9021	0.9038	0.8994
6.0274	330	0.0308	-	-	-	-
6.2100	340	0.0295	-	-	-	-
6.3927	350	0.023	-	-	-	-
6.5753	360	0.0283	-	-	-	-
6.7580	370	0.0266	-	-	-	-
6.9406	380	0.0292	-	-	-	-
6.9954	383	-	0.9068	0.9068	0.9067	0.9028
7.1233	390	0.0156	-	-	-	-
7.3059	400	0.0142	-	-	-	-
7.4886	410	0.0234	-	-	-	-
7.6712	420	0.0137	-	-	-	-
7.8539	430	0.0191	-	-	-	-
8.0	438	-	0.9106	0.9096	0.9095	0.9056
8.0365	440	0.023	-	-	-	-
8.2192	450	0.0201	-	-	-	-
8.4018	460	0.0249	-	-	-	-
8.5845	470	0.0177	-	-	-	-
8.7671	480	0.0161	-	-	-	-
8.9498	490	0.0156	-	-	-	-
8.9863	492	-	0.9130	0.9131	0.9147	0.9089
9.1324	500	0.0154	-	-	-	-
9.3151	510	0.0153	-	-	-	-
9.4977	520	0.014	-	-	-	-
9.6804	530	0.0131	-	-	-	-
9.8630	540	0.0167	-	-	-	-
9.9909	547	-	0.9125	0.9149	0.9150	0.9088
10.0457	550	0.0173	-	-	-	-
10.2283	560	0.0129	-	-	-	-
10.4110	570	0.0108	-	-	-	-
10.5936	580	0.0105	-	-	-	-
10.7763	590	0.0206	-	-	-	-
10.9589	600	0.0183	-	-	-	-
10.9954	602	-	0.9141	0.9139	0.9132	0.9125
11.1416	610	0.0122	-	-	-	-
11.3242	620	0.0164	-	-	-	-
11.5068	630	0.0062	-	-	-	-
11.6895	640	0.0129	-	-	-	-
11.8721	650	0.0103	-	-	-	-
12.0	657	-	0.9162	0.9174	0.9162	0.9149
12.0548	660	0.0125	-	-	-	-
12.2374	670	0.0135	-	-	-	-
12.4201	680	0.0066	-	-	-	-
12.6027	690	0.0121	-	-	-	-
12.7854	700	0.0124	-	-	-	-
12.9680	710	0.0121	-	-	-	-
12.9863	711	-	0.9158	0.9162	0.9166	0.9139
13.1507	720	0.0122	-	-	-	-
13.3333	730	0.0127	-	-	-	-
13.5160	740	0.0083	-	-	-	-
13.6986	750	0.013	-	-	-	-
13.8813	760	0.0068	-	-	-	-
13.9909	766	-	0.9201	0.9203	0.9181	0.9177
14.0639	770	0.0081	-	-	-	-
14.2466	780	0.0116	-	-	-	-
14.4292	790	0.0109	-	-	-	-
14.6119	800	0.0097	-	-	-	-
14.7945	810	0.013	-	-	-	-
14.9772	820	0.0119	-	-	-	-
14.9954	821	-	0.9218	0.9221	0.9208	0.9191
15.1598	830	0.0058	-	-	-	-
15.3425	840	0.0159	-	-	-	-
15.5251	850	0.0096	-	-	-	-
15.7078	860	0.0126	-	-	-	-
15.8904	870	0.0075	-	-	-	-
16.0	876	-	0.9218	0.9209	0.9196	0.9175
16.0731	880	0.0092	-	-	-	-
16.2557	890	0.0071	-	-	-	-
16.4384	900	0.0105	-	-	-	-
16.6210	910	0.0113	-	-	-	-
16.8037	920	0.009	-	-	-	-
16.9863	930	0.0136	0.9188	0.9187	0.9181	0.9183
17.1689	940	0.0103	-	-	-	-
17.3516	950	0.0148	-	-	-	-
17.5342	960	0.0096	-	-	-	-
17.7169	970	0.0076	-	-	-	-
17.8995	980	0.0144	-	-	-	-
17.9909	985	-	0.9209	0.9216	0.9194	0.9190
18.0822	990	0.0177	-	-	-	-
18.2648	1000	0.0127	-	-	-	-
18.4475	1010	0.0063	-	-	-	-
18.6301	1020	0.0079	-	-	-	-
18.8128	1030	0.008	-	-	-	-
18.9954	1040	0.0128	0.9231	0.9205	0.9210	0.9219
19.1781	1050	0.0114	-	-	-	-
19.3607	1060	0.0077	-	-	-	-
19.5434	1070	0.0107	-	-	-	-
19.7260	1080	0.0062	-	-	-	-
19.9087	1090	0.0052	-	-	-	-
20.0	1095	-	0.9171	0.9195	0.9187	0.9187
20.0913	1100	0.0095	-	-	-	-
20.2740	1110	0.0132	-	-	-	-
20.4566	1120	0.0127	-	-	-	-
20.6393	1130	0.0079	-	-	-	-
20.8219	1140	0.0121	-	-	-	-
20.9863	1149	-	0.9214	0.9207	0.9209	0.9213
21.0046	1150	0.007	-	-	-	-
21.1872	1160	0.0097	-	-	-	-
21.3699	1170	0.012	-	-	-	-
21.5525	1180	0.0062	-	-	-	-
21.7352	1190	0.0102	-	-	-	-
21.9178	1200	0.0072	-	-	-	-
21.9909	1204	-	0.9202	0.9212	0.9189	0.9184
22.1005	1210	0.0068	-	-	-	-
22.2831	1220	0.0086	-	-	-	-
22.4658	1230	0.0142	-	-	-	-
22.6484	1240	0.0178	-	-	-	-
22.8311	1250	0.006	-	-	-	-
22.9954	1259	-	0.9201	0.9193	0.9199	0.9207
23.0137	1260	0.0073	-	-	-	-
23.1963	1270	0.0085	-	-	-	-
23.3790	1280	0.0057	-	-	-	-
23.5616	1290	0.0082	-	-	-	-
23.7443	1300	0.0077	-	-	-	-
23.9269	1310	0.0099	-	-	-	-
24.0	1314	-	0.9230	0.9236	0.9217	0.9204
24.1096	1320	0.0059	-	-	-	-
24.2922	1330	0.0083	-	-	-	-
24.4749	1340	0.0064	-	-	-	-
24.6575	1350	0.005	-	-	-	-
24.8402	1360	0.0074	-	-	-	-
24.9863	1368	-	0.9202	0.9200	0.9196	0.9219
25.0228	1370	0.0093	-	-	-	-
25.2055	1380	0.0059	-	-	-	-
25.3881	1390	0.0063	-	-	-	-
25.5708	1400	0.0059	-	-	-	-
25.7534	1410	0.0077	-	-	-	-
25.9361	1420	0.0058	-	-	-	-
25.9909	1423	-	0.9203	0.9204	0.9187	0.9172
26.1187	1430	0.0043	-	-	-	-
26.3014	1440	0.0076	-	-	-	-
26.4840	1450	0.0066	-	-	-	-
26.6667	1460	0.0055	-	-	-	-
26.8493	1470	0.0045	-	-	-	-
26.9954	1478	-	0.9242	0.9231	0.9221	0.9199
27.0320	1480	0.0115	-	-	-	-
27.2146	1490	0.0041	-	-	-	-
27.3973	1500	0.0057	-	-	-	-
27.5799	1510	0.0063	-	-	-	-
27.7626	1520	0.0059	-	-	-	-
27.9452	1530	0.017	-	-	-	-
28.0	1533	-	0.9226	0.9217	0.9194	0.9173
28.1279	1540	0.0067	-	-	-	-
28.3105	1550	0.0053	-	-	-	-
28.4932	1560	0.0105	-	-	-	-
28.6758	1570	0.0041	-	-	-	-
28.8584	1580	0.0036	-	-	-	-
28.9863	1587	-	0.9213	0.9218	0.9207	0.9172
29.0411	1590	0.0054	-	-	-	-
29.2237	1600	0.0101	-	-	-	-
29.4064	1610	0.01	-	-	-	-
29.5890	1620	0.0049	-	-	-	-
29.7717	1630	0.0065	-	-	-	-
29.9543	1640	0.006	-	-	-	-
29.9909	1642	-	0.9226	0.9226	0.9199	0.9214
30.1370	1650	0.0076	-	-	-	-
30.3196	1660	0.0055	-	-	-	-
30.5023	1670	0.0048	-	-	-	-
30.6849	1680	0.0067	-	-	-	-
30.8676	1690	0.0059	-	-	-	-
30.9954	1697	-	0.9222	0.9213	0.9209	0.9213
31.0502	1700	0.0059	-	-	-	-
31.2329	1710	0.0088	-	-	-	-
31.4155	1720	0.0074	-	-	-	-
31.5982	1730	0.0166	-	-	-	-
31.7808	1740	0.0069	-	-	-	-
31.9635	1750	0.007	-	-	-	-
32.0	1752	-	0.9239	0.9256	0.9239	0.9223
32.1461	1760	0.0096	-	-	-	-
32.3288	1770	0.0056	-	-	-	-
32.5114	1780	0.0112	-	-	-	-
32.6941	1790	0.0066	-	-	-	-
32.8767	1800	0.009	-	-	-	-
32.9863	1806	-	0.9260	0.9238	0.9237	0.9225
33.0594	1810	0.0063	-	-	-	-
33.2420	1820	0.007	-	-	-	-
33.4247	1830	0.0058	-	-	-	-
33.6073	1840	0.0062	-	-	-	-
33.7900	1850	0.0114	-	-	-	-
33.9726	1860	0.0068	-	-	-	-
33.9909	1861	-	0.9237	0.9229	0.9227	0.9205
34.1553	1870	0.0028	-	-	-	-
34.3379	1880	0.0085	-	-	-	-
34.5205	1890	0.0088	-	-	-	-
34.7032	1900	0.0089	-	-	-	-
34.8858	1910	0.0065	-	-	-	-
34.9954	1916	-	0.9233	0.9224	0.9228	0.9209
35.0685	1920	0.0108	-	-	-	-
35.2511	1930	0.0078	-	-	-	-
35.4338	1940	0.0053	-	-	-	-
35.6164	1950	0.0032	-	-	-	-
35.7991	1960	0.0101	-	-	-	-
35.9817	1970	0.0044	-	-	-	-
36.0	1971	-	0.9228	0.9209	0.9202	0.9198
36.1644	1980	0.0036	-	-	-	-
36.3470	1990	0.0081	-	-	-	-
36.5297	2000	0.0049	-	-	-	-
36.7123	2010	0.0039	-	-	-	-
36.8950	2020	0.0052	-	-	-	-
36.9863	2025	-	0.9225	0.9214	0.9202	0.9195
37.0776	2030	0.0052	-	-	-	-
37.2603	2040	0.0092	-	-	-	-
37.4429	2050	0.0129	-	-	-	-
37.6256	2060	0.0034	-	-	-	-
37.8082	2070	0.0092	-	-	-	-
37.9909	2080	0.0058	0.9242	0.9239	0.9223	0.9245
38.1735	2090	0.0052	-	-	-	-
38.3562	2100	0.0091	-	-	-	-
38.5388	2110	0.007	-	-	-	-
38.7215	2120	0.006	-	-	-	-
38.9041	2130	0.0051	-	-	-	-
38.9954	2135	-	0.9244	0.9238	0.9242	0.9239
39.0868	2140	0.0033	-	-	-	-
39.2694	2150	0.0065	-	-	-	-
39.4521	2160	0.0066	-	-	-	-
39.6347	2170	0.0031	-	-	-	-
39.8174	2180	0.0039	-	-	-	-
40.0	2190	0.0081	0.9228	0.9236	0.9257	0.9236
40.1826	2200	0.0099	-	-	-	-
40.3653	2210	0.005	-	-	-	-
40.5479	2220	0.0056	-	-	-	-
40.7306	2230	0.0071	-	-	-	-
40.9132	2240	0.0098	-	-	-	-
40.9863	2244	-	0.9265	0.9258	0.9248	0.9254
41.0959	2250	0.006	-	-	-	-
41.2785	2260	0.0035	-	-	-	-
41.4612	2270	0.0028	-	-	-	-
41.6438	2280	0.0067	-	-	-	-
41.8265	2290	0.0017	-	-	-	-
41.9909	2299	-	0.9235	0.9236	0.9217	0.9201
42.0091	2300	0.0077	-	-	-	-
42.1918	2310	0.0025	-	-	-	-
42.3744	2320	0.0039	-	-	-	-
42.5571	2330	0.0033	-	-	-	-
42.7397	2340	0.003	-	-	-	-
42.9224	2350	0.0051	-	-	-	-
42.9954	2354	-	0.9232	0.9255	0.9244	0.9237
43.1050	2360	0.0055	-	-	-	-
43.2877	2370	0.0048	-	-	-	-
43.4703	2380	0.0043	-	-	-	-
43.6530	2390	0.0042	-	-	-	-
43.8356	2400	0.0032	-	-	-	-
44.0	2409	-	0.9221	0.9223	0.9224	0.9214
44.0183	2410	0.0059	-	-	-	-
44.2009	2420	0.0038	-	-	-	-
44.3836	2430	0.0069	-	-	-	-
44.5662	2440	0.002	-	-	-	-
44.7489	2450	0.0073	-	-	-	-
44.9315	2460	0.0041	-	-	-	-
44.9863	2463	-	0.9240	0.9244	0.9252	0.9247
45.1142	2470	0.0027	-	-	-	-
45.2968	2480	0.0047	-	-	-	-
45.4795	2490	0.0057	-	-	-	-
45.6621	2500	0.0037	-	-	-	-
45.8447	2510	0.0021	-	-	-	-
45.9909	2518	-	0.9244	0.9253	0.9253	0.9241
46.0274	2520	0.0033	-	-	-	-
46.2100	2530	0.003	-	-	-	-
46.3927	2540	0.0032	-	-	-	-
46.5753	2550	0.0028	-	-	-	-
46.7580	2560	0.0045	-	-	-	-
46.9406	2570	0.0031	-	-	-	-
46.9954	2573	-	0.9236	0.9264	0.9259	0.9240
47.1233	2580	0.0028	-	-	-	-
47.3059	2590	0.0031	-	-	-	-
47.4886	2600	0.0036	-	-	-	-
47.6712	2610	0.0055	-	-	-	-
47.8539	2620	0.0051	-	-	-	-
48.0	2628	-	0.9238	0.9246	0.9237	0.9232
48.0365	2630	0.0049	-	-	-	-
48.2192	2640	0.0061	-	-	-	-
48.4018	2650	0.0065	-	-	-	-
48.5845	2660	0.0044	-	-	-	-
48.7671	2670	0.0029	-	-	-	-
48.9498	2680	0.0037	-	-	-	-
48.9863	2682	-	0.9253	0.9242	0.9260	0.9213
49.1324	2690	0.007	-	-	-	-
49.3151	2700	0.0036	-	-	-	-
49.4977	2710	0.0053	-	-	-	-
49.6804	2720	0.0061	-	-	-	-
49.8630	2730	0.0034	-	-	-	-
49.9909	2737	-	0.9255	0.9249	0.9249	0.9248
50.0457	2740	0.0041	-	-	-	-
50.2283	2750	0.0048	-	-	-	-
50.4110	2760	0.0027	-	-	-	-
50.5936	2770	0.0036	-	-	-	-
50.7763	2780	0.0057	-	-	-	-
50.9589	2790	0.003	-	-	-	-
50.9954	2792	-	0.9272	0.9253	0.9252	0.9260
51.1416	2800	0.0073	-	-	-	-
51.3242	2810	0.0059	-	-	-	-
51.5068	2820	0.0039	-	-	-	-
51.6895	2830	0.0054	-	-	-	-
51.8721	2840	0.0042	-	-	-	-
52.0	2847	-	0.9246	0.9233	0.9230	0.9216
52.0548	2850	0.0039	-	-	-	-
52.2374	2860	0.0046	-	-	-	-
52.4201	2870	0.0048	-	-	-	-
52.6027	2880	0.0042	-	-	-	-
52.7854	2890	0.003	-	-	-	-
52.9680	2900	0.0028	-	-	-	-
52.9863	2901	-	0.9234	0.9236	0.9241	0.9237
53.1507	2910	0.0054	-	-	-	-
53.3333	2920	0.0037	-	-	-	-
53.5160	2930	0.005	-	-	-	-
53.6986	2940	0.0023	-	-	-	-
53.8813	2950	0.0072	-	-	-	-
53.9909	2956	-	0.9259	0.9268	0.9262	0.9261
54.0639	2960	0.0056	-	-	-	-
54.2466	2970	0.0053	-	-	-	-
54.4292	2980	0.0042	-	-	-	-
54.6119	2990	0.0024	-	-	-	-
54.7945	3000	0.0024	-	-	-	-
54.9772	3010	0.006	-	-	-	-
54.9954	3011	-	0.9255	0.9256	0.9263	0.9253
55.1598	3020	0.0043	-	-	-	-
55.3425	3030	0.0058	-	-	-	-
55.5251	3040	0.004	-	-	-	-
55.7078	3050	0.0032	-	-	-	-
55.8904	3060	0.009	-	-	-	-
56.0	3066	-	0.9272	0.9249	0.9254	0.9243
56.0731	3070	0.0023	-	-	-	-
56.2557	3080	0.0062	-	-	-	-
56.4384	3090	0.0068	-	-	-	-
56.6210	3100	0.0066	-	-	-	-
56.8037	3110	0.0041	-	-	-	-
56.9863	3120	0.0066	0.9272	0.9276	0.9279	0.9269
57.1689	3130	0.005	-	-	-	-
57.3516	3140	0.0081	-	-	-	-
57.5342	3150	0.006	-	-	-	-
57.7169	3160	0.0053	-	-	-	-
57.8995	3170	0.0074	-	-	-	-
57.9909	3175	-	0.9267	0.9270	0.9246	0.9260
58.0822	3180	0.0035	-	-	-	-
58.2648	3190	0.0072	-	-	-	-
58.4475	3200	0.0049	-	-	-	-
58.6301	3210	0.0033	-	-	-	-
58.8128	3220	0.0035	-	-	-	-
58.9954	3230	0.0057	0.9250	0.9244	0.9238	0.9235
59.1781	3240	0.0033	-	-	-	-
59.3607	3250	0.0016	-	-	-	-
59.5434	3260	0.0033	-	-	-	-
59.7260	3270	0.0043	-	-	-	-
59.9087	3280	0.0026	-	-	-	-
60.0	3285	-	0.9257	0.9252	0.9240	0.9246
60.0913	3290	0.0087	-	-	-	-
60.2740	3300	0.0063	-	-	-	-
60.4566	3310	0.0021	-	-	-	-
60.6393	3320	0.0021	-	-	-	-
60.8219	3330	0.0063	-	-	-	-
60.9863	3339	-	0.9255	0.9263	0.9258	0.9252
61.0046	3340	0.0035	-	-	-	-
61.1872	3350	0.0029	-	-	-	-
61.3699	3360	0.0027	-	-	-	-
61.5525	3370	0.0048	-	-	-	-
61.7352	3380	0.0061	-	-	-	-
61.9178	3390	0.0037	-	-	-	-
61.9909	3394	-	0.9269	0.9266	0.9256	0.9261
62.1005	3400	0.0076	-	-	-	-
62.2831	3410	0.002	-	-	-	-
62.4658	3420	0.0024	-	-	-	-
62.6484	3430	0.0025	-	-	-	-
62.8311	3440	0.0043	-	-	-	-
62.9954	3449	-	0.9256	0.9243	0.9244	0.9249
63.0137	3450	0.0027	-	-	-	-
63.1963	3460	0.0028	-	-	-	-
63.3790	3470	0.004	-	-	-	-
63.5616	3480	0.0019	-	-	-	-
63.7443	3490	0.0039	-	-	-	-
63.9269	3500	0.0018	-	-	-	-
64.0	3504	-	0.9256	0.9253	0.9247	0.9256
64.1096	3510	0.0059	-	-	-	-
64.2922	3520	0.007	-	-	-	-
64.4749	3530	0.0054	-	-	-	-
64.6575	3540	0.0028	-	-	-	-
64.8402	3550	0.0061	-	-	-	-
64.9863	3558	-	0.9263	0.9258	0.9255	0.9266
65.0228	3560	0.0016	-	-	-	-
65.2055	3570	0.0057	-	-	-	-
65.3881	3580	0.0039	-	-	-	-
65.5708	3590	0.004	-	-	-	-
65.7534	3600	0.006	-	-	-	-
65.9361	3610	0.0037	-	-	-	-
65.9909	3613	-	0.9263	0.9269	0.9259	0.9257
66.1187	3620	0.0028	-	-	-	-
66.3014	3630	0.0034	-	-	-	-
66.4840	3640	0.0053	-	-	-	-
66.6667	3650	0.0035	-	-	-	-
66.8493	3660	0.0069	-	-	-	-
66.9954	3668	-	0.9277	0.9277	0.9270	0.9262
67.0320	3670	0.0044	-	-	-	-
67.2146	3680	0.0069	-	-	-	-
67.3973	3690	0.0062	-	-	-	-
67.5799	3700	0.0026	-	-	-	-
67.7626	3710	0.0056	-	-	-	-
67.9452	3720	0.0044	-	-	-	-
68.0	3723	-	0.9282	0.9284	0.9274	0.9277
68.1279	3730	0.0062	-	-	-	-
68.3105	3740	0.0066	-	-	-	-
68.4932	3750	0.002	-	-	-	-
68.6758	3760	0.0017	-	-	-	-
68.8584	3770	0.0055	-	-	-	-
68.9863	3777	-	0.9275	0.9281	0.9268	0.9261
69.0411	3780	0.0051	-	-	-	-
69.2237	3790	0.0035	-	-	-	-
69.4064	3800	0.0034	-	-	-	-
69.5890	3810	0.007	-	-	-	-
69.7717	3820	0.0028	-	-	-	-
69.9543	3830	0.0032	-	-	-	-
69.9909	3832	-	0.9277	0.9277	0.9266	0.9275
70.1370	3840	0.0058	-	-	-	-
70.3196	3850	0.0056	-	-	-	-
70.5023	3860	0.0017	-	-	-	-
70.6849	3870	0.0111	-	-	-	-
70.8676	3880	0.0032	-	-	-	-
70.9954	3887	-	0.9282	0.9267	0.9273	0.9280
71.0502	3890	0.0012	-	-	-	-
71.2329	3900	0.0042	-	-	-	-
71.4155	3910	0.0062	-	-	-	-
71.5982	3920	0.004	-	-	-	-
71.7808	3930	0.0042	-	-	-	-
71.9635	3940	0.0024	-	-	-	-
72.0	3942	-	0.9281	0.9271	0.9257	0.9253
72.1461	3950	0.0025	-	-	-	-
72.3288	3960	0.0031	-	-	-	-
72.5114	3970	0.0051	-	-	-	-
72.6941	3980	0.0021	-	-	-	-
72.8767	3990	0.0086	-	-	-	-
72.9863	3996	-	0.9270	0.9270	0.9258	0.9259
73.0594	4000	0.0029	-	-	-	-
73.2420	4010	0.0044	-	-	-	-
73.4247	4020	0.0055	-	-	-	-
73.6073	4030	0.0032	-	-	-	-
73.7900	4040	0.0043	-	-	-	-
73.9726	4050	0.0016	-	-	-	-
73.9909	4051	-	0.9287	0.9274	0.9261	0.9269
74.1553	4060	0.0014	-	-	-	-
74.3379	4070	0.0015	-	-	-	-
74.5205	4080	0.0067	-	-	-	-
74.7032	4090	0.0009	-	-	-	-
74.8858	4100	0.005	-	-	-	-
74.9954	4106	-	0.9286	0.9276	0.9265	0.9260
75.0685	4110	0.0056	-	-	-	-
75.2511	4120	0.0022	-	-	-	-
75.4338	4130	0.0039	-	-	-	-
75.6164	4140	0.0091	-	-	-	-
75.7991	4150	0.006	-	-	-	-
75.9817	4160	0.0047	-	-	-	-
76.0	4161	-	0.9282	0.9291	0.9275	0.9258
76.1644	4170	0.0022	-	-	-	-
76.3470	4180	0.0013	-	-	-	-
76.5297	4190	0.0014	-	-	-	-
76.7123	4200	0.0043	-	-	-	-
76.8950	4210	0.0027	-	-	-	-
76.9863	4215	-	0.9276	0.9273	0.9270	0.9254
77.0776	4220	0.003	-	-	-	-
77.2603	4230	0.0041	-	-	-	-
77.4429	4240	0.0046	-	-	-	-
77.6256	4250	0.0039	-	-	-	-
77.8082	4260	0.0052	-	-	-	-
77.9909	4270	0.004	0.9270	0.9265	0.9268	0.9244
78.1735	4280	0.0014	-	-	-	-
78.3562	4290	0.0025	-	-	-	-
78.5388	4300	0.0016	-	-	-	-
78.7215	4310	0.0052	-	-	-	-
78.9041	4320	0.0037	-	-	-	-
78.9954	4325	-	0.9274	0.9267	0.9273	0.9255
79.0868	4330	0.0046	-	-	-	-
79.2694	4340	0.004	-	-	-	-
79.4521	4350	0.002	-	-	-	-
79.6347	4360	0.0063	-	-	-	-
79.8174	4370	0.0022	-	-	-	-
80.0	4380	0.0054	0.9289	0.928	0.927	0.9252
80.1826	4390	0.0032	-	-	-	-
80.3653	4400	0.0043	-	-	-	-
80.5479	4410	0.0014	-	-	-	-
80.7306	4420	0.0011	-	-	-	-
80.9132	4430	0.0025	-	-	-	-
80.9863	4434	-	0.9280	0.9285	0.9270	0.9258
81.0959	4440	0.005	-	-	-	-
81.2785	4450	0.0042	-	-	-	-
81.4612	4460	0.006	-	-	-	-
81.6438	4470	0.0035	-	-	-	-
81.8265	4480	0.0034	-	-	-	-
81.9909	4489	-	0.9270	0.9263	0.9266	0.9244
82.0091	4490	0.0032	-	-	-	-
82.1918	4500	0.0073	-	-	-	-
82.3744	4510	0.0035	-	-	-	-
82.5571	4520	0.0042	-	-	-	-
82.7397	4530	0.0044	-	-	-	-
82.9224	4540	0.0041	-	-	-	-
82.9954	4544	-	0.9274	0.9264	0.9273	0.9244
83.1050	4550	0.0044	-	-	-	-
83.2877	4560	0.0023	-	-	-	-
83.4703	4570	0.0031	-	-	-	-
83.6530	4580	0.0038	-	-	-	-
83.8356	4590	0.0045	-	-	-	-
84.0	4599	-	0.9275	0.9262	0.9274	0.9265
84.0183	4600	0.0027	-	-	-	-
84.2009	4610	0.0062	-	-	-	-
84.3836	4620	0.002	-	-	-	-
84.5662	4630	0.0011	-	-	-	-
84.7489	4640	0.0053	-	-	-	-
84.9315	4650	0.0012	-	-	-	-
84.9863	4653	-	0.9271	0.9260	0.9270	0.9259
85.1142	4660	0.0016	-	-	-	-
85.2968	4670	0.0021	-	-	-	-
85.4795	4680	0.0072	-	-	-	-
85.6621	4690	0.0063	-	-	-	-
85.8447	4700	0.0014	-	-	-	-
85.9909	4708	-	0.9275	0.9280	0.9279	0.9247
86.0274	4710	0.0026	-	-	-	-
86.2100	4720	0.0035	-	-	-	-
86.3927	4730	0.0059	-	-	-	-
86.5753	4740	0.003	-	-	-	-
86.7580	4750	0.0022	-	-	-	-
86.9406	4760	0.0016	-	-	-	-
86.9954	4763	-	0.9266	0.9277	0.9272	0.9253
87.1233	4770	0.0108	-	-	-	-
87.3059	4780	0.0031	-	-	-	-
87.4886	4790	0.0034	-	-	-	-
87.6712	4800	0.0046	-	-	-	-
87.8539	4810	0.0048	-	-	-	-
88.0	4818	-	0.9270	0.9281	0.9273	0.9254
88.0365	4820	0.0054	-	-	-	-
88.2192	4830	0.0048	-	-	-	-
88.4018	4840	0.0047	-	-	-	-
88.5845	4850	0.0023	-	-	-	-
88.7671	4860	0.0034	-	-	-	-
88.9498	4870	0.0099	-	-	-	-
88.9863	4872	-	0.9266	0.9278	0.9275	0.9264
89.1324	4880	0.0018	-	-	-	-
89.3151	4890	0.0052	-	-	-	-
89.4977	4900	0.0027	-	-	-	-
89.6804	4910	0.0027	-	-	-	-
89.8630	4920	0.0032	-	-	-	-
89.9909	4927	-	0.9273	0.9278	0.9276	0.9253
90.0457	4930	0.0028	-	-	-	-
90.2283	4940	0.0056	-	-	-	-
90.4110	4950	0.0043	-	-	-	-
90.5936	4960	0.0029	-	-	-	-
90.7763	4970	0.0048	-	-	-	-
90.9589	4980	0.0016	-	-	-	-
90.9954	4982	-	0.9267	0.9286	0.9277	0.9260
91.1416	4990	0.0028	-	-	-	-
91.3242	5000	0.0017	-	-	-	-
91.5068	5010	0.0033	-	-	-	-
91.6895	5020	0.0025	-	-	-	-
91.8721	5030	0.0021	-	-	-	-
92.0	5037	-	0.9273	0.9279	0.9276	0.9254
92.0548	5040	0.0017	-	-	-	-
92.2374	5050	0.001	-	-	-	-
92.4201	5060	0.0012	-	-	-	-
92.6027	5070	0.0011	-	-	-	-
92.7854	5080	0.0041	-	-	-	-
92.9680	5090	0.0041	-	-	-	-
92.9863	5091	-	0.9265	0.9273	0.9277	0.9258
93.1507	5100	0.0046	-	-	-	-
93.3333	5110	0.0042	-	-	-	-
93.5160	5120	0.0063	-	-	-	-
93.6986	5130	0.0096	-	-	-	-
93.8813	5140	0.0014	-	-	-	-
93.9909	5146	-	0.9273	0.9280	0.9277	0.9256
94.0639	5150	0.0015	-	-	-	-
94.2466	5160	0.0058	-	-	-	-
94.4292	5170	0.0017	-	-	-	-
94.6119	5180	0.0043	-	-	-	-
94.7945	5190	0.0041	-	-	-	-
94.9772	5200	0.0017	-	-	-	-
94.9954	5201	-	0.9271	0.9286	0.9281	0.9252
95.1598	5210	0.0017	-	-	-	-
95.3425	5220	0.002	-	-	-	-
95.5251	5230	0.0022	-	-	-	-
95.7078	5240	0.0021	-	-	-	-
95.8904	5250	0.0032	-	-	-	-
96.0	5256	-	0.9269	0.9280	0.9277	0.9260
96.0731	5260	0.003	-	-	-	-
96.2557	5270	0.0025	-	-	-	-
96.4384	5280	0.0036	-	-	-	-
96.6210	5290	0.0033	-	-	-	-
96.8037	5300	0.0044	-	-	-	-
96.9863	5310	0.0046	0.9278	0.9282	0.9276	0.9255
97.1689	5320	0.0037	-	-	-	-
97.3516	5330	0.0081	-	-	-	-
97.5342	5340	0.0087	-	-	-	-
97.7169	5350	0.0036	-	-	-	-
97.8995	5360	0.0041	-	-	-	-
97.9909	5365	-	0.9268	0.9276	0.9274	0.9261
98.0822	5370	0.0045	-	-	-	-
98.2648	5380	0.0039	-	-	-	-
98.4475	5390	0.0024	-	-	-	-
98.6301	5400	0.0012	0.9268	0.9282	0.9283	0.9260

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.4.1
• Transformers: 4.41.2
• PyTorch: 2.1.2+cu121
• Accelerate: 1.4.0
• Datasets: 2.19.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}