Matryoshka Representation Learning
Paper
•
2205.13147
•
Published
•
25
This is a sentence-transformers model finetuned from truro7/vn-law-embedding on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("VN-Law-Embedding")
# Run inference
sentences = [
'{"question": "Người sử dụng lao động có phải thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động không?"},',
'{"answer": "Có. Luật pháp Việt Nam quy định rõ ràng rằng người sử dụng lao động **phải** thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động tại cơ sở.\n\n**Căn cứ pháp lý chính:**\n\n* **Bộ luật Lao động 2019:** Điều 63 và Điều 64 quy định chi tiết về đối thoại tại nơi làm việc.\n\n**Nội dung chính của quy định này:**\n\n* **Đối thoại định kỳ:** Người sử dụng lao động phải tổ chức đối thoại định kỳ với người lao động và tổ chức đại diện người lao động (nếu có). Thời gian đối thoại định kỳ được quy định cụ thể trong Bộ luật Lao động và các văn bản hướng dẫn.\n* **Đối thoại khi có yêu cầu:** Ngoài đối thoại định kỳ, người sử dụng lao động cũng phải đối thoại khi có yêu cầu từ người lao động hoặc tổ chức đại diện người lao động.\n* **Nội dung đối thoại:** Nội dung đối thoại rất rộng, bao gồm nhiều vấn đề liên quan đến quan hệ lao động, như:\n * Tình hình sản xuất, kinh doanh của doanh nghiệp.\n * Việc thực hiện hợp đồng lao động, thỏa ước lao động tập thể, nội quy lao động, quy chế và các cam kết, thỏa thuận khác tại nơi làm việc.\n * Điều kiện làm việc.\n * Yêu cầu của người lao động, tổ chức đại diện người lao động đối với người sử dụng lao động.\n * Các nội dung khác mà hai bên quan tâm.\n* **Mục đích của đối thoại:**\n * Tăng cường sự hiểu biết giữa người sử dụng lao động và người lao động.\n * Xây dựng quan hệ lao động hài hòa, ổn định và tiến bộ.\n * Ngăn ngừa và giải quyết các tranh chấp lao động.\n * Thực hiện dân chủ tại nơi làm việc.\n\n**Tổ chức đại diện người lao động:**\n\n* Tổ chức đại diện người lao động có thể là Công đoàn cơ sở hoặc tổ chức của người lao động tại doanh nghiệp (nếu được thành lập hợp pháp theo quy định của pháp luật).\n* Vai trò của tổ chức đại diện người lao động rất quan trọng trong đối thoại, trao đổi, bảo vệ quyền và lợi ích hợp pháp, chính đáng của người lao động.\n\n**Tóm lại:**\n\nViệc thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động là **nghĩa vụ pháp lý** của người sử dụng lao động tại Việt Nam. Đây là một công cụ quan trọng để xây dựng quan hệ lao động tốt đẹp, đảm bảo quyền lợi của người lao động và sự phát triển bền vững của doanh nghiệp.\n\nĐể có thông tin chi tiết và chính xác nhất, bạn nên tham khảo trực tiếp **Bộ luật Lao động 2019** và các văn bản hướng dẫn liên quan."}',
'Theo quy định pháp luật hiện hành của Việt Nam, **không có quy định bắt buộc** trọng tài viên lao động phải tham gia một khóa đào tạo cụ thể nào trước khi hành nghề.\n\nTuy nhiên, để trở thành một trọng tài viên lao động có năng lực và chuyên nghiệp, việc tham gia các khóa đào tạo, bồi dưỡng kiến thức và kỹ năng về pháp luật lao động, kỹ năng giải quyết tranh chấp, kỹ năng trọng tài là **rất quan trọng và được khuyến khích.**\n\n**Giải thích chi tiết hơn:**\n\n* **Pháp luật không quy định bắt buộc:** Hiện tại, Luật Hòa giải, đối thoại tại Tòa án và các văn bản pháp luật liên quan đến trọng tài lao động không quy định cụ thể về việc trọng tài viên lao động phải có chứng chỉ hay hoàn thành khóa đào tạo nào. Điều kiện để trở thành Trọng tài viên lao động thường tập trung vào kinh nghiệm, kiến thức và uy tín trong lĩnh vực lao động.\n\n* **Khuyến khích đào tạo để nâng cao năng lực:** Mặc dù không bắt buộc, nhưng việc tham gia các khóa đào tạo mang lại nhiều lợi ích thiết thực cho trọng tài viên lao động:\n * **Cập nhật kiến thức pháp luật:** Pháp luật lao động liên tục thay đổi và phát triển. Các khóa đào tạo giúp trọng tài viên cập nhật những quy định mới nhất, đảm bảo áp dụng pháp luật chính xác trong quá trình giải quyết tranh chấp.\n * **Nâng cao kỹ năng chuyên môn:** Các khóa đào tạo thường trang bị các kỹ năng cần thiết cho trọng tài viên như:\n * **Kỹ năng hòa giải, thương lượng:** Giúp trọng tài viên hướng dẫn các bên tranh chấp tìm ra giải pháp hòa bình, tự nguyện.\n * **Kỹ năng điều hành phiên họp trọng tài:** Đảm bảo phiên họp diễn ra hiệu quả, công bằng và đúng trình tự.\n * **Kỹ năng phân tích, đánh giá chứng cứ:** Giúp trọng tài viên đưa ra phán quyết khách quan, dựa trên cơ sở pháp lý và chứng cứ xác thực.\n * **Kỹ năng soạn thảo phán quyết trọng tài:** Đảm bảo phán quyết rõ ràng, dễ hiểu, có tính khả thi và tuân thủ pháp luật.\n * **Mở rộng mạng lưới chuyên môn:** Các khóa đào tạo là cơ hội để trọng tài viên gặp gỡ, trao đổi kinh nghiệm với các đồng nghiệp, chuyên gia trong lĩnh vực lao động.\n * **Nâng cao uy tín cá nhân:** Việc có chứng chỉ đào tạo hoặc tham gia các khóa học uy tín có thể giúp trọng tài viên nâng cao uy tín và được các bên tranh chấp tin tưởng hơn.\n\n**Các loại hình đào tạo mà trọng tài viên lao động có thể tham gia:**\n\n* **Khóa đào tạo do các Trung tâm Trọng tài Lao động tổ chức:** Các trung tâm trọng tài thường xuyên tổ chức các khóa đào tạo chuyên sâu về trọng tài lao động, mời các chuyên gia, luật sư, thẩm phán có kinh nghiệm giảng dạy.\n* **Khóa đào tạo do các trường đại học, viện nghiên cứu tổ chức:** Các cơ sở đào tạo này có thể tổ chức các khóa học ngắn hạn, dài hạn về pháp luật lao động, giải quyết tranh chấp, kỹ năng trọng tài.\n* **Hội thảo, hội nghị chuyên đề:** Tham gia các sự kiện này giúp trọng tài viên cập nhật thông tin mới nhất về pháp luật lao động và xu hướng giải quyết tranh chấp.\n\n**Tóm lại:**\n\nMặc dù không bắt buộc, việc tham gia các khóa đào tạo là **hết sức cần thiết và có lợi** cho trọng tài viên lao động. Nó giúp nâng cao năng lực chuyên môn, kiến thức pháp luật, kỹ năng giải quyết tranh chấp, từ đó góp phần vào việc giải quyết tranh chấp lao động một cách hiệu quả, công bằng và đúng pháp luật. Để trở thành một trọng tài viên lao động giỏi, việc **tự giác học hỏi, trau dồi kiến thức và kỹ năng một cách liên tục** là điều quan trọng hơn cả.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
dim_768, dim_512, dim_256 and dim_128InformationRetrievalEvaluator| Metric | dim_768 | dim_512 | dim_256 | dim_128 |
|---|---|---|---|---|
| cosine_accuracy@1 | 0.8396 | 0.8419 | 0.8425 | 0.8391 |
| cosine_accuracy@3 | 0.9639 | 0.9645 | 0.9651 | 0.9616 |
| cosine_accuracy@5 | 0.9857 | 0.9874 | 0.9863 | 0.9863 |
| cosine_accuracy@10 | 0.9977 | 0.9977 | 0.9977 | 0.9971 |
| cosine_precision@1 | 0.8396 | 0.8419 | 0.8425 | 0.8391 |
| cosine_precision@3 | 0.3213 | 0.3215 | 0.3217 | 0.3205 |
| cosine_precision@5 | 0.1971 | 0.1975 | 0.1973 | 0.1973 |
| cosine_precision@10 | 0.0998 | 0.0998 | 0.0998 | 0.0997 |
| cosine_recall@1 | 0.8396 | 0.8419 | 0.8425 | 0.8391 |
| cosine_recall@3 | 0.9639 | 0.9645 | 0.9651 | 0.9616 |
| cosine_recall@5 | 0.9857 | 0.9874 | 0.9863 | 0.9863 |
| cosine_recall@10 | 0.9977 | 0.9977 | 0.9977 | 0.9971 |
| cosine_ndcg@10 | 0.9268 | 0.9282 | 0.9283 | 0.926 |
| cosine_mrr@10 | 0.9031 | 0.9049 | 0.905 | 0.9022 |
| cosine_map@100 | 0.9032 | 0.9051 | 0.9052 | 0.9023 |
anchor and positive| anchor | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| anchor | positive |
|---|---|
{"question": "Trường hợp người lao động nước ngoài bị mất giấy phép lao động, phải làm gì để được cấp lại?"} |
Để được cấp lại giấy phép lao động (GPLĐ) khi bị mất, người lao động nước ngoài tại Việt Nam cần thực hiện các bước sau: |
{"question": "Doanh nghiệp cho thuê lại có phải báo cáo số lao động bị trả lại cho cơ quan lao động không?"}{"question": "Trong trường hợp nào Chủ tịch Ủy ban nhân dân cấp tỉnh có quyền quyết định hoãn cuộc đình công?"} |
{"answer": "Doanh nghiệp cho thuê lại lao động có nghĩa vụ báo cáo số lượng lao động bị trả lại cho cơ quan quản lý nhà nước về lao động. |
{"question": "Doanh nghiệp có thể làm gì để kết nối cung và cầu lao động một cách hiệu quả hơn?"} |
Để doanh nghiệp kết nối cung và cầu lao động một cách hiệu quả hơn, họ có thể thực hiện nhiều biện pháp khác nhau, tập trung vào việc hiểu rõ thị trường lao động, thu hút ứng viên phù hợp, và tối ưu hóa quy trình tuyển dụng. Dưới đây là một số gợi ý chi tiết: |
MatryoshkaLoss with these parameters:{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128
],
"matryoshka_weights": [
1,
1,
1,
1
],
"n_dims_per_step": -1
}
eval_strategy: epochper_device_train_batch_size: 72per_device_eval_batch_size: 32gradient_accumulation_steps: 4learning_rate: 2e-05weight_decay: 0.01num_train_epochs: 100lr_scheduler_type: cosine_with_restartswarmup_ratio: 0.1bf16: Truetf32: Trueload_best_model_at_end: Trueoptim: adamw_torch_fusedpush_to_hub: Truehub_model_id: VN-Law-Embeddingbatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: epochprediction_loss_only: Trueper_device_train_batch_size: 72per_device_eval_batch_size: 32per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 4eval_accumulation_steps: Nonelearning_rate: 2e-05weight_decay: 0.01adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 100max_steps: -1lr_scheduler_type: cosine_with_restartslr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Truefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Truelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Trueresume_from_checkpoint: Nonehub_model_id: VN-Law-Embeddinghub_strategy: every_savehub_private_repo: Falsehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseeval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Nonedispatch_batches: Nonesplit_batches: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportional| Epoch | Step | Training Loss | dim_768_cosine_ndcg@10 | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 | dim_128_cosine_ndcg@10 |
|---|---|---|---|---|---|---|
| 0.1826 | 10 | 1.1661 | - | - | - | - |
| 0.3653 | 20 | 1.2164 | - | - | - | - |
| 0.5479 | 30 | 0.915 | - | - | - | - |
| 0.7306 | 40 | 0.8548 | - | - | - | - |
| 0.9132 | 50 | 0.672 | - | - | - | - |
| 0.9863 | 54 | - | 0.7404 | 0.7371 | 0.7302 | 0.7118 |
| 1.0959 | 60 | 0.4671 | - | - | - | - |
| 1.2785 | 70 | 0.3227 | - | - | - | - |
| 1.4612 | 80 | 0.2632 | - | - | - | - |
| 1.6438 | 90 | 0.2659 | - | - | - | - |
| 1.8265 | 100 | 0.1884 | - | - | - | - |
| 1.9909 | 109 | - | 0.8416 | 0.8407 | 0.8370 | 0.8250 |
| 2.0091 | 110 | 0.1432 | - | - | - | - |
| 2.1918 | 120 | 0.129 | - | - | - | - |
| 2.3744 | 130 | 0.1226 | - | - | - | - |
| 2.5571 | 140 | 0.0952 | - | - | - | - |
| 2.7397 | 150 | 0.0854 | - | - | - | - |
| 2.9224 | 160 | 0.0969 | - | - | - | - |
| 2.9954 | 164 | - | 0.8797 | 0.8775 | 0.8783 | 0.8653 |
| 3.1050 | 170 | 0.0883 | - | - | - | - |
| 3.2877 | 180 | 0.0761 | - | - | - | - |
| 3.4703 | 190 | 0.0623 | - | - | - | - |
| 3.6530 | 200 | 0.0614 | - | - | - | - |
| 3.8356 | 210 | 0.0387 | - | - | - | - |
| 4.0 | 219 | - | 0.8911 | 0.8890 | 0.8896 | 0.8817 |
| 4.0183 | 220 | 0.0392 | - | - | - | - |
| 4.2009 | 230 | 0.0514 | - | - | - | - |
| 4.3836 | 240 | 0.0409 | - | - | - | - |
| 4.5662 | 250 | 0.0341 | - | - | - | - |
| 4.7489 | 260 | 0.033 | - | - | - | - |
| 4.9315 | 270 | 0.0346 | - | - | - | - |
| 4.9863 | 273 | - | 0.8981 | 0.8985 | 0.8942 | 0.8898 |
| 5.1142 | 280 | 0.0231 | - | - | - | - |
| 5.2968 | 290 | 0.0222 | - | - | - | - |
| 5.4795 | 300 | 0.0234 | - | - | - | - |
| 5.6621 | 310 | 0.027 | - | - | - | - |
| 5.8447 | 320 | 0.0437 | - | - | - | - |
| 5.9909 | 328 | - | 0.9022 | 0.9021 | 0.9038 | 0.8994 |
| 6.0274 | 330 | 0.0308 | - | - | - | - |
| 6.2100 | 340 | 0.0295 | - | - | - | - |
| 6.3927 | 350 | 0.023 | - | - | - | - |
| 6.5753 | 360 | 0.0283 | - | - | - | - |
| 6.7580 | 370 | 0.0266 | - | - | - | - |
| 6.9406 | 380 | 0.0292 | - | - | - | - |
| 6.9954 | 383 | - | 0.9068 | 0.9068 | 0.9067 | 0.9028 |
| 7.1233 | 390 | 0.0156 | - | - | - | - |
| 7.3059 | 400 | 0.0142 | - | - | - | - |
| 7.4886 | 410 | 0.0234 | - | - | - | - |
| 7.6712 | 420 | 0.0137 | - | - | - | - |
| 7.8539 | 430 | 0.0191 | - | - | - | - |
| 8.0 | 438 | - | 0.9106 | 0.9096 | 0.9095 | 0.9056 |
| 8.0365 | 440 | 0.023 | - | - | - | - |
| 8.2192 | 450 | 0.0201 | - | - | - | - |
| 8.4018 | 460 | 0.0249 | - | - | - | - |
| 8.5845 | 470 | 0.0177 | - | - | - | - |
| 8.7671 | 480 | 0.0161 | - | - | - | - |
| 8.9498 | 490 | 0.0156 | - | - | - | - |
| 8.9863 | 492 | - | 0.9130 | 0.9131 | 0.9147 | 0.9089 |
| 9.1324 | 500 | 0.0154 | - | - | - | - |
| 9.3151 | 510 | 0.0153 | - | - | - | - |
| 9.4977 | 520 | 0.014 | - | - | - | - |
| 9.6804 | 530 | 0.0131 | - | - | - | - |
| 9.8630 | 540 | 0.0167 | - | - | - | - |
| 9.9909 | 547 | - | 0.9125 | 0.9149 | 0.9150 | 0.9088 |
| 10.0457 | 550 | 0.0173 | - | - | - | - |
| 10.2283 | 560 | 0.0129 | - | - | - | - |
| 10.4110 | 570 | 0.0108 | - | - | - | - |
| 10.5936 | 580 | 0.0105 | - | - | - | - |
| 10.7763 | 590 | 0.0206 | - | - | - | - |
| 10.9589 | 600 | 0.0183 | - | - | - | - |
| 10.9954 | 602 | - | 0.9141 | 0.9139 | 0.9132 | 0.9125 |
| 11.1416 | 610 | 0.0122 | - | - | - | - |
| 11.3242 | 620 | 0.0164 | - | - | - | - |
| 11.5068 | 630 | 0.0062 | - | - | - | - |
| 11.6895 | 640 | 0.0129 | - | - | - | - |
| 11.8721 | 650 | 0.0103 | - | - | - | - |
| 12.0 | 657 | - | 0.9162 | 0.9174 | 0.9162 | 0.9149 |
| 12.0548 | 660 | 0.0125 | - | - | - | - |
| 12.2374 | 670 | 0.0135 | - | - | - | - |
| 12.4201 | 680 | 0.0066 | - | - | - | - |
| 12.6027 | 690 | 0.0121 | - | - | - | - |
| 12.7854 | 700 | 0.0124 | - | - | - | - |
| 12.9680 | 710 | 0.0121 | - | - | - | - |
| 12.9863 | 711 | - | 0.9158 | 0.9162 | 0.9166 | 0.9139 |
| 13.1507 | 720 | 0.0122 | - | - | - | - |
| 13.3333 | 730 | 0.0127 | - | - | - | - |
| 13.5160 | 740 | 0.0083 | - | - | - | - |
| 13.6986 | 750 | 0.013 | - | - | - | - |
| 13.8813 | 760 | 0.0068 | - | - | - | - |
| 13.9909 | 766 | - | 0.9201 | 0.9203 | 0.9181 | 0.9177 |
| 14.0639 | 770 | 0.0081 | - | - | - | - |
| 14.2466 | 780 | 0.0116 | - | - | - | - |
| 14.4292 | 790 | 0.0109 | - | - | - | - |
| 14.6119 | 800 | 0.0097 | - | - | - | - |
| 14.7945 | 810 | 0.013 | - | - | - | - |
| 14.9772 | 820 | 0.0119 | - | - | - | - |
| 14.9954 | 821 | - | 0.9218 | 0.9221 | 0.9208 | 0.9191 |
| 15.1598 | 830 | 0.0058 | - | - | - | - |
| 15.3425 | 840 | 0.0159 | - | - | - | - |
| 15.5251 | 850 | 0.0096 | - | - | - | - |
| 15.7078 | 860 | 0.0126 | - | - | - | - |
| 15.8904 | 870 | 0.0075 | - | - | - | - |
| 16.0 | 876 | - | 0.9218 | 0.9209 | 0.9196 | 0.9175 |
| 16.0731 | 880 | 0.0092 | - | - | - | - |
| 16.2557 | 890 | 0.0071 | - | - | - | - |
| 16.4384 | 900 | 0.0105 | - | - | - | - |
| 16.6210 | 910 | 0.0113 | - | - | - | - |
| 16.8037 | 920 | 0.009 | - | - | - | - |
| 16.9863 | 930 | 0.0136 | 0.9188 | 0.9187 | 0.9181 | 0.9183 |
| 17.1689 | 940 | 0.0103 | - | - | - | - |
| 17.3516 | 950 | 0.0148 | - | - | - | - |
| 17.5342 | 960 | 0.0096 | - | - | - | - |
| 17.7169 | 970 | 0.0076 | - | - | - | - |
| 17.8995 | 980 | 0.0144 | - | - | - | - |
| 17.9909 | 985 | - | 0.9209 | 0.9216 | 0.9194 | 0.9190 |
| 18.0822 | 990 | 0.0177 | - | - | - | - |
| 18.2648 | 1000 | 0.0127 | - | - | - | - |
| 18.4475 | 1010 | 0.0063 | - | - | - | - |
| 18.6301 | 1020 | 0.0079 | - | - | - | - |
| 18.8128 | 1030 | 0.008 | - | - | - | - |
| 18.9954 | 1040 | 0.0128 | 0.9231 | 0.9205 | 0.9210 | 0.9219 |
| 19.1781 | 1050 | 0.0114 | - | - | - | - |
| 19.3607 | 1060 | 0.0077 | - | - | - | - |
| 19.5434 | 1070 | 0.0107 | - | - | - | - |
| 19.7260 | 1080 | 0.0062 | - | - | - | - |
| 19.9087 | 1090 | 0.0052 | - | - | - | - |
| 20.0 | 1095 | - | 0.9171 | 0.9195 | 0.9187 | 0.9187 |
| 20.0913 | 1100 | 0.0095 | - | - | - | - |
| 20.2740 | 1110 | 0.0132 | - | - | - | - |
| 20.4566 | 1120 | 0.0127 | - | - | - | - |
| 20.6393 | 1130 | 0.0079 | - | - | - | - |
| 20.8219 | 1140 | 0.0121 | - | - | - | - |
| 20.9863 | 1149 | - | 0.9214 | 0.9207 | 0.9209 | 0.9213 |
| 21.0046 | 1150 | 0.007 | - | - | - | - |
| 21.1872 | 1160 | 0.0097 | - | - | - | - |
| 21.3699 | 1170 | 0.012 | - | - | - | - |
| 21.5525 | 1180 | 0.0062 | - | - | - | - |
| 21.7352 | 1190 | 0.0102 | - | - | - | - |
| 21.9178 | 1200 | 0.0072 | - | - | - | - |
| 21.9909 | 1204 | - | 0.9202 | 0.9212 | 0.9189 | 0.9184 |
| 22.1005 | 1210 | 0.0068 | - | - | - | - |
| 22.2831 | 1220 | 0.0086 | - | - | - | - |
| 22.4658 | 1230 | 0.0142 | - | - | - | - |
| 22.6484 | 1240 | 0.0178 | - | - | - | - |
| 22.8311 | 1250 | 0.006 | - | - | - | - |
| 22.9954 | 1259 | - | 0.9201 | 0.9193 | 0.9199 | 0.9207 |
| 23.0137 | 1260 | 0.0073 | - | - | - | - |
| 23.1963 | 1270 | 0.0085 | - | - | - | - |
| 23.3790 | 1280 | 0.0057 | - | - | - | - |
| 23.5616 | 1290 | 0.0082 | - | - | - | - |
| 23.7443 | 1300 | 0.0077 | - | - | - | - |
| 23.9269 | 1310 | 0.0099 | - | - | - | - |
| 24.0 | 1314 | - | 0.9230 | 0.9236 | 0.9217 | 0.9204 |
| 24.1096 | 1320 | 0.0059 | - | - | - | - |
| 24.2922 | 1330 | 0.0083 | - | - | - | - |
| 24.4749 | 1340 | 0.0064 | - | - | - | - |
| 24.6575 | 1350 | 0.005 | - | - | - | - |
| 24.8402 | 1360 | 0.0074 | - | - | - | - |
| 24.9863 | 1368 | - | 0.9202 | 0.9200 | 0.9196 | 0.9219 |
| 25.0228 | 1370 | 0.0093 | - | - | - | - |
| 25.2055 | 1380 | 0.0059 | - | - | - | - |
| 25.3881 | 1390 | 0.0063 | - | - | - | - |
| 25.5708 | 1400 | 0.0059 | - | - | - | - |
| 25.7534 | 1410 | 0.0077 | - | - | - | - |
| 25.9361 | 1420 | 0.0058 | - | - | - | - |
| 25.9909 | 1423 | - | 0.9203 | 0.9204 | 0.9187 | 0.9172 |
| 26.1187 | 1430 | 0.0043 | - | - | - | - |
| 26.3014 | 1440 | 0.0076 | - | - | - | - |
| 26.4840 | 1450 | 0.0066 | - | - | - | - |
| 26.6667 | 1460 | 0.0055 | - | - | - | - |
| 26.8493 | 1470 | 0.0045 | - | - | - | - |
| 26.9954 | 1478 | - | 0.9242 | 0.9231 | 0.9221 | 0.9199 |
| 27.0320 | 1480 | 0.0115 | - | - | - | - |
| 27.2146 | 1490 | 0.0041 | - | - | - | - |
| 27.3973 | 1500 | 0.0057 | - | - | - | - |
| 27.5799 | 1510 | 0.0063 | - | - | - | - |
| 27.7626 | 1520 | 0.0059 | - | - | - | - |
| 27.9452 | 1530 | 0.017 | - | - | - | - |
| 28.0 | 1533 | - | 0.9226 | 0.9217 | 0.9194 | 0.9173 |
| 28.1279 | 1540 | 0.0067 | - | - | - | - |
| 28.3105 | 1550 | 0.0053 | - | - | - | - |
| 28.4932 | 1560 | 0.0105 | - | - | - | - |
| 28.6758 | 1570 | 0.0041 | - | - | - | - |
| 28.8584 | 1580 | 0.0036 | - | - | - | - |
| 28.9863 | 1587 | - | 0.9213 | 0.9218 | 0.9207 | 0.9172 |
| 29.0411 | 1590 | 0.0054 | - | - | - | - |
| 29.2237 | 1600 | 0.0101 | - | - | - | - |
| 29.4064 | 1610 | 0.01 | - | - | - | - |
| 29.5890 | 1620 | 0.0049 | - | - | - | - |
| 29.7717 | 1630 | 0.0065 | - | - | - | - |
| 29.9543 | 1640 | 0.006 | - | - | - | - |
| 29.9909 | 1642 | - | 0.9226 | 0.9226 | 0.9199 | 0.9214 |
| 30.1370 | 1650 | 0.0076 | - | - | - | - |
| 30.3196 | 1660 | 0.0055 | - | - | - | - |
| 30.5023 | 1670 | 0.0048 | - | - | - | - |
| 30.6849 | 1680 | 0.0067 | - | - | - | - |
| 30.8676 | 1690 | 0.0059 | - | - | - | - |
| 30.9954 | 1697 | - | 0.9222 | 0.9213 | 0.9209 | 0.9213 |
| 31.0502 | 1700 | 0.0059 | - | - | - | - |
| 31.2329 | 1710 | 0.0088 | - | - | - | - |
| 31.4155 | 1720 | 0.0074 | - | - | - | - |
| 31.5982 | 1730 | 0.0166 | - | - | - | - |
| 31.7808 | 1740 | 0.0069 | - | - | - | - |
| 31.9635 | 1750 | 0.007 | - | - | - | - |
| 32.0 | 1752 | - | 0.9239 | 0.9256 | 0.9239 | 0.9223 |
| 32.1461 | 1760 | 0.0096 | - | - | - | - |
| 32.3288 | 1770 | 0.0056 | - | - | - | - |
| 32.5114 | 1780 | 0.0112 | - | - | - | - |
| 32.6941 | 1790 | 0.0066 | - | - | - | - |
| 32.8767 | 1800 | 0.009 | - | - | - | - |
| 32.9863 | 1806 | - | 0.9260 | 0.9238 | 0.9237 | 0.9225 |
| 33.0594 | 1810 | 0.0063 | - | - | - | - |
| 33.2420 | 1820 | 0.007 | - | - | - | - |
| 33.4247 | 1830 | 0.0058 | - | - | - | - |
| 33.6073 | 1840 | 0.0062 | - | - | - | - |
| 33.7900 | 1850 | 0.0114 | - | - | - | - |
| 33.9726 | 1860 | 0.0068 | - | - | - | - |
| 33.9909 | 1861 | - | 0.9237 | 0.9229 | 0.9227 | 0.9205 |
| 34.1553 | 1870 | 0.0028 | - | - | - | - |
| 34.3379 | 1880 | 0.0085 | - | - | - | - |
| 34.5205 | 1890 | 0.0088 | - | - | - | - |
| 34.7032 | 1900 | 0.0089 | - | - | - | - |
| 34.8858 | 1910 | 0.0065 | - | - | - | - |
| 34.9954 | 1916 | - | 0.9233 | 0.9224 | 0.9228 | 0.9209 |
| 35.0685 | 1920 | 0.0108 | - | - | - | - |
| 35.2511 | 1930 | 0.0078 | - | - | - | - |
| 35.4338 | 1940 | 0.0053 | - | - | - | - |
| 35.6164 | 1950 | 0.0032 | - | - | - | - |
| 35.7991 | 1960 | 0.0101 | - | - | - | - |
| 35.9817 | 1970 | 0.0044 | - | - | - | - |
| 36.0 | 1971 | - | 0.9228 | 0.9209 | 0.9202 | 0.9198 |
| 36.1644 | 1980 | 0.0036 | - | - | - | - |
| 36.3470 | 1990 | 0.0081 | - | - | - | - |
| 36.5297 | 2000 | 0.0049 | - | - | - | - |
| 36.7123 | 2010 | 0.0039 | - | - | - | - |
| 36.8950 | 2020 | 0.0052 | - | - | - | - |
| 36.9863 | 2025 | - | 0.9225 | 0.9214 | 0.9202 | 0.9195 |
| 37.0776 | 2030 | 0.0052 | - | - | - | - |
| 37.2603 | 2040 | 0.0092 | - | - | - | - |
| 37.4429 | 2050 | 0.0129 | - | - | - | - |
| 37.6256 | 2060 | 0.0034 | - | - | - | - |
| 37.8082 | 2070 | 0.0092 | - | - | - | - |
| 37.9909 | 2080 | 0.0058 | 0.9242 | 0.9239 | 0.9223 | 0.9245 |
| 38.1735 | 2090 | 0.0052 | - | - | - | - |
| 38.3562 | 2100 | 0.0091 | - | - | - | - |
| 38.5388 | 2110 | 0.007 | - | - | - | - |
| 38.7215 | 2120 | 0.006 | - | - | - | - |
| 38.9041 | 2130 | 0.0051 | - | - | - | - |
| 38.9954 | 2135 | - | 0.9244 | 0.9238 | 0.9242 | 0.9239 |
| 39.0868 | 2140 | 0.0033 | - | - | - | - |
| 39.2694 | 2150 | 0.0065 | - | - | - | - |
| 39.4521 | 2160 | 0.0066 | - | - | - | - |
| 39.6347 | 2170 | 0.0031 | - | - | - | - |
| 39.8174 | 2180 | 0.0039 | - | - | - | - |
| 40.0 | 2190 | 0.0081 | 0.9228 | 0.9236 | 0.9257 | 0.9236 |
| 40.1826 | 2200 | 0.0099 | - | - | - | - |
| 40.3653 | 2210 | 0.005 | - | - | - | - |
| 40.5479 | 2220 | 0.0056 | - | - | - | - |
| 40.7306 | 2230 | 0.0071 | - | - | - | - |
| 40.9132 | 2240 | 0.0098 | - | - | - | - |
| 40.9863 | 2244 | - | 0.9265 | 0.9258 | 0.9248 | 0.9254 |
| 41.0959 | 2250 | 0.006 | - | - | - | - |
| 41.2785 | 2260 | 0.0035 | - | - | - | - |
| 41.4612 | 2270 | 0.0028 | - | - | - | - |
| 41.6438 | 2280 | 0.0067 | - | - | - | - |
| 41.8265 | 2290 | 0.0017 | - | - | - | - |
| 41.9909 | 2299 | - | 0.9235 | 0.9236 | 0.9217 | 0.9201 |
| 42.0091 | 2300 | 0.0077 | - | - | - | - |
| 42.1918 | 2310 | 0.0025 | - | - | - | - |
| 42.3744 | 2320 | 0.0039 | - | - | - | - |
| 42.5571 | 2330 | 0.0033 | - | - | - | - |
| 42.7397 | 2340 | 0.003 | - | - | - | - |
| 42.9224 | 2350 | 0.0051 | - | - | - | - |
| 42.9954 | 2354 | - | 0.9232 | 0.9255 | 0.9244 | 0.9237 |
| 43.1050 | 2360 | 0.0055 | - | - | - | - |
| 43.2877 | 2370 | 0.0048 | - | - | - | - |
| 43.4703 | 2380 | 0.0043 | - | - | - | - |
| 43.6530 | 2390 | 0.0042 | - | - | - | - |
| 43.8356 | 2400 | 0.0032 | - | - | - | - |
| 44.0 | 2409 | - | 0.9221 | 0.9223 | 0.9224 | 0.9214 |
| 44.0183 | 2410 | 0.0059 | - | - | - | - |
| 44.2009 | 2420 | 0.0038 | - | - | - | - |
| 44.3836 | 2430 | 0.0069 | - | - | - | - |
| 44.5662 | 2440 | 0.002 | - | - | - | - |
| 44.7489 | 2450 | 0.0073 | - | - | - | - |
| 44.9315 | 2460 | 0.0041 | - | - | - | - |
| 44.9863 | 2463 | - | 0.9240 | 0.9244 | 0.9252 | 0.9247 |
| 45.1142 | 2470 | 0.0027 | - | - | - | - |
| 45.2968 | 2480 | 0.0047 | - | - | - | - |
| 45.4795 | 2490 | 0.0057 | - | - | - | - |
| 45.6621 | 2500 | 0.0037 | - | - | - | - |
| 45.8447 | 2510 | 0.0021 | - | - | - | - |
| 45.9909 | 2518 | - | 0.9244 | 0.9253 | 0.9253 | 0.9241 |
| 46.0274 | 2520 | 0.0033 | - | - | - | - |
| 46.2100 | 2530 | 0.003 | - | - | - | - |
| 46.3927 | 2540 | 0.0032 | - | - | - | - |
| 46.5753 | 2550 | 0.0028 | - | - | - | - |
| 46.7580 | 2560 | 0.0045 | - | - | - | - |
| 46.9406 | 2570 | 0.0031 | - | - | - | - |
| 46.9954 | 2573 | - | 0.9236 | 0.9264 | 0.9259 | 0.9240 |
| 47.1233 | 2580 | 0.0028 | - | - | - | - |
| 47.3059 | 2590 | 0.0031 | - | - | - | - |
| 47.4886 | 2600 | 0.0036 | - | - | - | - |
| 47.6712 | 2610 | 0.0055 | - | - | - | - |
| 47.8539 | 2620 | 0.0051 | - | - | - | - |
| 48.0 | 2628 | - | 0.9238 | 0.9246 | 0.9237 | 0.9232 |
| 48.0365 | 2630 | 0.0049 | - | - | - | - |
| 48.2192 | 2640 | 0.0061 | - | - | - | - |
| 48.4018 | 2650 | 0.0065 | - | - | - | - |
| 48.5845 | 2660 | 0.0044 | - | - | - | - |
| 48.7671 | 2670 | 0.0029 | - | - | - | - |
| 48.9498 | 2680 | 0.0037 | - | - | - | - |
| 48.9863 | 2682 | - | 0.9253 | 0.9242 | 0.9260 | 0.9213 |
| 49.1324 | 2690 | 0.007 | - | - | - | - |
| 49.3151 | 2700 | 0.0036 | - | - | - | - |
| 49.4977 | 2710 | 0.0053 | - | - | - | - |
| 49.6804 | 2720 | 0.0061 | - | - | - | - |
| 49.8630 | 2730 | 0.0034 | - | - | - | - |
| 49.9909 | 2737 | - | 0.9255 | 0.9249 | 0.9249 | 0.9248 |
| 50.0457 | 2740 | 0.0041 | - | - | - | - |
| 50.2283 | 2750 | 0.0048 | - | - | - | - |
| 50.4110 | 2760 | 0.0027 | - | - | - | - |
| 50.5936 | 2770 | 0.0036 | - | - | - | - |
| 50.7763 | 2780 | 0.0057 | - | - | - | - |
| 50.9589 | 2790 | 0.003 | - | - | - | - |
| 50.9954 | 2792 | - | 0.9272 | 0.9253 | 0.9252 | 0.9260 |
| 51.1416 | 2800 | 0.0073 | - | - | - | - |
| 51.3242 | 2810 | 0.0059 | - | - | - | - |
| 51.5068 | 2820 | 0.0039 | - | - | - | - |
| 51.6895 | 2830 | 0.0054 | - | - | - | - |
| 51.8721 | 2840 | 0.0042 | - | - | - | - |
| 52.0 | 2847 | - | 0.9246 | 0.9233 | 0.9230 | 0.9216 |
| 52.0548 | 2850 | 0.0039 | - | - | - | - |
| 52.2374 | 2860 | 0.0046 | - | - | - | - |
| 52.4201 | 2870 | 0.0048 | - | - | - | - |
| 52.6027 | 2880 | 0.0042 | - | - | - | - |
| 52.7854 | 2890 | 0.003 | - | - | - | - |
| 52.9680 | 2900 | 0.0028 | - | - | - | - |
| 52.9863 | 2901 | - | 0.9234 | 0.9236 | 0.9241 | 0.9237 |
| 53.1507 | 2910 | 0.0054 | - | - | - | - |
| 53.3333 | 2920 | 0.0037 | - | - | - | - |
| 53.5160 | 2930 | 0.005 | - | - | - | - |
| 53.6986 | 2940 | 0.0023 | - | - | - | - |
| 53.8813 | 2950 | 0.0072 | - | - | - | - |
| 53.9909 | 2956 | - | 0.9259 | 0.9268 | 0.9262 | 0.9261 |
| 54.0639 | 2960 | 0.0056 | - | - | - | - |
| 54.2466 | 2970 | 0.0053 | - | - | - | - |
| 54.4292 | 2980 | 0.0042 | - | - | - | - |
| 54.6119 | 2990 | 0.0024 | - | - | - | - |
| 54.7945 | 3000 | 0.0024 | - | - | - | - |
| 54.9772 | 3010 | 0.006 | - | - | - | - |
| 54.9954 | 3011 | - | 0.9255 | 0.9256 | 0.9263 | 0.9253 |
| 55.1598 | 3020 | 0.0043 | - | - | - | - |
| 55.3425 | 3030 | 0.0058 | - | - | - | - |
| 55.5251 | 3040 | 0.004 | - | - | - | - |
| 55.7078 | 3050 | 0.0032 | - | - | - | - |
| 55.8904 | 3060 | 0.009 | - | - | - | - |
| 56.0 | 3066 | - | 0.9272 | 0.9249 | 0.9254 | 0.9243 |
| 56.0731 | 3070 | 0.0023 | - | - | - | - |
| 56.2557 | 3080 | 0.0062 | - | - | - | - |
| 56.4384 | 3090 | 0.0068 | - | - | - | - |
| 56.6210 | 3100 | 0.0066 | - | - | - | - |
| 56.8037 | 3110 | 0.0041 | - | - | - | - |
| 56.9863 | 3120 | 0.0066 | 0.9272 | 0.9276 | 0.9279 | 0.9269 |
| 57.1689 | 3130 | 0.005 | - | - | - | - |
| 57.3516 | 3140 | 0.0081 | - | - | - | - |
| 57.5342 | 3150 | 0.006 | - | - | - | - |
| 57.7169 | 3160 | 0.0053 | - | - | - | - |
| 57.8995 | 3170 | 0.0074 | - | - | - | - |
| 57.9909 | 3175 | - | 0.9267 | 0.9270 | 0.9246 | 0.9260 |
| 58.0822 | 3180 | 0.0035 | - | - | - | - |
| 58.2648 | 3190 | 0.0072 | - | - | - | - |
| 58.4475 | 3200 | 0.0049 | - | - | - | - |
| 58.6301 | 3210 | 0.0033 | - | - | - | - |
| 58.8128 | 3220 | 0.0035 | - | - | - | - |
| 58.9954 | 3230 | 0.0057 | 0.9250 | 0.9244 | 0.9238 | 0.9235 |
| 59.1781 | 3240 | 0.0033 | - | - | - | - |
| 59.3607 | 3250 | 0.0016 | - | - | - | - |
| 59.5434 | 3260 | 0.0033 | - | - | - | - |
| 59.7260 | 3270 | 0.0043 | - | - | - | - |
| 59.9087 | 3280 | 0.0026 | - | - | - | - |
| 60.0 | 3285 | - | 0.9257 | 0.9252 | 0.9240 | 0.9246 |
| 60.0913 | 3290 | 0.0087 | - | - | - | - |
| 60.2740 | 3300 | 0.0063 | - | - | - | - |
| 60.4566 | 3310 | 0.0021 | - | - | - | - |
| 60.6393 | 3320 | 0.0021 | - | - | - | - |
| 60.8219 | 3330 | 0.0063 | - | - | - | - |
| 60.9863 | 3339 | - | 0.9255 | 0.9263 | 0.9258 | 0.9252 |
| 61.0046 | 3340 | 0.0035 | - | - | - | - |
| 61.1872 | 3350 | 0.0029 | - | - | - | - |
| 61.3699 | 3360 | 0.0027 | - | - | - | - |
| 61.5525 | 3370 | 0.0048 | - | - | - | - |
| 61.7352 | 3380 | 0.0061 | - | - | - | - |
| 61.9178 | 3390 | 0.0037 | - | - | - | - |
| 61.9909 | 3394 | - | 0.9269 | 0.9266 | 0.9256 | 0.9261 |
| 62.1005 | 3400 | 0.0076 | - | - | - | - |
| 62.2831 | 3410 | 0.002 | - | - | - | - |
| 62.4658 | 3420 | 0.0024 | - | - | - | - |
| 62.6484 | 3430 | 0.0025 | - | - | - | - |
| 62.8311 | 3440 | 0.0043 | - | - | - | - |
| 62.9954 | 3449 | - | 0.9256 | 0.9243 | 0.9244 | 0.9249 |
| 63.0137 | 3450 | 0.0027 | - | - | - | - |
| 63.1963 | 3460 | 0.0028 | - | - | - | - |
| 63.3790 | 3470 | 0.004 | - | - | - | - |
| 63.5616 | 3480 | 0.0019 | - | - | - | - |
| 63.7443 | 3490 | 0.0039 | - | - | - | - |
| 63.9269 | 3500 | 0.0018 | - | - | - | - |
| 64.0 | 3504 | - | 0.9256 | 0.9253 | 0.9247 | 0.9256 |
| 64.1096 | 3510 | 0.0059 | - | - | - | - |
| 64.2922 | 3520 | 0.007 | - | - | - | - |
| 64.4749 | 3530 | 0.0054 | - | - | - | - |
| 64.6575 | 3540 | 0.0028 | - | - | - | - |
| 64.8402 | 3550 | 0.0061 | - | - | - | - |
| 64.9863 | 3558 | - | 0.9263 | 0.9258 | 0.9255 | 0.9266 |
| 65.0228 | 3560 | 0.0016 | - | - | - | - |
| 65.2055 | 3570 | 0.0057 | - | - | - | - |
| 65.3881 | 3580 | 0.0039 | - | - | - | - |
| 65.5708 | 3590 | 0.004 | - | - | - | - |
| 65.7534 | 3600 | 0.006 | - | - | - | - |
| 65.9361 | 3610 | 0.0037 | - | - | - | - |
| 65.9909 | 3613 | - | 0.9263 | 0.9269 | 0.9259 | 0.9257 |
| 66.1187 | 3620 | 0.0028 | - | - | - | - |
| 66.3014 | 3630 | 0.0034 | - | - | - | - |
| 66.4840 | 3640 | 0.0053 | - | - | - | - |
| 66.6667 | 3650 | 0.0035 | - | - | - | - |
| 66.8493 | 3660 | 0.0069 | - | - | - | - |
| 66.9954 | 3668 | - | 0.9277 | 0.9277 | 0.9270 | 0.9262 |
| 67.0320 | 3670 | 0.0044 | - | - | - | - |
| 67.2146 | 3680 | 0.0069 | - | - | - | - |
| 67.3973 | 3690 | 0.0062 | - | - | - | - |
| 67.5799 | 3700 | 0.0026 | - | - | - | - |
| 67.7626 | 3710 | 0.0056 | - | - | - | - |
| 67.9452 | 3720 | 0.0044 | - | - | - | - |
| 68.0 | 3723 | - | 0.9282 | 0.9284 | 0.9274 | 0.9277 |
| 68.1279 | 3730 | 0.0062 | - | - | - | - |
| 68.3105 | 3740 | 0.0066 | - | - | - | - |
| 68.4932 | 3750 | 0.002 | - | - | - | - |
| 68.6758 | 3760 | 0.0017 | - | - | - | - |
| 68.8584 | 3770 | 0.0055 | - | - | - | - |
| 68.9863 | 3777 | - | 0.9275 | 0.9281 | 0.9268 | 0.9261 |
| 69.0411 | 3780 | 0.0051 | - | - | - | - |
| 69.2237 | 3790 | 0.0035 | - | - | - | - |
| 69.4064 | 3800 | 0.0034 | - | - | - | - |
| 69.5890 | 3810 | 0.007 | - | - | - | - |
| 69.7717 | 3820 | 0.0028 | - | - | - | - |
| 69.9543 | 3830 | 0.0032 | - | - | - | - |
| 69.9909 | 3832 | - | 0.9277 | 0.9277 | 0.9266 | 0.9275 |
| 70.1370 | 3840 | 0.0058 | - | - | - | - |
| 70.3196 | 3850 | 0.0056 | - | - | - | - |
| 70.5023 | 3860 | 0.0017 | - | - | - | - |
| 70.6849 | 3870 | 0.0111 | - | - | - | - |
| 70.8676 | 3880 | 0.0032 | - | - | - | - |
| 70.9954 | 3887 | - | 0.9282 | 0.9267 | 0.9273 | 0.9280 |
| 71.0502 | 3890 | 0.0012 | - | - | - | - |
| 71.2329 | 3900 | 0.0042 | - | - | - | - |
| 71.4155 | 3910 | 0.0062 | - | - | - | - |
| 71.5982 | 3920 | 0.004 | - | - | - | - |
| 71.7808 | 3930 | 0.0042 | - | - | - | - |
| 71.9635 | 3940 | 0.0024 | - | - | - | - |
| 72.0 | 3942 | - | 0.9281 | 0.9271 | 0.9257 | 0.9253 |
| 72.1461 | 3950 | 0.0025 | - | - | - | - |
| 72.3288 | 3960 | 0.0031 | - | - | - | - |
| 72.5114 | 3970 | 0.0051 | - | - | - | - |
| 72.6941 | 3980 | 0.0021 | - | - | - | - |
| 72.8767 | 3990 | 0.0086 | - | - | - | - |
| 72.9863 | 3996 | - | 0.9270 | 0.9270 | 0.9258 | 0.9259 |
| 73.0594 | 4000 | 0.0029 | - | - | - | - |
| 73.2420 | 4010 | 0.0044 | - | - | - | - |
| 73.4247 | 4020 | 0.0055 | - | - | - | - |
| 73.6073 | 4030 | 0.0032 | - | - | - | - |
| 73.7900 | 4040 | 0.0043 | - | - | - | - |
| 73.9726 | 4050 | 0.0016 | - | - | - | - |
| 73.9909 | 4051 | - | 0.9287 | 0.9274 | 0.9261 | 0.9269 |
| 74.1553 | 4060 | 0.0014 | - | - | - | - |
| 74.3379 | 4070 | 0.0015 | - | - | - | - |
| 74.5205 | 4080 | 0.0067 | - | - | - | - |
| 74.7032 | 4090 | 0.0009 | - | - | - | - |
| 74.8858 | 4100 | 0.005 | - | - | - | - |
| 74.9954 | 4106 | - | 0.9286 | 0.9276 | 0.9265 | 0.9260 |
| 75.0685 | 4110 | 0.0056 | - | - | - | - |
| 75.2511 | 4120 | 0.0022 | - | - | - | - |
| 75.4338 | 4130 | 0.0039 | - | - | - | - |
| 75.6164 | 4140 | 0.0091 | - | - | - | - |
| 75.7991 | 4150 | 0.006 | - | - | - | - |
| 75.9817 | 4160 | 0.0047 | - | - | - | - |
| 76.0 | 4161 | - | 0.9282 | 0.9291 | 0.9275 | 0.9258 |
| 76.1644 | 4170 | 0.0022 | - | - | - | - |
| 76.3470 | 4180 | 0.0013 | - | - | - | - |
| 76.5297 | 4190 | 0.0014 | - | - | - | - |
| 76.7123 | 4200 | 0.0043 | - | - | - | - |
| 76.8950 | 4210 | 0.0027 | - | - | - | - |
| 76.9863 | 4215 | - | 0.9276 | 0.9273 | 0.9270 | 0.9254 |
| 77.0776 | 4220 | 0.003 | - | - | - | - |
| 77.2603 | 4230 | 0.0041 | - | - | - | - |
| 77.4429 | 4240 | 0.0046 | - | - | - | - |
| 77.6256 | 4250 | 0.0039 | - | - | - | - |
| 77.8082 | 4260 | 0.0052 | - | - | - | - |
| 77.9909 | 4270 | 0.004 | 0.9270 | 0.9265 | 0.9268 | 0.9244 |
| 78.1735 | 4280 | 0.0014 | - | - | - | - |
| 78.3562 | 4290 | 0.0025 | - | - | - | - |
| 78.5388 | 4300 | 0.0016 | - | - | - | - |
| 78.7215 | 4310 | 0.0052 | - | - | - | - |
| 78.9041 | 4320 | 0.0037 | - | - | - | - |
| 78.9954 | 4325 | - | 0.9274 | 0.9267 | 0.9273 | 0.9255 |
| 79.0868 | 4330 | 0.0046 | - | - | - | - |
| 79.2694 | 4340 | 0.004 | - | - | - | - |
| 79.4521 | 4350 | 0.002 | - | - | - | - |
| 79.6347 | 4360 | 0.0063 | - | - | - | - |
| 79.8174 | 4370 | 0.0022 | - | - | - | - |
| 80.0 | 4380 | 0.0054 | 0.9289 | 0.928 | 0.927 | 0.9252 |
| 80.1826 | 4390 | 0.0032 | - | - | - | - |
| 80.3653 | 4400 | 0.0043 | - | - | - | - |
| 80.5479 | 4410 | 0.0014 | - | - | - | - |
| 80.7306 | 4420 | 0.0011 | - | - | - | - |
| 80.9132 | 4430 | 0.0025 | - | - | - | - |
| 80.9863 | 4434 | - | 0.9280 | 0.9285 | 0.9270 | 0.9258 |
| 81.0959 | 4440 | 0.005 | - | - | - | - |
| 81.2785 | 4450 | 0.0042 | - | - | - | - |
| 81.4612 | 4460 | 0.006 | - | - | - | - |
| 81.6438 | 4470 | 0.0035 | - | - | - | - |
| 81.8265 | 4480 | 0.0034 | - | - | - | - |
| 81.9909 | 4489 | - | 0.9270 | 0.9263 | 0.9266 | 0.9244 |
| 82.0091 | 4490 | 0.0032 | - | - | - | - |
| 82.1918 | 4500 | 0.0073 | - | - | - | - |
| 82.3744 | 4510 | 0.0035 | - | - | - | - |
| 82.5571 | 4520 | 0.0042 | - | - | - | - |
| 82.7397 | 4530 | 0.0044 | - | - | - | - |
| 82.9224 | 4540 | 0.0041 | - | - | - | - |
| 82.9954 | 4544 | - | 0.9274 | 0.9264 | 0.9273 | 0.9244 |
| 83.1050 | 4550 | 0.0044 | - | - | - | - |
| 83.2877 | 4560 | 0.0023 | - | - | - | - |
| 83.4703 | 4570 | 0.0031 | - | - | - | - |
| 83.6530 | 4580 | 0.0038 | - | - | - | - |
| 83.8356 | 4590 | 0.0045 | - | - | - | - |
| 84.0 | 4599 | - | 0.9275 | 0.9262 | 0.9274 | 0.9265 |
| 84.0183 | 4600 | 0.0027 | - | - | - | - |
| 84.2009 | 4610 | 0.0062 | - | - | - | - |
| 84.3836 | 4620 | 0.002 | - | - | - | - |
| 84.5662 | 4630 | 0.0011 | - | - | - | - |
| 84.7489 | 4640 | 0.0053 | - | - | - | - |
| 84.9315 | 4650 | 0.0012 | - | - | - | - |
| 84.9863 | 4653 | - | 0.9271 | 0.9260 | 0.9270 | 0.9259 |
| 85.1142 | 4660 | 0.0016 | - | - | - | - |
| 85.2968 | 4670 | 0.0021 | - | - | - | - |
| 85.4795 | 4680 | 0.0072 | - | - | - | - |
| 85.6621 | 4690 | 0.0063 | - | - | - | - |
| 85.8447 | 4700 | 0.0014 | - | - | - | - |
| 85.9909 | 4708 | - | 0.9275 | 0.9280 | 0.9279 | 0.9247 |
| 86.0274 | 4710 | 0.0026 | - | - | - | - |
| 86.2100 | 4720 | 0.0035 | - | - | - | - |
| 86.3927 | 4730 | 0.0059 | - | - | - | - |
| 86.5753 | 4740 | 0.003 | - | - | - | - |
| 86.7580 | 4750 | 0.0022 | - | - | - | - |
| 86.9406 | 4760 | 0.0016 | - | - | - | - |
| 86.9954 | 4763 | - | 0.9266 | 0.9277 | 0.9272 | 0.9253 |
| 87.1233 | 4770 | 0.0108 | - | - | - | - |
| 87.3059 | 4780 | 0.0031 | - | - | - | - |
| 87.4886 | 4790 | 0.0034 | - | - | - | - |
| 87.6712 | 4800 | 0.0046 | - | - | - | - |
| 87.8539 | 4810 | 0.0048 | - | - | - | - |
| 88.0 | 4818 | - | 0.9270 | 0.9281 | 0.9273 | 0.9254 |
| 88.0365 | 4820 | 0.0054 | - | - | - | - |
| 88.2192 | 4830 | 0.0048 | - | - | - | - |
| 88.4018 | 4840 | 0.0047 | - | - | - | - |
| 88.5845 | 4850 | 0.0023 | - | - | - | - |
| 88.7671 | 4860 | 0.0034 | - | - | - | - |
| 88.9498 | 4870 | 0.0099 | - | - | - | - |
| 88.9863 | 4872 | - | 0.9266 | 0.9278 | 0.9275 | 0.9264 |
| 89.1324 | 4880 | 0.0018 | - | - | - | - |
| 89.3151 | 4890 | 0.0052 | - | - | - | - |
| 89.4977 | 4900 | 0.0027 | - | - | - | - |
| 89.6804 | 4910 | 0.0027 | - | - | - | - |
| 89.8630 | 4920 | 0.0032 | - | - | - | - |
| 89.9909 | 4927 | - | 0.9273 | 0.9278 | 0.9276 | 0.9253 |
| 90.0457 | 4930 | 0.0028 | - | - | - | - |
| 90.2283 | 4940 | 0.0056 | - | - | - | - |
| 90.4110 | 4950 | 0.0043 | - | - | - | - |
| 90.5936 | 4960 | 0.0029 | - | - | - | - |
| 90.7763 | 4970 | 0.0048 | - | - | - | - |
| 90.9589 | 4980 | 0.0016 | - | - | - | - |
| 90.9954 | 4982 | - | 0.9267 | 0.9286 | 0.9277 | 0.9260 |
| 91.1416 | 4990 | 0.0028 | - | - | - | - |
| 91.3242 | 5000 | 0.0017 | - | - | - | - |
| 91.5068 | 5010 | 0.0033 | - | - | - | - |
| 91.6895 | 5020 | 0.0025 | - | - | - | - |
| 91.8721 | 5030 | 0.0021 | - | - | - | - |
| 92.0 | 5037 | - | 0.9273 | 0.9279 | 0.9276 | 0.9254 |
| 92.0548 | 5040 | 0.0017 | - | - | - | - |
| 92.2374 | 5050 | 0.001 | - | - | - | - |
| 92.4201 | 5060 | 0.0012 | - | - | - | - |
| 92.6027 | 5070 | 0.0011 | - | - | - | - |
| 92.7854 | 5080 | 0.0041 | - | - | - | - |
| 92.9680 | 5090 | 0.0041 | - | - | - | - |
| 92.9863 | 5091 | - | 0.9265 | 0.9273 | 0.9277 | 0.9258 |
| 93.1507 | 5100 | 0.0046 | - | - | - | - |
| 93.3333 | 5110 | 0.0042 | - | - | - | - |
| 93.5160 | 5120 | 0.0063 | - | - | - | - |
| 93.6986 | 5130 | 0.0096 | - | - | - | - |
| 93.8813 | 5140 | 0.0014 | - | - | - | - |
| 93.9909 | 5146 | - | 0.9273 | 0.9280 | 0.9277 | 0.9256 |
| 94.0639 | 5150 | 0.0015 | - | - | - | - |
| 94.2466 | 5160 | 0.0058 | - | - | - | - |
| 94.4292 | 5170 | 0.0017 | - | - | - | - |
| 94.6119 | 5180 | 0.0043 | - | - | - | - |
| 94.7945 | 5190 | 0.0041 | - | - | - | - |
| 94.9772 | 5200 | 0.0017 | - | - | - | - |
| 94.9954 | 5201 | - | 0.9271 | 0.9286 | 0.9281 | 0.9252 |
| 95.1598 | 5210 | 0.0017 | - | - | - | - |
| 95.3425 | 5220 | 0.002 | - | - | - | - |
| 95.5251 | 5230 | 0.0022 | - | - | - | - |
| 95.7078 | 5240 | 0.0021 | - | - | - | - |
| 95.8904 | 5250 | 0.0032 | - | - | - | - |
| 96.0 | 5256 | - | 0.9269 | 0.9280 | 0.9277 | 0.9260 |
| 96.0731 | 5260 | 0.003 | - | - | - | - |
| 96.2557 | 5270 | 0.0025 | - | - | - | - |
| 96.4384 | 5280 | 0.0036 | - | - | - | - |
| 96.6210 | 5290 | 0.0033 | - | - | - | - |
| 96.8037 | 5300 | 0.0044 | - | - | - | - |
| 96.9863 | 5310 | 0.0046 | 0.9278 | 0.9282 | 0.9276 | 0.9255 |
| 97.1689 | 5320 | 0.0037 | - | - | - | - |
| 97.3516 | 5330 | 0.0081 | - | - | - | - |
| 97.5342 | 5340 | 0.0087 | - | - | - | - |
| 97.7169 | 5350 | 0.0036 | - | - | - | - |
| 97.8995 | 5360 | 0.0041 | - | - | - | - |
| 97.9909 | 5365 | - | 0.9268 | 0.9276 | 0.9274 | 0.9261 |
| 98.0822 | 5370 | 0.0045 | - | - | - | - |
| 98.2648 | 5380 | 0.0039 | - | - | - | - |
| 98.4475 | 5390 | 0.0024 | - | - | - | - |
| 98.6301 | 5400 | 0.0012 | 0.9268 | 0.9282 | 0.9283 | 0.9260 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Base model
intfloat/multilingual-e5-base