anhtuansh/ModernBERT-base-3e-9k

SentenceTransformer based on answerdotai/ModernBERT-base

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: answerdotai/ModernBERT-base
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/ModernBERT-base-3e-9k")
# Run inference
sentences = [
    'quản_lý nhập_khẩu hàng_hóa bị điều_tra , phục_vụ công_tác điều_tra , áp_dụng biện_pháp phòng_vệ thương_mại .',
    'mục_đích của thủ_tục khai_báo là gì ?',
    'đơn_vị chúng_tôi đã được cấp chứng_chỉ năng_lực hoạt_động xây_dựng nhưng hiện_nay chúng_tôi thay_đổi người đại_diện pháp_luật của đơn_vị . vậy chúng_tôi có phải làm thủ_tục nào để thay_đổi người đại_diện theo pháp_luật của chúng_tôi trên chứng_chỉ ?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768 and dim_512
• Evaluated with InformationRetrievalEvaluator

Metric	dim_768	dim_512
cosine_accuracy@1	0.0	0.0
cosine_accuracy@3	0.0	0.0
cosine_accuracy@5	0.0	0.0
cosine_accuracy@10	0.0	0.0
cosine_precision@1	0.0	0.0
cosine_precision@3	0.0	0.0
cosine_precision@5	0.0	0.0
cosine_precision@10	0.0	0.0
cosine_recall@1	0.0	0.0
cosine_recall@3	0.0	0.0
cosine_recall@5	0.0	0.0
cosine_recall@10	0.0	0.0
cosine_ndcg@10	0.0	0.0
cosine_mrr@10	0.0	0.0
cosine_map@100	0.0	0.0

Training Details

Training Dataset

json

• Dataset: json
• Size: 8,259 training samples
• Columns: positive and anchor
• Approximate statistics based on the first 1000 samples:

  	positive	anchor
  type	string	string
  details	min: 5 tokens mean: 513.36 tokens max: 5467 tokens	min: 16 tokens mean: 97.06 tokens max: 996 tokens

• Samples:

  positive	anchor
  điểm a , mục 2 phần ii thông_tư số 04 / 1999 / tt - bca ( c13 ) ngày 29 / 4 / 1999 của bộ công_an hướng_dẫn một_số quy_định của nghị_định số 05 / 1999 / nđ - cp ngày 03 / 01 / 1999 của chính_phủ về chứng_minh nhân_dân quy_định các trường_hợp phải đổi cmnd như sau : - quá thời_hạn sử_dụng 15 năm kể từ ngày cấp ; - cmnd rách , nát , không rõ ảnh hoặc một trong các thông_tin đã ghi trên cmnd ; - thay_đổi họ , tên , chữ đệm , ngày , tháng , năm sinh . những thay_đổi này phải có quyết_định của cơ_quan có thẩm_quyền ; - những người đã được cấp giấy cmnd nhưng chuyển nơi đăng_ký hộ_khẩu thường_trú ngoài phạm_vi tỉnh , thành_phố trực_thuộc trung_ương . trường_hợp chuyển nơi thường_trú trong phạm_vi tỉnh , thành_phố mà công_dân có yêu_cầu thì được đổi lại cmnd ; - thay_đổi đặc_điểm nhận_dạng là những trường_hợp đã qua phẫu_thuật thẩm_mỹ , chỉnh_hình hoặc vì lý_do khác đã làm thay_đổi hình_ảnh hoặc đặc_điểm nhận_dạng của họ .	công_dân phải làm thủ_tục đổi chứng_minh nhân_dân khi nào ?
  việc thực_hiện thủ_tục tặng cờ thi_đua cấp bộ , ban , ngành , đoàn_thể trung_ương , tỉnh , thành_phố trực_thuộc trung_ương theo đợt hoặc chuyên_đề được tiến_hành như sau : bước 1 . vụ , phòng , ban thi_đua – khen_thưởng các bộ , ngành , đoàn_thể trung_ương , tỉnh , thành_phố trực_thuộc trung_ương tiếp_nhận đề_nghị khen_thưởng của các đơn_vị thực thuộc . bước 2 . thẩm_định hồ_sơ , xin ý_kiến các cơ_quan liên_quan , báo_cáo hội_đồng thi_đua khen_thưởng cùng cấp , tổng_hợp trình bộ_trưởng , thủ_trưởng đơn_vị , chủ_tịch ubnd tỉnh , thành_phố quyết_định khen_thưởng . bước 3 . khi có quyết_định của bộ_trưởng , thủ_trưởng đơn_vị , chủ_tịch ubnd tỉnh , thành_phố trực_thuộc trung_ương ; vụ , phòng , ban thi_đua – khen_thưởng các bộ , ngành , đoàn_thể trung_ương , tỉnh , thành_phố trực_thuộc trung_ương thông_báo quyết_định , viết bằng , đóng_dấu và cấp_phát cho đơn_vị trình khen . bước 4 . các trường_hợp không được khen_thưởng ( không đúng đối_tượng , không đủ tiêu_chuẩn , không đủ hồ_sơ...	đề_nghị cho biết trình_tự thực_hiện thủ_tục tặng cờ thi_đua cấp bộ , ban , ngành , đoàn_thể trung_ương , tỉnh , thành_phố trực_thuộc trung_ương theo đợt hoặc chuyên_đề
  thời_gian phục_vụ tại_ngũ của hạ_sĩ_quan binh_sĩ được quy_định tại điều 21 luật nvqs năm 2015 , cụ_thể như sau : “ điều 21 . thời_hạn phục_vụ tại_ngũ của hạ_sĩ_quan , binh sĩ1 . thời_hạn phục_vụ tại_ngũ trong thời_bình của hạ_sĩ_quan , binh_sĩ là 24 tháng . 2 . bộ_trưởng bộ quốc_phòng được quyết_định kéo_dài thời_hạn phục_vụ tại_ngũ của hạ_sĩ_quan , binh_sĩ nhưng không quá 06 tháng trong trường_hợp sau đây : a ) để bảo_đảm_nhiệm_vụ sẵn_sàng chiến_đấu ; b ) đang thực_hiện nhiệm_vụ phòng , chống thiên_tai , dịch_bệnh , cứu_hộ , cứu nạn . 3 . thời_hạn phục_vụ của hạ_sĩ_quan , binh_sĩ trong tình_trạng chiến_tranh hoặc tình_trạng khẩn_cấp về quốc_phòng được thực_hiện theo lệnh tổng_động_viên hoặc động_viên cục_bộ . ”	quy_định thời_gian phục_vụ tại_ngũ của hạ_sĩ_quan binh_sĩ như thế_nào ?

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 918 evaluation samples
• Columns: positive and anchor
• Approximate statistics based on the first 918 samples:

  	positive	anchor
  type	string	string
  details	min: 5 tokens mean: 519.85 tokens max: 5847 tokens	min: 16 tokens mean: 96.44 tokens max: 655 tokens

• Samples:

  positive	anchor
  theo quy_định tại khoản 9 điều 1 nghị_định số 161 / 2018 / nđ - cpngày 29 / 11 / 2018 của chính_phủ sửa_đổi , bổ_sung một_số quy_định về tuyển_dụng công_chức , viên_chức , nâng ngạch công_chức , thăng_hạng viên_chức và thực_hiện chế_độ hợp_đồng một_số loại công_việc trong cơ_quan hành_chính nhà_nước , đơn_vị sự_nghiệp công_lập thì đối_tượng và điểm ưu_tiên trong thi_tuyển hoặc xét tuyển công_chức : + anh_hùng lực_lượng vũ_trang , anh_hùng lao_động , thương_binh , người hưởng chính_sách như thương_binh , thương_binh loại b : được cộng 7,5 điểm vào kết_quả điểm thi tại vòng 2 ; + người dân_tộc_thiểu_số , sĩ_quan quân_đội , sĩ_quan công_an , quân_nhân chuyên_nghiệp , người làm công_tác cơ_yếu chuyển ngành , con liệt_sĩ , con thương_binh , con bệnh_binh , con của người hưởng chính_sách như thương_binh , con của thương_binh loại b , con của người hoạt_động cách_mạng trước tổng_khởi_nghĩa ( từ ngày 19 / 8 / 1945 trở về trước ) , con_đẻ của người hoạt_động kháng_chiến bị nhiễm chất_độc_hó...	đề_nghị cho tôi được biết đối_tượng được hưởng ưu_tiên trong tuyển_dụng công_chức ?
  1 . khi phát_hiện tổ_chức , cá_nhân kê_khai hồ_sơ , thông_báo không_trung_thực hoặc vi_phạm_quy_định tại điều 8 nghị_định số 23 / 2019 / nđ - cp , cơ_quan tiếp_nhận thông_báo yêu_cầu tạm dừng hoạt_động triển_lãm bằng văn_bản ( mẫu_số 03 tại phụ_lục ban_hành kèm theo nghị_định số 23 / 2019 / nđ - cp ) . 2 . tổ_chức , cá_nhân phải dừng hoạt_động triển_lãm ngay khi nhận được văn_bản của cơ_quan có thẩm_quyền ; kịp_thời_khắc_phục hậu_quả , đề_xuất phương_án tiếp_tục tổ_chức triển_lãm gửi cơ_quan có thẩm_quyền xem_xét , quyết_định . 3 . kết_quả xem_xét , quyết_định của cơ_quan có thẩm_quyền phải được thể_hiện bằng văn_bản và gửi cho tổ_chức , cá_nhân biết để thực_hiện . thời_hạn gửi văn_bản cho tổ_chức , cá_nhân là 03 ngày , kể từ ngày cơ_quan có thẩm_quyền nhận được văn_bản đề_xuất phương_án tiếp_tục tổ_chức triển_lãm của tổ_chức , cá_nhân .	những lý_do nào khiến hoạt_động triển_lãm bị tạm dừng ?
  theo quy_định tại khoản 1 điều 33 luật quản_lý , sử_dụng vũ_khí , vật_liệu nổ và công_cụ hỗ_trợ và điểm a khoản 4 điều 3 thông_tư số 16 / 2018 / tt - bca ngày 15 / 5 / 2018 của bộ công_an quy_định chi_tiết thi_hành một_số điều của luật quản_lý , sử_dụng vũ_khí , vật_liệu nổ và công_cụ hỗ_trợ thì thủ_tục đề_nghị cấp giấy_phép vận_chuyển vũ_khí quân_dụng đối_với cơ_quan , tổ_chức ở trung_ương không thuộc phạm_vi quản_lý của bộ quốc_phòng được thực_hiện như sau : a ) hồ_sơ đề_nghị bao_gồm : văn_bản đề_nghị nêu rõ số_lượng , chủng_loại , nguồn_gốc xuất_xứ của vũ_khí cần vận_chuyển ; nơi đi , nơi đến , thời_gian và tuyến đường vận_chuyển ; họ và tên , địa_chỉ của người chịu trách_nhiệm vận_chuyển , người điều_khiển phương_tiện ; biển kiểm_soát của phương_tiện ; giấy giới_thiệu kèm theo bản_sao thẻ căn_cước công_dân , chứng_minh nhân_dân , hộ_chiếu hoặc chứng_minh công_an nhân_dân của người đến liên_hệ ; b ) hồ_sơ lập thành 01 bộ và nộp tại cục cảnh_sát qlhc về ttxh ; c ) trong thời_hạn 05 n...	thủ_tục cấp giấy_phép vận_chuyển vũ_khí quân_dụng đối_với cơ_quan , tổ_chức ở trung_ương không thuộc phạm_vi quản_lý của bộ quốc_phòng thực_hiện như thế_nào ?

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 2
• gradient_accumulation_steps: 2
• learning_rate: 2e-05
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 2
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	dim_768_cosine_ndcg@10	dim_512_cosine_ndcg@10
0	0	-	-	0.0	0.0
0.0024	10	0.0	-	-	-
0.0048	20	0.0	-	-	-
0.0073	30	0.0	-	-	-
0.0097	40	0.0	-	-	-
0.0121	50	0.0	-	-	-
0.0145	60	0.0	-	-	-
0.0170	70	0.0	-	-	-
0.0194	80	0.0	-	-	-
0.0218	90	0.0	-	-	-
0.0242	100	0.0	-	-	-
0.0266	110	0.0	-	-	-
0.0291	120	0.0	-	-	-
0.0315	130	0.0	-	-	-
0.0339	140	0.0	-	-	-
0.0363	150	0.0	-	-	-
0.0387	160	0.0	-	-	-
0.0412	170	0.0	-	-	-
0.0436	180	0.0	-	-	-
0.0460	190	0.0	-	-	-
0.0484	200	0.0	-	-	-
0.0509	210	0.0	-	-	-
0.0533	220	0.0	-	-	-
0.0557	230	0.0	-	-	-
0.0581	240	0.0	-	-	-
0.0605	250	0.0	-	-	-
0.0630	260	0.0	-	-	-
0.0654	270	0.0	-	-	-
0.0678	280	0.0	-	-	-
0.0702	290	0.0	-	-	-
0.0726	300	0.0	-	-	-
0.0751	310	0.0	-	-	-
0.0775	320	0.0	-	-	-
0.0799	330	0.0	-	-	-
0.0823	340	0.0	-	-	-
0.0848	350	0.0	-	-	-
0.0872	360	0.0	-	-	-
0.0896	370	0.0	-	-	-
0.0920	380	0.0	-	-	-
0.0944	390	0.0	-	-	-
0.0969	400	0.0	-	-	-
0.0993	410	0.0	-	-	-
0.1017	420	0.0	-	-	-
0.1041	430	0.0	-	-	-
0.1066	440	0.0	-	-	-
0.1090	450	0.0	-	-	-
0.1114	460	0.0	-	-	-
0.1138	470	0.0	-	-	-
0.1162	480	0.0	-	-	-
0.1187	490	0.0	-	-	-
0.1211	500	0.0	-	-	-
0.1235	510	0.0	-	-	-
0.1259	520	0.0	-	-	-
0.1283	530	0.0	-	-	-
0.1308	540	0.0	-	-	-
0.1332	550	0.0	-	-	-
0.1356	560	0.0	-	-	-
0.1380	570	0.0	-	-	-
0.1405	580	0.0	-	-	-
0.1429	590	0.0	-	-	-
0.1453	600	0.0	-	-	-
0.1477	610	0.0	-	-	-
0.1501	620	0.0	-	-	-
0.1526	630	0.0	-	-	-
0.1550	640	0.0	-	-	-
0.1574	650	0.0	-	-	-
0.1598	660	0.0	-	-	-
0.1622	670	0.0	-	-	-
0.1647	680	0.0	-	-	-
0.1671	690	0.0	-	-	-
0.1695	700	0.0	-	-	-
0.1719	710	0.0	-	-	-
0.1744	720	0.0	-	-	-
0.1768	730	0.0	-	-	-
0.1792	740	0.0	-	-	-
0.1816	750	0.0	-	-	-
0.1840	760	0.0	-	-	-
0.1865	770	0.0	-	-	-
0.1889	780	0.0	-	-	-
0.1913	790	0.0	-	-	-
0.1937	800	0.0	-	-	-
0.1961	810	0.0	-	-	-
0.1986	820	0.0	-	-	-
0.2010	830	0.0	-	-	-
0.2034	840	0.0	-	-	-
0.2058	850	0.0	-	-	-
0.2083	860	0.0	-	-	-
0.2107	870	0.0	-	-	-
0.2131	880	0.0	-	-	-
0.2155	890	0.0	-	-	-
0.2179	900	0.0	-	-	-
0.2204	910	0.0	-	-	-
0.2228	920	0.0	-	-	-
0.2252	930	0.0	-	-	-
0.2276	940	0.0	-	-	-
0.2301	950	0.0	-	-	-
0.2325	960	0.0	-	-	-
0.2349	970	0.0	-	-	-
0.2373	980	0.0	-	-	-
0.2397	990	0.0	-	-	-
0.2422	1000	0.0	-	-	-
0.2446	1010	0.0	-	-	-
0.2470	1020	0.0	-	-	-
0.2494	1030	0.0	-	-	-
0.2518	1040	0.0	-	-	-
0.2543	1050	0.0	-	-	-
0.2567	1060	0.0	-	-	-
0.2591	1070	0.0	-	-	-
0.2615	1080	0.0	-	-	-
0.2640	1090	0.0	-	-	-
0.2664	1100	0.0	-	-	-
0.2688	1110	0.0	-	-	-
0.2712	1120	0.0	-	-	-
0.2736	1130	0.0	-	-	-
0.2761	1140	0.0	-	-	-
0.2785	1150	0.0	-	-	-
0.2809	1160	0.0	-	-	-
0.2833	1170	0.0	-	-	-
0.2857	1180	0.0	-	-	-
0.2882	1190	0.0	-	-	-
0.2906	1200	0.0	-	-	-
0.2930	1210	0.0	-	-	-
0.2954	1220	0.0	-	-	-
0.2979	1230	0.0	-	-	-
0.3003	1240	0.0	-	-	-
0.3027	1250	0.0	-	-	-
0.3051	1260	0.0	-	-	-
0.3075	1270	0.0	-	-	-
0.3100	1280	0.0	-	-	-
0.3124	1290	0.0	-	-	-
0.3148	1300	0.0	-	-	-
0.3172	1310	0.0	-	-	-
0.3197	1320	0.0	-	-	-
0.3221	1330	0.0	-	-	-
0.3245	1340	0.0	-	-	-
0.3269	1350	0.0	-	-	-
0.3293	1360	0.0	-	-	-
0.3318	1370	0.0	-	-	-
0.3342	1380	0.0	-	-	-
0.3366	1390	0.0	-	-	-
0.3390	1400	0.0	-	-	-
0.3414	1410	0.0	-	-	-
0.3439	1420	0.0	-	-	-
0.3463	1430	0.0	-	-	-
0.3487	1440	0.0	-	-	-
0.3511	1450	0.0	-	-	-
0.3536	1460	0.0	-	-	-
0.3560	1470	0.0	-	-	-
0.3584	1480	0.0	-	-	-
0.3608	1490	0.0	-	-	-
0.3632	1500	0.0	-	-	-
0.3657	1510	0.0	-	-	-
0.3681	1520	0.0	-	-	-
0.3705	1530	0.0	-	-	-
0.3729	1540	0.0	-	-	-
0.3753	1550	0.0	-	-	-
0.3778	1560	0.0	-	-	-
0.3802	1570	0.0	-	-	-
0.3826	1580	0.0	-	-	-
0.3850	1590	0.0	-	-	-
0.3875	1600	0.0	-	-	-
0.3899	1610	0.0	-	-	-
0.3923	1620	0.0	-	-	-
0.3947	1630	0.0	-	-	-
0.3971	1640	0.0	-	-	-
0.3996	1650	0.0	-	-	-
0.4020	1660	0.0	-	-	-
0.4044	1670	0.0	-	-	-
0.4068	1680	0.0	-	-	-
0.4093	1690	0.0	-	-	-
0.4117	1700	0.0	-	-	-
0.4141	1710	0.0	-	-	-
0.4165	1720	0.0	-	-	-
0.4189	1730	0.0	-	-	-
0.4214	1740	0.0	-	-	-
0.4238	1750	0.0	-	-	-
0.4262	1760	0.0	-	-	-
0.4286	1770	0.0	-	-	-
0.4310	1780	0.0	-	-	-
0.4335	1790	0.0	-	-	-
0.4359	1800	0.0	-	-	-
0.4383	1810	0.0	-	-	-
0.4407	1820	0.0	-	-	-
0.4432	1830	0.0	-	-	-
0.4456	1840	0.0	-	-	-
0.4480	1850	0.0	-	-	-
0.4504	1860	0.0	-	-	-
0.4528	1870	0.0	-	-	-
0.4553	1880	0.0	-	-	-
0.4577	1890	0.0	-	-	-
0.4601	1900	0.0	-	-	-
0.4625	1910	0.0	-	-	-
0.4649	1920	0.0	-	-	-
0.4674	1930	0.0	-	-	-
0.4698	1940	0.0	-	-	-
0.4722	1950	0.0	-	-	-
0.4746	1960	0.0	-	-	-
0.4771	1970	0.0	-	-	-
0.4795	1980	0.0	-	-	-
0.4819	1990	0.0	-	-	-
0.4843	2000	0.0	-	-	-
0.4867	2010	0.0	-	-	-
0.4892	2020	0.0	-	-	-
0.4916	2030	0.0	-	-	-
0.4940	2040	0.0	-	-	-
0.4964	2050	0.0	-	-	-
0.4988	2060	0.0	-	-	-
0.5013	2070	0.0	-	-	-
0.5037	2080	0.0	-	-	-
0.5061	2090	0.0	-	-	-
0.5085	2100	0.0	-	-	-
0.5110	2110	0.0	-	-	-
0.5134	2120	0.0	-	-	-
0.5158	2130	0.0	-	-	-
0.5182	2140	0.0	-	-	-
0.5206	2150	0.0	-	-	-
0.5231	2160	0.0	-	-	-
0.5255	2170	0.0	-	-	-
0.5279	2180	0.0	-	-	-
0.5303	2190	0.0	-	-	-
0.5328	2200	0.0	-	-	-
0.5352	2210	0.0	-	-	-
0.5376	2220	0.0	-	-	-
0.5400	2230	0.0	-	-	-
0.5424	2240	0.0	-	-	-
0.5449	2250	0.0	-	-	-
0.5473	2260	0.0	-	-	-
0.5497	2270	0.0	-	-	-
0.5521	2280	0.0	-	-	-
0.5545	2290	0.0	-	-	-
0.5570	2300	0.0	-	-	-
0.5594	2310	0.0	-	-	-
0.5618	2320	0.0	-	-	-
0.5642	2330	0.0	-	-	-
0.5667	2340	0.0	-	-	-
0.5691	2350	0.0	-	-	-
0.5715	2360	0.0	-	-	-
0.5739	2370	0.0	-	-	-
0.5763	2380	0.0	-	-	-
0.5788	2390	0.0	-	-	-
0.5812	2400	0.0	-	-	-
0.5836	2410	0.0	-	-	-
0.5860	2420	0.0	-	-	-
0.5884	2430	0.0	-	-	-
0.5909	2440	0.0	-	-	-
0.5933	2450	0.0	-	-	-
0.5957	2460	0.0	-	-	-
0.5981	2470	0.0	-	-	-
0.6006	2480	0.0	-	-	-
0.6030	2490	0.0	-	-	-
0.6054	2500	0.0	-	-	-
0.6078	2510	0.0	-	-	-
0.6102	2520	0.0	-	-	-
0.6127	2530	0.0	-	-	-
0.6151	2540	0.0	-	-	-
0.6175	2550	0.0	-	-	-
0.6199	2560	0.0	-	-	-
0.6224	2570	0.0	-	-	-
0.6248	2580	0.0	-	-	-
0.6272	2590	0.0	-	-	-
0.6296	2600	0.0	-	-	-
0.6320	2610	0.0	-	-	-
0.6345	2620	0.0	-	-	-
0.6369	2630	0.0	-	-	-
0.6393	2640	0.0	-	-	-
0.6417	2650	0.0	-	-	-
0.6441	2660	0.0	-	-	-
0.6466	2670	0.0	-	-	-
0.6490	2680	0.0	-	-	-
0.6514	2690	0.0	-	-	-
0.6538	2700	0.0	-	-	-
0.6563	2710	0.0	-	-	-
0.6587	2720	0.0	-	-	-
0.6611	2730	0.0	-	-	-
0.6635	2740	0.0	-	-	-
0.6659	2750	0.0	-	-	-
0.6684	2760	0.0	-	-	-
0.6708	2770	0.0	-	-	-
0.6732	2780	0.0	-	-	-
0.6756	2790	0.0	-	-	-
0.6780	2800	0.0	-	-	-
0.6805	2810	0.0	-	-	-
0.6829	2820	0.0	-	-	-
0.6853	2830	0.0	-	-	-
0.6877	2840	0.0	-	-	-
0.6902	2850	0.0	-	-	-
0.6926	2860	0.0	-	-	-
0.6950	2870	0.0	-	-	-
0.6974	2880	0.0	-	-	-
0.6998	2890	0.0	-	-	-
0.7023	2900	0.0	-	-	-
0.7047	2910	0.0	-	-	-
0.7071	2920	0.0	-	-	-
0.7095	2930	0.0	-	-	-
0.7120	2940	0.0	-	-	-
0.7144	2950	0.0	-	-	-
0.7168	2960	0.0	-	-	-
0.7192	2970	0.0	-	-	-
0.7216	2980	0.0	-	-	-
0.7241	2990	0.0	-	-	-
0.7265	3000	0.0	-	-	-
0.7289	3010	0.0	-	-	-
0.7313	3020	0.0	-	-	-
0.7337	3030	0.0	-	-	-
0.7362	3040	0.0	-	-	-
0.7386	3050	0.0	-	-	-
0.7410	3060	0.0	-	-	-
0.7434	3070	0.0	-	-	-
0.7459	3080	0.0	-	-	-
0.7483	3090	0.0	-	-	-
0.7507	3100	0.0	-	-	-
0.7531	3110	0.0	-	-	-
0.7555	3120	0.0	-	-	-
0.7580	3130	0.0	-	-	-
0.7604	3140	0.0	-	-	-
0.7628	3150	0.0	-	-	-
0.7652	3160	0.0	-	-	-
0.7676	3170	0.0	-	-	-
0.7701	3180	0.0	-	-	-
0.7725	3190	0.0	-	-	-
0.7749	3200	0.0	-	-	-
0.7773	3210	0.0	-	-	-
0.7798	3220	0.0	-	-	-
0.7822	3230	0.0	-	-	-
0.7846	3240	0.0	-	-	-
0.7870	3250	0.0	-	-	-
0.7894	3260	0.0	-	-	-
0.7919	3270	0.0	-	-	-
0.7943	3280	0.0	-	-	-
0.7967	3290	0.0	-	-	-
0.7991	3300	0.0	-	-	-
0.8015	3310	0.0	-	-	-
0.8040	3320	0.0	-	-	-
0.8064	3330	0.0	-	-	-
0.8088	3340	0.0	-	-	-
0.8112	3350	0.0	-	-	-
0.8137	3360	0.0	-	-	-
0.8161	3370	0.0	-	-	-
0.8185	3380	0.0	-	-	-
0.8209	3390	0.0	-	-	-
0.8233	3400	0.0	-	-	-
0.8258	3410	0.0	-	-	-
0.8282	3420	0.0	-	-	-
0.8306	3430	0.0	-	-	-
0.8330	3440	0.0	-	-	-
0.8355	3450	0.0	-	-	-
0.8379	3460	0.0	-	-	-
0.8403	3470	0.0	-	-	-
0.8427	3480	0.0	-	-	-
0.8451	3490	0.0	-	-	-
0.8476	3500	0.0	-	-	-
0.8500	3510	0.0	-	-	-
0.8524	3520	0.0	-	-	-
0.8548	3530	0.0	-	-	-
0.8572	3540	0.0	-	-	-
0.8597	3550	0.0	-	-	-
0.8621	3560	0.0	-	-	-
0.8645	3570	0.0	-	-	-
0.8669	3580	0.0	-	-	-
0.8694	3590	0.0	-	-	-
0.8718	3600	0.0	-	-	-
0.8742	3610	0.0	-	-	-
0.8766	3620	0.0	-	-	-
0.8790	3630	0.0	-	-	-
0.8815	3640	0.0	-	-	-
0.8839	3650	0.0	-	-	-
0.8863	3660	0.0	-	-	-
0.8887	3670	0.0	-	-	-
0.8911	3680	0.0	-	-	-
0.8936	3690	0.0	-	-	-
0.8960	3700	0.0	-	-	-
0.8984	3710	0.0	-	-	-
0.9008	3720	0.0	-	-	-
0.9033	3730	0.0	-	-	-
0.9057	3740	0.0	-	-	-
0.9081	3750	0.0	-	-	-
0.9105	3760	0.0	-	-	-
0.9129	3770	0.0	-	-	-
0.9154	3780	0.0	-	-	-
0.9178	3790	0.0	-	-	-
0.9202	3800	0.0	-	-	-
0.9226	3810	0.0	-	-	-
0.9251	3820	0.0	-	-	-
0.9275	3830	0.0	-	-	-
0.9299	3840	0.0	-	-	-
0.9323	3850	0.0	-	-	-
0.9347	3860	0.0	-	-	-
0.9372	3870	0.0	-	-	-
0.9396	3880	0.0	-	-	-
0.9420	3890	0.0	-	-	-
0.9444	3900	0.0	-	-	-
0.9468	3910	0.0	-	-	-
0.9493	3920	0.0	-	-	-
0.9517	3930	0.0	-	-	-
0.9541	3940	0.0	-	-	-
0.9565	3950	0.0	-	-	-
0.9590	3960	0.0	-	-	-
0.9614	3970	0.0	-	-	-
0.9638	3980	0.0	-	-	-
0.9662	3990	0.0	-	-	-
0.9686	4000	0.0	-	-	-
0.9711	4010	0.0	-	-	-
0.9735	4020	0.0	-	-	-
0.9759	4030	0.0	-	-	-
0.9783	4040	0.0	-	-	-
0.9807	4050	0.0	-	-	-
0.9832	4060	0.0	-	-	-
0.9856	4070	0.0	-	-	-
0.9880	4080	0.0	-	-	-
0.9904	4090	0.0	-	-	-
0.9929	4100	0.0	-	-	-
0.9953	4110	0.0	-	-	-
0.9977	4120	0.0	-	-	-
1.0	4130	0.0	nan	0.0	0.0
1.0024	4140	0.0	-	-	-
1.0048	4150	0.0	-	-	-
1.0073	4160	0.0	-	-	-
1.0097	4170	0.0	-	-	-
1.0121	4180	0.0	-	-	-
1.0145	4190	0.0	-	-	-
1.0170	4200	0.0	-	-	-
1.0194	4210	0.0	-	-	-
1.0218	4220	0.0	-	-	-
1.0242	4230	0.0	-	-	-
1.0266	4240	0.0	-	-	-
1.0291	4250	0.0	-	-	-
1.0315	4260	0.0	-	-	-
1.0339	4270	0.0	-	-	-
1.0363	4280	0.0	-	-	-
1.0387	4290	0.0	-	-	-
1.0412	4300	0.0	-	-	-
1.0436	4310	0.0	-	-	-
1.0460	4320	0.0	-	-	-
1.0484	4330	0.0	-	-	-
1.0509	4340	0.0	-	-	-
1.0533	4350	0.0	-	-	-
1.0557	4360	0.0	-	-	-
1.0581	4370	0.0	-	-	-
1.0605	4380	0.0	-	-	-
1.0630	4390	0.0	-	-	-
1.0654	4400	0.0	-	-	-
1.0678	4410	0.0	-	-	-
1.0702	4420	0.0	-	-	-
1.0726	4430	0.0	-	-	-
1.0751	4440	0.0	-	-	-
1.0775	4450	0.0	-	-	-
1.0799	4460	0.0	-	-	-
1.0823	4470	0.0	-	-	-
1.0848	4480	0.0	-	-	-
1.0872	4490	0.0	-	-	-
1.0896	4500	0.0	-	-	-
1.0920	4510	0.0	-	-	-
1.0944	4520	0.0	-	-	-
1.0969	4530	0.0	-	-	-
1.0993	4540	0.0	-	-	-
1.1017	4550	0.0	-	-	-
1.1041	4560	0.0	-	-	-
1.1066	4570	0.0	-	-	-
1.1090	4580	0.0	-	-	-
1.1114	4590	0.0	-	-	-
1.1138	4600	0.0	-	-	-
1.1162	4610	0.0	-	-	-
1.1187	4620	0.0	-	-	-
1.1211	4630	0.0	-	-	-
1.1235	4640	0.0	-	-	-
1.1259	4650	0.0	-	-	-
1.1283	4660	0.0	-	-	-
1.1308	4670	0.0	-	-	-
1.1332	4680	0.0	-	-	-
1.1356	4690	0.0	-	-	-
1.1380	4700	0.0	-	-	-
1.1405	4710	0.0	-	-	-
1.1429	4720	0.0	-	-	-
1.1453	4730	0.0	-	-	-
1.1477	4740	0.0	-	-	-
1.1501	4750	0.0	-	-	-
1.1526	4760	0.0	-	-	-
1.1550	4770	0.0	-	-	-
1.1574	4780	0.0	-	-	-
1.1598	4790	0.0	-	-	-
1.1622	4800	0.0	-	-	-
1.1647	4810	0.0	-	-	-
1.1671	4820	0.0	-	-	-
1.1695	4830	0.0	-	-	-
1.1719	4840	0.0	-	-	-
1.1744	4850	0.0	-	-	-
1.1768	4860	0.0	-	-	-
1.1792	4870	0.0	-	-	-
1.1816	4880	0.0	-	-	-
1.1840	4890	0.0	-	-	-
1.1865	4900	0.0	-	-	-
1.1889	4910	0.0	-	-	-
1.1913	4920	0.0	-	-	-
1.1937	4930	0.0	-	-	-
1.1961	4940	0.0	-	-	-
1.1986	4950	0.0	-	-	-
1.2010	4960	0.0	-	-	-
1.2034	4970	0.0	-	-	-
1.2058	4980	0.0	-	-	-
1.2083	4990	0.0	-	-	-
1.2107	5000	0.0	-	-	-
1.2131	5010	0.0	-	-	-
1.2155	5020	0.0	-	-	-
1.2179	5030	0.0	-	-	-
1.2204	5040	0.0	-	-	-
1.2228	5050	0.0	-	-	-
1.2252	5060	0.0	-	-	-
1.2276	5070	0.0	-	-	-
1.2301	5080	0.0	-	-	-
1.2325	5090	0.0	-	-	-
1.2349	5100	0.0	-	-	-
1.2373	5110	0.0	-	-	-
1.2397	5120	0.0	-	-	-
1.2422	5130	0.0	-	-	-
1.2446	5140	0.0	-	-	-
1.2470	5150	0.0	-	-	-
1.2494	5160	0.0	-	-	-
1.2518	5170	0.0	-	-	-
1.2543	5180	0.0	-	-	-
1.2567	5190	0.0	-	-	-
1.2591	5200	0.0	-	-	-
1.2615	5210	0.0	-	-	-
1.2640	5220	0.0	-	-	-
1.2664	5230	0.0	-	-	-
1.2688	5240	0.0	-	-	-
1.2712	5250	0.0	-	-	-
1.2736	5260	0.0	-	-	-
1.2761	5270	0.0	-	-	-
1.2785	5280	0.0	-	-	-
1.2809	5290	0.0	-	-	-
1.2833	5300	0.0	-	-	-
1.2857	5310	0.0	-	-	-
1.2882	5320	0.0	-	-	-
1.2906	5330	0.0	-	-	-
1.2930	5340	0.0	-	-	-
1.2954	5350	0.0	-	-	-
1.2979	5360	0.0	-	-	-
1.3003	5370	0.0	-	-	-
1.3027	5380	0.0	-	-	-
1.3051	5390	0.0	-	-	-
1.3075	5400	0.0	-	-	-
1.3100	5410	0.0	-	-	-
1.3124	5420	0.0	-	-	-
1.3148	5430	0.0	-	-	-
1.3172	5440	0.0	-	-	-
1.3197	5450	0.0	-	-	-
1.3221	5460	0.0	-	-	-
1.3245	5470	0.0	-	-	-
1.3269	5480	0.0	-	-	-
1.3293	5490	0.0	-	-	-
1.3318	5500	0.0	-	-	-
1.3342	5510	0.0	-	-	-
1.3366	5520	0.0	-	-	-
1.3390	5530	0.0	-	-	-
1.3414	5540	0.0	-	-	-
1.3439	5550	0.0	-	-	-
1.3463	5560	0.0	-	-	-
1.3487	5570	0.0	-	-	-
1.3511	5580	0.0	-	-	-
1.3536	5590	0.0	-	-	-
1.3560	5600	0.0	-	-	-
1.3584	5610	0.0	-	-	-
1.3608	5620	0.0	-	-	-
1.3632	5630	0.0	-	-	-
1.3657	5640	0.0	-	-	-
1.3681	5650	0.0	-	-	-
1.3705	5660	0.0	-	-	-
1.3729	5670	0.0	-	-	-
1.3753	5680	0.0	-	-	-
1.3778	5690	0.0	-	-	-
1.3802	5700	0.0	-	-	-
1.3826	5710	0.0	-	-	-
1.3850	5720	0.0	-	-	-
1.3875	5730	0.0	-	-	-
1.3899	5740	0.0	-	-	-
1.3923	5750	0.0	-	-	-
1.3947	5760	0.0	-	-	-
1.3971	5770	0.0	-	-	-
1.3996	5780	0.0	-	-	-
1.4020	5790	0.0	-	-	-
1.4044	5800	0.0	-	-	-
1.4068	5810	0.0	-	-	-
1.4093	5820	0.0	-	-	-
1.4117	5830	0.0	-	-	-
1.4141	5840	0.0	-	-	-
1.4165	5850	0.0	-	-	-
1.4189	5860	0.0	-	-	-
1.4214	5870	0.0	-	-	-
1.4238	5880	0.0	-	-	-
1.4262	5890	0.0	-	-	-
1.4286	5900	0.0	-	-	-
1.4310	5910	0.0	-	-	-
1.4335	5920	0.0	-	-	-
1.4359	5930	0.0	-	-	-
1.4383	5940	0.0	-	-	-
1.4407	5950	0.0	-	-	-
1.4432	5960	0.0	-	-	-
1.4456	5970	0.0	-	-	-
1.4480	5980	0.0	-	-	-
1.4504	5990	0.0	-	-	-
1.4528	6000	0.0	-	-	-
1.4553	6010	0.0	-	-	-
1.4577	6020	0.0	-	-	-
1.4601	6030	0.0	-	-	-
1.4625	6040	0.0	-	-	-
1.4649	6050	0.0	-	-	-
1.4674	6060	0.0	-	-	-
1.4698	6070	0.0	-	-	-
1.4722	6080	0.0	-	-	-
1.4746	6090	0.0	-	-	-
1.4771	6100	0.0	-	-	-
1.4795	6110	0.0	-	-	-
1.4819	6120	0.0	-	-	-
1.4843	6130	0.0	-	-	-
1.4867	6140	0.0	-	-	-
1.4892	6150	0.0	-	-	-
1.4916	6160	0.0	-	-	-
1.4940	6170	0.0	-	-	-
1.4964	6180	0.0	-	-	-
1.4988	6190	0.0	-	-	-
1.5013	6200	0.0	-	-	-
1.5037	6210	0.0	-	-	-
1.5061	6220	0.0	-	-	-
1.5085	6230	0.0	-	-	-
1.5110	6240	0.0	-	-	-
1.5134	6250	0.0	-	-	-
1.5158	6260	0.0	-	-	-
1.5182	6270	0.0	-	-	-
1.5206	6280	0.0	-	-	-
1.5231	6290	0.0	-	-	-
1.5255	6300	0.0	-	-	-
1.5279	6310	0.0	-	-	-
1.5303	6320	0.0	-	-	-
1.5328	6330	0.0	-	-	-
1.5352	6340	0.0	-	-	-
1.5376	6350	0.0	-	-	-
1.5400	6360	0.0	-	-	-
1.5424	6370	0.0	-	-	-
1.5449	6380	0.0	-	-	-
1.5473	6390	0.0	-	-	-
1.5497	6400	0.0	-	-	-
1.5521	6410	0.0	-	-	-
1.5545	6420	0.0	-	-	-
1.5570	6430	0.0	-	-	-
1.5594	6440	0.0	-	-	-
1.5618	6450	0.0	-	-	-
1.5642	6460	0.0	-	-	-
1.5667	6470	0.0	-	-	-
1.5691	6480	0.0	-	-	-
1.5715	6490	0.0	-	-	-
1.5739	6500	0.0	-	-	-
1.5763	6510	0.0	-	-	-
1.5788	6520	0.0	-	-	-
1.5812	6530	0.0	-	-	-
1.5836	6540	0.0	-	-	-
1.5860	6550	0.0	-	-	-
1.5884	6560	0.0	-	-	-
1.5909	6570	0.0	-	-	-
1.5933	6580	0.0	-	-	-
1.5957	6590	0.0	-	-	-
1.5981	6600	0.0	-	-	-
1.6006	6610	0.0	-	-	-
1.6030	6620	0.0	-	-	-
1.6054	6630	0.0	-	-	-
1.6078	6640	0.0	-	-	-
1.6102	6650	0.0	-	-	-
1.6127	6660	0.0	-	-	-
1.6151	6670	0.0	-	-	-
1.6175	6680	0.0	-	-	-
1.6199	6690	0.0	-	-	-
1.6224	6700	0.0	-	-	-
1.6248	6710	0.0	-	-	-
1.6272	6720	0.0	-	-	-
1.6296	6730	0.0	-	-	-
1.6320	6740	0.0	-	-	-
1.6345	6750	0.0	-	-	-
1.6369	6760	0.0	-	-	-
1.6393	6770	0.0	-	-	-
1.6417	6780	0.0	-	-	-
1.6441	6790	0.0	-	-	-
1.6466	6800	0.0	-	-	-
1.6490	6810	0.0	-	-	-
1.6514	6820	0.0	-	-	-
1.6538	6830	0.0	-	-	-
1.6563	6840	0.0	-	-	-
1.6587	6850	0.0	-	-	-
1.6611	6860	0.0	-	-	-
1.6635	6870	0.0	-	-	-
1.6659	6880	0.0	-	-	-
1.6684	6890	0.0	-	-	-
1.6708	6900	0.0	-	-	-
1.6732	6910	0.0	-	-	-
1.6756	6920	0.0	-	-	-
1.6780	6930	0.0	-	-	-
1.6805	6940	0.0	-	-	-
1.6829	6950	0.0	-	-	-
1.6853	6960	0.0	-	-	-
1.6877	6970	0.0	-	-	-
1.6902	6980	0.0	-	-	-
1.6926	6990	0.0	-	-	-
1.6950	7000	0.0	-	-	-
1.6974	7010	0.0	-	-	-
1.6998	7020	0.0	-	-	-
1.7023	7030	0.0	-	-	-
1.7047	7040	0.0	-	-	-
1.7071	7050	0.0	-	-	-
1.7095	7060	0.0	-	-	-
1.7120	7070	0.0	-	-	-
1.7144	7080	0.0	-	-	-
1.7168	7090	0.0	-	-	-
1.7192	7100	0.0	-	-	-
1.7216	7110	0.0	-	-	-
1.7241	7120	0.0	-	-	-
1.7265	7130	0.0	-	-	-
1.7289	7140	0.0	-	-	-
1.7313	7150	0.0	-	-	-
1.7337	7160	0.0	-	-	-
1.7362	7170	0.0	-	-	-
1.7386	7180	0.0	-	-	-
1.7410	7190	0.0	-	-	-
1.7434	7200	0.0	-	-	-
1.7459	7210	0.0	-	-	-
1.7483	7220	0.0	-	-	-
1.7507	7230	0.0	-	-	-
1.7531	7240	0.0	-	-	-
1.7555	7250	0.0	-	-	-
1.7580	7260	0.0	-	-	-
1.7604	7270	0.0	-	-	-
1.7628	7280	0.0	-	-	-
1.7652	7290	0.0	-	-	-
1.7676	7300	0.0	-	-	-
1.7701	7310	0.0	-	-	-
1.7725	7320	0.0	-	-	-
1.7749	7330	0.0	-	-	-
1.7773	7340	0.0	-	-	-
1.7798	7350	0.0	-	-	-
1.7822	7360	0.0	-	-	-
1.7846	7370	0.0	-	-	-
1.7870	7380	0.0	-	-	-
1.7894	7390	0.0	-	-	-
1.7919	7400	0.0	-	-	-
1.7943	7410	0.0	-	-	-
1.7967	7420	0.0	-	-	-
1.7991	7430	0.0	-	-	-
1.8015	7440	0.0	-	-	-
1.8040	7450	0.0	-	-	-
1.8064	7460	0.0	-	-	-
1.8088	7470	0.0	-	-	-
1.8112	7480	0.0	-	-	-
1.8137	7490	0.0	-	-	-
1.8161	7500	0.0	-	-	-
1.8185	7510	0.0	-	-	-
1.8209	7520	0.0	-	-	-
1.8233	7530	0.0	-	-	-
1.8258	7540	0.0	-	-	-
1.8282	7550	0.0	-	-	-
1.8306	7560	0.0	-	-	-
1.8330	7570	0.0	-	-	-
1.8355	7580	0.0	-	-	-
1.8379	7590	0.0	-	-	-
1.8403	7600	0.0	-	-	-
1.8427	7610	0.0	-	-	-
1.8451	7620	0.0	-	-	-
1.8476	7630	0.0	-	-	-
1.8500	7640	0.0	-	-	-
1.8524	7650	0.0	-	-	-
1.8548	7660	0.0	-	-	-
1.8572	7670	0.0	-	-	-
1.8597	7680	0.0	-	-	-
1.8621	7690	0.0	-	-	-
1.8645	7700	0.0	-	-	-
1.8669	7710	0.0	-	-	-
1.8694	7720	0.0	-	-	-
1.8718	7730	0.0	-	-	-
1.8742	7740	0.0	-	-	-
1.8766	7750	0.0	-	-	-
1.8790	7760	0.0	-	-	-
1.8815	7770	0.0	-	-	-
1.8839	7780	0.0	-	-	-
1.8863	7790	0.0	-	-	-
1.8887	7800	0.0	-	-	-
1.8911	7810	0.0	-	-	-
1.8936	7820	0.0	-	-	-
1.8960	7830	0.0	-	-	-
1.8984	7840	0.0	-	-	-
1.9008	7850	0.0	-	-	-
1.9033	7860	0.0	-	-	-
1.9057	7870	0.0	-	-	-
1.9081	7880	0.0	-	-	-
1.9105	7890	0.0	-	-	-
1.9129	7900	0.0	-	-	-
1.9154	7910	0.0	-	-	-
1.9178	7920	0.0	-	-	-
1.9202	7930	0.0	-	-	-
1.9226	7940	0.0	-	-	-
1.9251	7950	0.0	-	-	-
1.9275	7960	0.0	-	-	-
1.9299	7970	0.0	-	-	-
1.9323	7980	0.0	-	-	-
1.9347	7990	0.0	-	-	-
1.9372	8000	0.0	-	-	-
1.9396	8010	0.0	-	-	-
1.9420	8020	0.0	-	-	-
1.9444	8030	0.0	-	-	-
1.9468	8040	0.0	-	-	-
1.9493	8050	0.0	-	-	-
1.9517	8060	0.0	-	-	-
1.9541	8070	0.0	-	-	-
1.9565	8080	0.0	-	-	-
1.9590	8090	0.0	-	-	-
1.9614	8100	0.0	-	-	-
1.9638	8110	0.0	-	-	-
1.9662	8120	0.0	-	-	-
1.9686	8130	0.0	-	-	-
1.9711	8140	0.0	-	-	-
1.9735	8150	0.0	-	-	-
1.9759	8160	0.0	-	-	-
1.9783	8170	0.0	-	-	-
1.9807	8180	0.0	-	-	-
1.9832	8190	0.0	-	-	-
1.9856	8200	0.0	-	-	-
1.9880	8210	0.0	-	-	-
1.9904	8220	0.0	-	-	-
1.9929	8230	0.0	-	-	-
1.9953	8240	0.0	-	-	-
1.9977	8250	0.0	-	-	-
2.0	8260	0.0	nan	0.0	0.0
2.0024	8270	0.0	-	-	-
2.0048	8280	0.0	-	-	-
2.0073	8290	0.0	-	-	-
2.0097	8300	0.0	-	-	-
2.0121	8310	0.0	-	-	-
2.0145	8320	0.0	-	-	-
2.0170	8330	0.0	-	-	-
2.0194	8340	0.0	-	-	-
2.0218	8350	0.0	-	-	-
2.0242	8360	0.0	-	-	-
2.0266	8370	0.0	-	-	-
2.0291	8380	0.0	-	-	-
2.0315	8390	0.0	-	-	-
2.0339	8400	0.0	-	-	-
2.0363	8410	0.0	-	-	-
2.0387	8420	0.0	-	-	-
2.0412	8430	0.0	-	-	-
2.0436	8440	0.0	-	-	-
2.0460	8450	0.0	-	-	-
2.0484	8460	0.0	-	-	-
2.0509	8470	0.0	-	-	-
2.0533	8480	0.0	-	-	-
2.0557	8490	0.0	-	-	-
2.0581	8500	0.0	-	-	-
2.0605	8510	0.0	-	-	-
2.0630	8520	0.0	-	-	-
2.0654	8530	0.0	-	-	-
2.0678	8540	0.0	-	-	-
2.0702	8550	0.0	-	-	-
2.0726	8560	0.0	-	-	-
2.0751	8570	0.0	-	-	-
2.0775	8580	0.0	-	-	-
2.0799	8590	0.0	-	-	-
2.0823	8600	0.0	-	-	-
2.0848	8610	0.0	-	-	-
2.0872	8620	0.0	-	-	-
2.0896	8630	0.0	-	-	-
2.0920	8640	0.0	-	-	-
2.0944	8650	0.0	-	-	-
2.0969	8660	0.0	-	-	-
2.0993	8670	0.0	-	-	-
2.1017	8680	0.0	-	-	-
2.1041	8690	0.0	-	-	-
2.1066	8700	0.0	-	-	-
2.1090	8710	0.0	-	-	-
2.1114	8720	0.0	-	-	-
2.1138	8730	0.0	-	-	-
2.1162	8740	0.0	-	-	-
2.1187	8750	0.0	-	-	-
2.1211	8760	0.0	-	-	-
2.1235	8770	0.0	-	-	-
2.1259	8780	0.0	-	-	-
2.1283	8790	0.0	-	-	-
2.1308	8800	0.0	-	-	-
2.1332	8810	0.0	-	-	-
2.1356	8820	0.0	-	-	-
2.1380	8830	0.0	-	-	-
2.1405	8840	0.0	-	-	-
2.1429	8850	0.0	-	-	-
2.1453	8860	0.0	-	-	-
2.1477	8870	0.0	-	-	-
2.1501	8880	0.0	-	-	-
2.1526	8890	0.0	-	-	-
2.1550	8900	0.0	-	-	-
2.1574	8910	0.0	-	-	-
2.1598	8920	0.0	-	-	-
2.1622	8930	0.0	-	-	-
2.1647	8940	0.0	-	-	-
2.1671	8950	0.0	-	-	-
2.1695	8960	0.0	-	-	-
2.1719	8970	0.0	-	-	-
2.1744	8980	0.0	-	-	-
2.1768	8990	0.0	-	-	-
2.1792	9000	0.0	-	-	-
2.1816	9010	0.0	-	-	-
2.1840	9020	0.0	-	-	-
2.1865	9030	0.0	-	-	-
2.1889	9040	0.0	-	-	-
2.1913	9050	0.0	-	-	-
2.1937	9060	0.0	-	-	-
2.1961	9070	0.0	-	-	-
2.1986	9080	0.0	-	-	-
2.2010	9090	0.0	-	-	-
2.2034	9100	0.0	-	-	-
2.2058	9110	0.0	-	-	-
2.2083	9120	0.0	-	-	-
2.2107	9130	0.0	-	-	-
2.2131	9140	0.0	-	-	-
2.2155	9150	0.0	-	-	-
2.2179	9160	0.0	-	-	-
2.2204	9170	0.0	-	-	-
2.2228	9180	0.0	-	-	-
2.2252	9190	0.0	-	-	-
2.2276	9200	0.0	-	-	-
2.2301	9210	0.0	-	-	-
2.2325	9220	0.0	-	-	-
2.2349	9230	0.0	-	-	-
2.2373	9240	0.0	-	-	-
2.2397	9250	0.0	-	-	-
2.2422	9260	0.0	-	-	-
2.2446	9270	0.0	-	-	-
2.2470	9280	0.0	-	-	-
2.2494	9290	0.0	-	-	-
2.2518	9300	0.0	-	-	-
2.2543	9310	0.0	-	-	-
2.2567	9320	0.0	-	-	-
2.2591	9330	0.0	-	-	-
2.2615	9340	0.0	-	-	-
2.2640	9350	0.0	-	-	-
2.2664	9360	0.0	-	-	-
2.2688	9370	0.0	-	-	-
2.2712	9380	0.0	-	-	-
2.2736	9390	0.0	-	-	-
2.2761	9400	0.0	-	-	-
2.2785	9410	0.0	-	-	-
2.2809	9420	0.0	-	-	-
2.2833	9430	0.0	-	-	-
2.2857	9440	0.0	-	-	-
2.2882	9450	0.0	-	-	-
2.2906	9460	0.0	-	-	-
2.2930	9470	0.0	-	-	-
2.2954	9480	0.0	-	-	-
2.2979	9490	0.0	-	-	-
2.3003	9500	0.0	-	-	-
2.3027	9510	0.0	-	-	-
2.3051	9520	0.0	-	-	-
2.3075	9530	0.0	-	-	-
2.3100	9540	0.0	-	-	-
2.3124	9550	0.0	-	-	-
2.3148	9560	0.0	-	-	-
2.3172	9570	0.0	-	-	-
2.3197	9580	0.0	-	-	-
2.3221	9590	0.0	-	-	-
2.3245	9600	0.0	-	-	-
2.3269	9610	0.0	-	-	-
2.3293	9620	0.0	-	-	-
2.3318	9630	0.0	-	-	-
2.3342	9640	0.0	-	-	-
2.3366	9650	0.0	-	-	-
2.3390	9660	0.0	-	-	-
2.3414	9670	0.0	-	-	-
2.3439	9680	0.0	-	-	-
2.3463	9690	0.0	-	-	-
2.3487	9700	0.0	-	-	-
2.3511	9710	0.0	-	-	-
2.3536	9720	0.0	-	-	-
2.3560	9730	0.0	-	-	-
2.3584	9740	0.0	-	-	-
2.3608	9750	0.0	-	-	-
2.3632	9760	0.0	-	-	-
2.3657	9770	0.0	-	-	-
2.3681	9780	0.0	-	-	-
2.3705	9790	0.0	-	-	-
2.3729	9800	0.0	-	-	-
2.3753	9810	0.0	-	-	-
2.3778	9820	0.0	-	-	-
2.3802	9830	0.0	-	-	-
2.3826	9840	0.0	-	-	-
2.3850	9850	0.0	-	-	-
2.3875	9860	0.0	-	-	-
2.3899	9870	0.0	-	-	-
2.3923	9880	0.0	-	-	-
2.3947	9890	0.0	-	-	-
2.3971	9900	0.0	-	-	-
2.3996	9910	0.0	-	-	-
2.4020	9920	0.0	-	-	-
2.4044	9930	0.0	-	-	-
2.4068	9940	0.0	-	-	-
2.4093	9950	0.0	-	-	-
2.4117	9960	0.0	-	-	-
2.4141	9970	0.0	-	-	-
2.4165	9980	0.0	-	-	-
2.4189	9990	0.0	-	-	-
2.4214	10000	0.0	-	-	-
2.4238	10010	0.0	-	-	-
2.4262	10020	0.0	-	-	-
2.4286	10030	0.0	-	-	-
2.4310	10040	0.0	-	-	-
2.4335	10050	0.0	-	-	-
2.4359	10060	0.0	-	-	-
2.4383	10070	0.0	-	-	-
2.4407	10080	0.0	-	-	-
2.4432	10090	0.0	-	-	-
2.4456	10100	0.0	-	-	-
2.4480	10110	0.0	-	-	-
2.4504	10120	0.0	-	-	-
2.4528	10130	0.0	-	-	-
2.4553	10140	0.0	-	-	-
2.4577	10150	0.0	-	-	-
2.4601	10160	0.0	-	-	-
2.4625	10170	0.0	-	-	-
2.4649	10180	0.0	-	-	-
2.4674	10190	0.0	-	-	-
2.4698	10200	0.0	-	-	-
2.4722	10210	0.0	-	-	-
2.4746	10220	0.0	-	-	-
2.4771	10230	0.0	-	-	-
2.4795	10240	0.0	-	-	-
2.4819	10250	0.0	-	-	-
2.4843	10260	0.0	-	-	-
2.4867	10270	0.0	-	-	-
2.4892	10280	0.0	-	-	-
2.4916	10290	0.0	-	-	-
2.4940	10300	0.0	-	-	-
2.4964	10310	0.0	-	-	-
2.4988	10320	0.0	-	-	-
2.5013	10330	0.0	-	-	-
2.5037	10340	0.0	-	-	-
2.5061	10350	0.0	-	-	-
2.5085	10360	0.0	-	-	-
2.5110	10370	0.0	-	-	-
2.5134	10380	0.0	-	-	-
2.5158	10390	0.0	-	-	-
2.5182	10400	0.0	-	-	-
2.5206	10410	0.0	-	-	-
2.5231	10420	0.0	-	-	-
2.5255	10430	0.0	-	-	-
2.5279	10440	0.0	-	-	-
2.5303	10450	0.0	-	-	-
2.5328	10460	0.0	-	-	-
2.5352	10470	0.0	-	-	-
2.5376	10480	0.0	-	-	-
2.5400	10490	0.0	-	-	-
2.5424	10500	0.0	-	-	-
2.5449	10510	0.0	-	-	-
2.5473	10520	0.0	-	-	-
2.5497	10530	0.0	-	-	-
2.5521	10540	0.0	-	-	-
2.5545	10550	0.0	-	-	-
2.5570	10560	0.0	-	-	-
2.5594	10570	0.0	-	-	-
2.5618	10580	0.0	-	-	-
2.5642	10590	0.0	-	-	-
2.5667	10600	0.0	-	-	-
2.5691	10610	0.0	-	-	-
2.5715	10620	0.0	-	-	-
2.5739	10630	0.0	-	-	-
2.5763	10640	0.0	-	-	-
2.5788	10650	0.0	-	-	-
2.5812	10660	0.0	-	-	-
2.5836	10670	0.0	-	-	-
2.5860	10680	0.0	-	-	-
2.5884	10690	0.0	-	-	-
2.5909	10700	0.0	-	-	-
2.5933	10710	0.0	-	-	-
2.5957	10720	0.0	-	-	-
2.5981	10730	0.0	-	-	-
2.6006	10740	0.0	-	-	-
2.6030	10750	0.0	-	-	-
2.6054	10760	0.0	-	-	-
2.6078	10770	0.0	-	-	-
2.6102	10780	0.0	-	-	-
2.6127	10790	0.0	-	-	-
2.6151	10800	0.0	-	-	-
2.6175	10810	0.0	-	-	-
2.6199	10820	0.0	-	-	-
2.6224	10830	0.0	-	-	-
2.6248	10840	0.0	-	-	-
2.6272	10850	0.0	-	-	-
2.6296	10860	0.0	-	-	-
2.6320	10870	0.0	-	-	-
2.6345	10880	0.0	-	-	-
2.6369	10890	0.0	-	-	-
2.6393	10900	0.0	-	-	-
2.6417	10910	0.0	-	-	-
2.6441	10920	0.0	-	-	-
2.6466	10930	0.0	-	-	-
2.6490	10940	0.0	-	-	-
2.6514	10950	0.0	-	-	-
2.6538	10960	0.0	-	-	-
2.6563	10970	0.0	-	-	-
2.6587	10980	0.0	-	-	-
2.6611	10990	0.0	-	-	-
2.6635	11000	0.0	-	-	-
2.6659	11010	0.0	-	-	-
2.6684	11020	0.0	-	-	-
2.6708	11030	0.0	-	-	-
2.6732	11040	0.0	-	-	-
2.6756	11050	0.0	-	-	-
2.6780	11060	0.0	-	-	-
2.6805	11070	0.0	-	-	-
2.6829	11080	0.0	-	-	-
2.6853	11090	0.0	-	-	-
2.6877	11100	0.0	-	-	-
2.6902	11110	0.0	-	-	-
2.6926	11120	0.0	-	-	-
2.6950	11130	0.0	-	-	-
2.6974	11140	0.0	-	-	-
2.6998	11150	0.0	-	-	-
2.7023	11160	0.0	-	-	-
2.7047	11170	0.0	-	-	-
2.7071	11180	0.0	-	-	-
2.7095	11190	0.0	-	-	-
2.7120	11200	0.0	-	-	-
2.7144	11210	0.0	-	-	-
2.7168	11220	0.0	-	-	-
2.7192	11230	0.0	-	-	-
2.7216	11240	0.0	-	-	-
2.7241	11250	0.0	-	-	-
2.7265	11260	0.0	-	-	-
2.7289	11270	0.0	-	-	-
2.7313	11280	0.0	-	-	-
2.7337	11290	0.0	-	-	-
2.7362	11300	0.0	-	-	-
2.7386	11310	0.0	-	-	-
2.7410	11320	0.0	-	-	-
2.7434	11330	0.0	-	-	-
2.7459	11340	0.0	-	-	-
2.7483	11350	0.0	-	-	-
2.7507	11360	0.0	-	-	-
2.7531	11370	0.0	-	-	-
2.7555	11380	0.0	-	-	-
2.7580	11390	0.0	-	-	-
2.7604	11400	0.0	-	-	-
2.7628	11410	0.0	-	-	-
2.7652	11420	0.0	-	-	-
2.7676	11430	0.0	-	-	-
2.7701	11440	0.0	-	-	-
2.7725	11450	0.0	-	-	-
2.7749	11460	0.0	-	-	-
2.7773	11470	0.0	-	-	-
2.7798	11480	0.0	-	-	-
2.7822	11490	0.0	-	-	-
2.7846	11500	0.0	-	-	-
2.7870	11510	0.0	-	-	-
2.7894	11520	0.0	-	-	-
2.7919	11530	0.0	-	-	-
2.7943	11540	0.0	-	-	-
2.7967	11550	0.0	-	-	-
2.7991	11560	0.0	-	-	-
2.8015	11570	0.0	-	-	-
2.8040	11580	0.0	-	-	-
2.8064	11590	0.0	-	-	-
2.8088	11600	0.0	-	-	-
2.8112	11610	0.0	-	-	-
2.8137	11620	0.0	-	-	-
2.8161	11630	0.0	-	-	-
2.8185	11640	0.0	-	-	-
2.8209	11650	0.0	-	-	-
2.8233	11660	0.0	-	-	-
2.8258	11670	0.0	-	-	-
2.8282	11680	0.0	-	-	-
2.8306	11690	0.0	-	-	-
2.8330	11700	0.0	-	-	-
2.8355	11710	0.0	-	-	-
2.8379	11720	0.0	-	-	-
2.8403	11730	0.0	-	-	-
2.8427	11740	0.0	-	-	-
2.8451	11750	0.0	-	-	-
2.8476	11760	0.0	-	-	-
2.8500	11770	0.0	-	-	-
2.8524	11780	0.0	-	-	-
2.8548	11790	0.0	-	-	-
2.8572	11800	0.0	-	-	-
2.8597	11810	0.0	-	-	-
2.8621	11820	0.0	-	-	-
2.8645	11830	0.0	-	-	-
2.8669	11840	0.0	-	-	-
2.8694	11850	0.0	-	-	-
2.8718	11860	0.0	-	-	-
2.8742	11870	0.0	-	-	-
2.8766	11880	0.0	-	-	-
2.8790	11890	0.0	-	-	-
2.8815	11900	0.0	-	-	-
2.8839	11910	0.0	-	-	-
2.8863	11920	0.0	-	-	-
2.8887	11930	0.0	-	-	-
2.8911	11940	0.0	-	-	-
2.8936	11950	0.0	-	-	-
2.8960	11960	0.0	-	-	-
2.8984	11970	0.0	-	-	-
2.9008	11980	0.0	-	-	-
2.9033	11990	0.0	-	-	-
2.9057	12000	0.0	-	-	-
2.9081	12010	0.0	-	-	-
2.9105	12020	0.0	-	-	-
2.9129	12030	0.0	-	-	-
2.9154	12040	0.0	-	-	-
2.9178	12050	0.0	-	-	-
2.9202	12060	0.0	-	-	-
2.9226	12070	0.0	-	-	-
2.9251	12080	0.0	-	-	-
2.9275	12090	0.0	-	-	-
2.9299	12100	0.0	-	-	-
2.9323	12110	0.0	-	-	-
2.9347	12120	0.0	-	-	-
2.9372	12130	0.0	-	-	-
2.9396	12140	0.0	-	-	-
2.9420	12150	0.0	-	-	-
2.9444	12160	0.0	-	-	-
2.9468	12170	0.0	-	-	-
2.9493	12180	0.0	-	-	-
2.9517	12190	0.0	-	-	-
2.9541	12200	0.0	-	-	-
2.9565	12210	0.0	-	-	-
2.9590	12220	0.0	-	-	-
2.9614	12230	0.0	-	-	-
2.9638	12240	0.0	-	-	-
2.9662	12250	0.0	-	-	-
2.9686	12260	0.0	-	-	-
2.9711	12270	0.0	-	-	-
2.9735	12280	0.0	-	-	-
2.9759	12290	0.0	-	-	-
2.9783	12300	0.0	-	-	-
2.9807	12310	0.0	-	-	-
2.9832	12320	0.0	-	-	-
2.9856	12330	0.0	-	-	-
2.9880	12340	0.0	-	-	-
2.9904	12350	0.0	-	-	-
2.9929	12360	0.0	-	-	-
2.9953	12370	0.0	-	-	-
2.9977	12380	0.0	-	-	-
2.9994	12387	-	nan	0.0	0.0

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.3.1
• Transformers: 4.48.0.dev0
• PyTorch: 2.4.0
• Accelerate: 0.29.3
• Datasets: 2.19.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}