Upload checkpoint-11550

checkpoints/checkpoint-11550/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 768,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": true,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": false,
+    "include_prompt": true
+}

checkpoints/checkpoint-11550/README.md

@@ -0,0 +1,675 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:985664
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: QuangDuy/bert-base-stage2-hf
+widget:
+- source_sentence: gần là gì
+  sentences:
+  - Thủ thuật tạo dòng chảy gần động mạch là một phương pháp thay thế phù hợp cho
+    kỹ thuật DRIL để điều trị bệnh nhân ARI. Kỹ thuật được mô tả thích hợp hơn cho
+    các bác sĩ phẫu thuật không muốn nối động mạch trục.
+  - Trang thảo luận có thể chứa các đề xuất. (Tháng 9 năm 2010). Polyurethane nhiệt
+    dẻo (TPU) là bất kỳ loại nhựa polyurethane nào với nhiều đặc tính, bao gồm độ
+    đàn hồi, độ trong suốt và khả năng chống dầu, mỡ và mài mòn. PU có nhiều ứng dụng
+    bao gồm tấm thiết bị ô tô, bánh xe đẩy, dụng cụ điện, đồ thể thao, thiết bị y
+    tế, dây đai truyền động, giày dép, bè bơm hơi và nhiều ứng dụng màng, tấm và hồ
+    sơ ép đùn.
+  - Bởi vì cách tiếp cận như vậy, về nguyên tắc, có vẻ không được mong muốn, chúng
+    tôi đã phát triển và áp dụng một kỹ thuật thay thế được gọi là phương pháp tiếp
+    cận gần dòng vào động mạch (PAI). Quy trình này chuyển đổi nguồn cung cấp động
+    mạch của đường tiếp cận động mạch đến động mạch gần hơn có công suất cao hơn bằng
+    cách sử dụng mảnh ghép polytetrafluoroethylen cỡ nhỏ làm bộ phận trung chuyển.
+- source_sentence: npat là gì
+  sentences:
+  - 'là gì: zantac, dùng để làm gì; và cái gì ... 59. cái gì là: pepcid, dùng để;
+    và là gì ... 60. là gì: bi-citra, dùng để làm gì; và cái gì ... 61. là gì: glucagon,
+    dùng để làm gì; và cái gì ... 62. là gì: humulin, dùng để làm gì; và cái gì ...'
+  - NMIMS-NPAT (Bài kiểm tra quốc gia cho các chương trình sau 12 tuổi) là bài kiểm
+    tra đầu vào chính thức để tuyển sinh vào các Chương trình cấp bằng đại học và
+    bằng cấp tích hợp được cung cấp bởi các trường thành viên của Viện Nghiên cứu
+    Quản lý Narsee Monjee của SVKM (Được coi là Đại học) tại Cơ sở Mumbai & Shirpur.
+    andidates có thể đăng ký trực tuyến trước ngày 30 tháng 4 năm 2015 cho NMIMS-NPAT
+    (Các chương trình sau ngày 12) dự kiến vào ngày 9 và 10 tháng 5 năm 2015 tại các
+    trung tâm trên toàn quốc.
+  - Kali là một nguyên tố tuyệt vời được sử dụng trong vườn vì kali là chìa khóa để
+    giúp cây ra trái trong khi nitơ n tăng tán lá và sự phát triển của cây và p phốt
+    pho giúp cấu trúc rễ.
+- source_sentence: mtr là gì
+  sentences:
+  - Cài đặt mtr trong hệ điều hành yêu thích của bạn. mtr có thể được cài đặt trong
+    Ubuntu linux bằng cách cài đặt gói MTR. Một mtr cài đặt apt-get đơn giản sẽ làm
+    được điều đó, hoặc nếu bạn thích sử dụng trình quản lý gói để cài đặt chương trình.
+  - Cập nhật ngày 09 tháng 8 năm 2016. Phát triển Nguồn nhân lực (HRD) là khuôn khổ
+    để giúp nhân viên phát triển các kỹ năng, kiến thức và khả năng cá nhân và tổ
+    chức của họ.
+  - Từ Wikipedia, bách khoa toàn thư miễn phí. Đường sắt vận chuyển hàng loạt hoặc
+    MTR (bằng tiếng Trung, é¦Ââ „¢港éµ路æœÂâ €°éÂâ" ¢ÂॠÂâ € ¦¬Ã ¥ ¸, nghĩa đen
+    là Công ty Đường sắt Hồng Kông; hoặc 港éµ) là hệ thống đường sắt vận chuyển nhanh
+    chính ở Hồng Kông. Kể từ khi dịch vụ MTR lần đầu tiên được khai trương vào năm
+    1979, mạng lưới đã phát triển lên 150 trạm. Được xây dựng và điều hành bởi MTR
+    Corporation Limited, hệ thống MTR là phương tiện giao thông công cộng rất phổ
+    biến ở Hồng Kông, với khoảng 2,46 triệu hành khách đi lại mỗi ngày.
+- source_sentence: snp là gì?
+  sentences:
+  - Grid là một phần lớn của hệ thống Tron, được lập trình bởi Kevin Flynn. Thường
+    được Flynn gọi là biên giới kỹ thuật số của mình, Grid được tạo ra để cung cấp
+    một nền tảng thử nghiệm nơi tất cả các dạng ...
+  - Đa hình nucleotide đơn hay SNP (phát âm là đoạn cắt) là một biến thể trình tự
+    DNA xảy ra khi một nucleotide đơn - A, T, C hoặc G - trong bộ gen (hoặc trình
+    tự dùng chung khác) khác nhau giữa các thành viên của một loài (hoặc giữa các
+    nhiễm sắc thể được ghép đôi trong một cá nhân).
+  - 'Trước khi có thể mở tệp SNP, bạn sẽ cần tìm ra loại tệp mà phần mở rộng tệp SNP
+    đề cập đến. Mẹo: Lỗi liên kết tệp SNP không chính xác có thể là triệu chứng của
+    các sự cố cơ bản khác trong hệ điều hành Windows của bạn.'
+- source_sentence: pcb là gì
+  sentences:
+  - thiết bị lưu trữ ảo (VSA) Thiết bị lưu trữ ảo (VSA) là một bộ điều khiển lưu trữ
+    chạy trên máy ảo (VM) để tạo lưu trữ dùng chung mà không cần thêm phần cứng. Tải
+    xuống hướng dẫn miễn phí này.
+  - PCB là từ viết tắt của bảng mạch in. Nó là một bảng có các đường và miếng đệm
+    kết nối các điểm khác nhau với nhau. Trong hình trên, có những dấu vết kết nối
+    điện của các đầu nối và thành phần khác nhau với nhau. PCB cho phép chuyển tín
+    hiệu và nguồn điện giữa các thiết bị vật lý.
+  - Thuốc hàn là một dạng chất hàn được sử dụng trong lắp ráp PCB, và bao gồm cả lắp
+    ráp PCB nguyên mẫu, đặc biệt là khi sử dụng kỹ thuật hàn nóng chảy lại. Thuốc
+    hàn là hỗn hợp giữa các khối cầu hàn và một dạng chất trợ dung chuyên dụng. hướng
+    dẫn, thông tin, bài viết về keo hàn là gì, cách sử dụng keo hàn và đạt được nhiều
+    nhất từ quá trình lắp ráp PCB. Hướng dẫn Quy trình hàn Bao gồm.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on QuangDuy/bert-base-stage2-hf
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [QuangDuy/bert-base-stage2-hf](https://huggingface.co/QuangDuy/bert-base-stage2-hf). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [QuangDuy/bert-base-stage2-hf](https://huggingface.co/QuangDuy/bert-base-stage2-hf) <!-- at revision 6a6ac1ff59259c4fe29b121488afa79d0bfe3e6a -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'pcb là gì',
+    'PCB là từ viết tắt của bảng mạch in. Nó là một bảng có các đường và miếng đệm kết nối các điểm khác nhau với nhau. Trong hình trên, có những dấu vết kết nối điện của các đầu nối và thành phần khác nhau với nhau. PCB cho phép chuyển tín hiệu và nguồn điện giữa các thiết bị vật lý.',
+    'Thuốc hàn là một dạng chất hàn được sử dụng trong lắp ráp PCB, và bao gồm cả lắp ráp PCB nguyên mẫu, đặc biệt là khi sử dụng kỹ thuật hàn nóng chảy lại. Thuốc hàn là hỗn hợp giữa các khối cầu hàn và một dạng chất trợ dung chuyên dụng. hướng dẫn, thông tin, bài viết về keo hàn là gì, cách sử dụng keo hàn và đạt được nhiều nhất từ quá trình lắp ráp PCB. Hướng dẫn Quy trình hàn Bao gồm.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities)
+# tensor([[1.0000, 0.6395, 0.1239],
+#         [0.6395, 1.0000, 0.2963],
+#         [0.1239, 0.2963, 1.0000]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 985,664 training samples
+* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence_0                                                                      | sentence_1                                                                          | sentence_2                                                                         |
+  |:--------|:--------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
+  | type    | string                                                                          | string                                                                              | string                                                                             |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 5.64 tokens</li><li>max: 8 tokens</li></ul> | <ul><li>min: 22 tokens</li><li>mean: 89.52 tokens</li><li>max: 252 tokens</li></ul> | <ul><li>min: 23 tokens</li><li>mean: 92.4 tokens</li><li>max: 314 tokens</li></ul> |
+* Samples:
+  | sentence_0              | sentence_1                                                                                                                                                                                                                                                                                                                                                                                                                                                        | sentence_2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>afm là gì</code>  | <code>AFM là gì? Kính hiển vi lực nguyên tử (AFM) là một loại kính hiển vi thăm dò quét (SPM). SPM được thiết kế để đo các đặc tính cục bộ, chẳng hạn như chiều cao, ma sát, từ tính, bằng một đầu dò. Để thu được hình ảnh, SPM raster quét đầu dò trên một khu vực nhỏ của mẫu, đo đặc tính cục bộ đồng thời.</code>                                                                                                                                            | <code>Mica trần là một chất nền tốt và đặc trưng có thể được sử dụng để cung cấp hình ảnh rõ ràng, sắc nét của DNA. DNA có thể được chụp bằng AFM trên mica khô trong điều kiện môi trường xung quanh hoặc trong bộ đệm sinh lý. Hình ảnh AFM Hình 3.FM AFM là kỹ thuật quét không phá hủy trong đó đầu của đầu dò AFM được sử dụng để quét bề mặt của mẫu. Các đầu d�� AFM cực kỳ sắc nét (thường theo thứ tự hàng chục nanomet), vì vậy AFM thường xuyên có thể hình ảnh các tính năng cực kỳ nhỏ trên bề mặt mẫu.</code> |
+  | <code>xốp là gì</code>  | <code>Thuật ngữ "Styrofoam" thực sự là một dạng cách nhiệt bọt polystyrene đã được đăng ký nhãn hiệu của Dow Chemical Co. Còn được gọi là xốp Polystrene mở rộng (EPS), về cơ bản, Styrofoam là một dạng của nhựa polystyrene. Đổi lại, nhựa polystyrene thường được mã hóa là nhựa # 6. Xốp được sử dụng rộng rãi trên toàn thế giới cho nhiều mục đích khác nhau bao gồm đóng gói, tách cà phê, đĩa, khay đựng thức ăn, chế tạo các bộ phận xe hơi, v.v.</code> | <code>Liên quan: tấm xốp máy cắt xốp tấm xốp xốp lớn xốp xốp khối xốp polystyrene khối xốp dây nóng máy cắt xốp quả bóng xốp polystyrene. Đây là giá trung bình dựa trên doanh số bán sản phẩm này trong cùng tình trạng từ tất cả các danh sách trên ebay.com trong 14 qua ngày hoặc nếu không có đủ số lượng danh sách cho một phép tính có ý nghĩa, trong 90 ngày qua.</code>                                                                                                                                           |
+  | <code>ugc là gì?</code> | <code>Nội dung do người dùng tạo. Nội dung do người dùng tạo (UGC), còn được gọi là nội dung do người dùng tạo (UCC), là bất kỳ dạng nội dung nào được tạo bởi người dùng của một hệ thống hoặc dịch vụ và được cung cấp công khai trên hệ thống đó.</code>                                                                                                                                                                                                       | <code>Tìm kiếm định nghĩa của UGC? Tìm hiểu ý nghĩa đầy đủ của UGC trên Abbreviations.com là gì! 'Ủy ban Tài trợ Đại học' là một lựa chọn - hãy truy cập để xem thêm @ Tài nguyên từ viết tắt và từ viết tắt lớn nhất và có thẩm quyền nhất của Web.</code>                                                                                                                                                                                                                                                                |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 64
+- `weight_decay`: 0.01
+- `num_train_epochs`: 5
+- `warmup_steps`: 7701
+- `bf16`: True
+- `gradient_checkpointing`: True
+- `gradient_checkpointing_kwargs`: {'use_reentrant': False}
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 64
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 5e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: None
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 7701
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: True
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `project`: huggingface
+- `trackio_space_id`: trackio
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `hub_revision`: None
+- `gradient_checkpointing`: True
+- `gradient_checkpointing_kwargs`: {'use_reentrant': False}
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: no
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: True
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step  | Training Loss | validation loss |
+|:------:|:-----:|:-------------:|:---------------:|
+| 0.0065 | 50    | 15.9471       | -               |
+| 0.0130 | 100   | 15.1591       | -               |
+| 0.0195 | 150   | 14.0548       | -               |
+| 0.0260 | 200   | 12.6234       | -               |
+| 0.0325 | 250   | 11.0546       | -               |
+| 0.0390 | 300   | 9.1498        | -               |
+| 0.0455 | 350   | 7.5429        | -               |
+| 0.0519 | 400   | 6.4324        | -               |
+| 0.0584 | 450   | 5.9025        | -               |
+| 0.0649 | 500   | 5.4181        | -               |
+| 0.0714 | 550   | 5.0231        | -               |
+| 0.0779 | 600   | 4.7729        | -               |
+| 0.0844 | 650   | 4.6554        | -               |
+| 0.0909 | 700   | 4.4429        | -               |
+| 0.0974 | 750   | 4.2589        | -               |
+| 0.1039 | 800   | 3.9485        | -               |
+| 0.1104 | 850   | 3.8368        | -               |
+| 0.1169 | 900   | 3.8319        | -               |
+| 0.1234 | 950   | 3.6684        | -               |
+| 0.1299 | 1000  | 3.5635        | -               |
+| 0.1364 | 1050  | 3.518         | -               |
+| 0.1429 | 1100  | 3.4108        | -               |
+| 0.1494 | 1150  | 3.4189        | -               |
+| 0.1558 | 1200  | 3.3312        | -               |
+| 0.1623 | 1250  | 3.3368        | -               |
+| 0.1688 | 1300  | 3.1654        | -               |
+| 0.1753 | 1350  | 3.1133        | -               |
+| 0.1818 | 1400  | 2.9981        | -               |
+| 0.1883 | 1450  | 2.9279        | -               |
+| 0.1948 | 1500  | 3.0855        | -               |
+| 0.2013 | 1550  | 2.8648        | -               |
+| 0.2078 | 1600  | 2.933         | -               |
+| 0.2143 | 1650  | 2.9586        | -               |
+| 0.2208 | 1700  | 2.8735        | -               |
+| 0.2273 | 1750  | 2.8262        | -               |
+| 0.2338 | 1800  | 2.8138        | -               |
+| 0.2403 | 1850  | 2.7759        | -               |
+| 0.2468 | 1900  | 2.7806        | -               |
+| 0.2532 | 1950  | 2.6917        | -               |
+| 0.2597 | 2000  | 2.781         | -               |
+| 0.2662 | 2050  | 2.6924        | -               |
+| 0.2727 | 2100  | 2.6548        | -               |
+| 0.2792 | 2150  | 2.5892        | -               |
+| 0.2857 | 2200  | 2.4805        | -               |
+| 0.2922 | 2250  | 2.5601        | -               |
+| 0.2987 | 2300  | 2.4803        | -               |
+| 0.3052 | 2350  | 2.4615        | -               |
+| 0.3117 | 2400  | 2.497         | -               |
+| 0.3182 | 2450  | 2.5528        | -               |
+| 0.3247 | 2500  | 2.3179        | -               |
+| 0.3312 | 2550  | 2.4226        | -               |
+| 0.3377 | 2600  | 2.3794        | -               |
+| 0.3442 | 2650  | 2.4812        | -               |
+| 0.3506 | 2700  | 2.3969        | -               |
+| 0.3571 | 2750  | 2.3512        | -               |
+| 0.3636 | 2800  | 2.3615        | -               |
+| 0.3701 | 2850  | 2.3175        | -               |
+| 0.3766 | 2900  | 2.3293        | -               |
+| 0.3831 | 2950  | 2.353         | -               |
+| 0.3896 | 3000  | 2.2407        | -               |
+| 0.3961 | 3050  | 2.3554        | -               |
+| 0.4026 | 3100  | 2.2079        | -               |
+| 0.4091 | 3150  | 2.3148        | -               |
+| 0.4156 | 3200  | 2.3595        | -               |
+| 0.4221 | 3250  | 2.3108        | -               |
+| 0.4286 | 3300  | 2.3236        | -               |
+| 0.4351 | 3350  | 2.1848        | -               |
+| 0.4416 | 3400  | 2.2364        | -               |
+| 0.4481 | 3450  | 2.2219        | -               |
+| 0.4545 | 3500  | 2.1346        | -               |
+| 0.4610 | 3550  | 2.2422        | -               |
+| 0.4675 | 3600  | 2.2226        | -               |
+| 0.4740 | 3650  | 2.1422        | -               |
+| 0.4805 | 3700  | 2.0838        | -               |
+| 0.4870 | 3750  | 2.1076        | -               |
+| 0.4935 | 3800  | 2.1266        | -               |
+| 0.5    | 3850  | 2.1255        | 5.7896          |
+| 0.5065 | 3900  | 2.1261        | -               |
+| 0.5130 | 3950  | 2.1352        | -               |
+| 0.5195 | 4000  | 2.0632        | -               |
+| 0.5260 | 4050  | 2.1564        | -               |
+| 0.5325 | 4100  | 2.0435        | -               |
+| 0.5390 | 4150  | 2.0099        | -               |
+| 0.5455 | 4200  | 2.0602        | -               |
+| 0.5519 | 4250  | 2.0414        | -               |
+| 0.5584 | 4300  | 2.0636        | -               |
+| 0.5649 | 4350  | 2.0575        | -               |
+| 0.5714 | 4400  | 2.0827        | -               |
+| 0.5779 | 4450  | 1.9545        | -               |
+| 0.5844 | 4500  | 2.0735        | -               |
+| 0.5909 | 4550  | 1.9039        | -               |
+| 0.5974 | 4600  | 1.9605        | -               |
+| 0.6039 | 4650  | 2.0449        | -               |
+| 0.6104 | 4700  | 1.9651        | -               |
+| 0.6169 | 4750  | 1.9632        | -               |
+| 0.6234 | 4800  | 2.0401        | -               |
+| 0.6299 | 4850  | 2.0056        | -               |
+| 0.6364 | 4900  | 1.9399        | -               |
+| 0.6429 | 4950  | 1.8899        | -               |
+| 0.6494 | 5000  | 2.0154        | -               |
+| 0.6558 | 5050  | 1.9857        | -               |
+| 0.6623 | 5100  | 1.9239        | -               |
+| 0.6688 | 5150  | 1.9741        | -               |
+| 0.6753 | 5200  | 1.9258        | -               |
+| 0.6818 | 5250  | 1.9545        | -               |
+| 0.6883 | 5300  | 1.9496        | -               |
+| 0.6948 | 5350  | 1.9479        | -               |
+| 0.7013 | 5400  | 1.9068        | -               |
+| 0.7078 | 5450  | 1.847         | -               |
+| 0.7143 | 5500  | 1.8001        | -               |
+| 0.7208 | 5550  | 1.9119        | -               |
+| 0.7273 | 5600  | 1.8347        | -               |
+| 0.7338 | 5650  | 1.944         | -               |
+| 0.7403 | 5700  | 1.8523        | -               |
+| 0.7468 | 5750  | 1.7925        | -               |
+| 0.7532 | 5800  | 1.8803        | -               |
+| 0.7597 | 5850  | 1.8662        | -               |
+| 0.7662 | 5900  | 1.8841        | -               |
+| 0.7727 | 5950  | 1.7907        | -               |
+| 0.7792 | 6000  | 1.7876        | -               |
+| 0.7857 | 6050  | 1.8248        | -               |
+| 0.7922 | 6100  | 1.7473        | -               |
+| 0.7987 | 6150  | 1.8196        | -               |
+| 0.8052 | 6200  | 1.7241        | -               |
+| 0.8117 | 6250  | 1.8118        | -               |
+| 0.8182 | 6300  | 1.8037        | -               |
+| 0.8247 | 6350  | 1.7531        | -               |
+| 0.8312 | 6400  | 1.8088        | -               |
+| 0.8377 | 6450  | 1.7525        | -               |
+| 0.8442 | 6500  | 1.7287        | -               |
+| 0.8506 | 6550  | 1.756         | -               |
+| 0.8571 | 6600  | 1.7888        | -               |
+| 0.8636 | 6650  | 1.709         | -               |
+| 0.8701 | 6700  | 1.722         | -               |
+| 0.8766 | 6750  | 1.6935        | -               |
+| 0.8831 | 6800  | 1.7679        | -               |
+| 0.8896 | 6850  | 1.7438        | -               |
+| 0.8961 | 6900  | 1.6815        | -               |
+| 0.9026 | 6950  | 1.7269        | -               |
+| 0.9091 | 7000  | 1.7285        | -               |
+| 0.9156 | 7050  | 1.711         | -               |
+| 0.9221 | 7100  | 1.6137        | -               |
+| 0.9286 | 7150  | 1.6785        | -               |
+| 0.9351 | 7200  | 1.7142        | -               |
+| 0.9416 | 7250  | 1.7585        | -               |
+| 0.9481 | 7300  | 1.7268        | -               |
+| 0.9545 | 7350  | 1.6739        | -               |
+| 0.9610 | 7400  | 1.6462        | -               |
+| 0.9675 | 7450  | 1.7591        | -               |
+| 0.9740 | 7500  | 1.6058        | -               |
+| 0.9805 | 7550  | 1.6984        | -               |
+| 0.9870 | 7600  | 1.6609        | -               |
+| 0.9935 | 7650  | 1.6488        | -               |
+| 1.0    | 7700  | 1.7626        | 5.6307          |
+| 1.0065 | 7750  | 1.6603        | -               |
+| 1.0130 | 7800  | 1.6979        | -               |
+| 1.0195 | 7850  | 1.6138        | -               |
+| 1.0260 | 7900  | 1.7008        | -               |
+| 1.0325 | 7950  | 1.6281        | -               |
+| 1.0390 | 8000  | 1.6029        | -               |
+| 1.0455 | 8050  | 1.6984        | -               |
+| 1.0519 | 8100  | 1.5865        | -               |
+| 1.0584 | 8150  | 1.6686        | -               |
+| 1.0649 | 8200  | 1.5427        | -               |
+| 1.0714 | 8250  | 1.5441        | -               |
+| 1.0779 | 8300  | 1.5524        | -               |
+| 1.0844 | 8350  | 1.5644        | -               |
+| 1.0909 | 8400  | 1.5964        | -               |
+| 1.0974 | 8450  | 1.5653        | -               |
+| 1.1039 | 8500  | 1.4443        | -               |
+| 1.1104 | 8550  | 1.5609        | -               |
+| 1.1169 | 8600  | 1.5097        | -               |
+| 1.1234 | 8650  | 1.5169        | -               |
+| 1.1299 | 8700  | 1.4992        | -               |
+| 1.1364 | 8750  | 1.5337        | -               |
+| 1.1429 | 8800  | 1.4971        | -               |
+| 1.1494 | 8850  | 1.5218        | -               |
+| 1.1558 | 8900  | 1.526         | -               |
+| 1.1623 | 8950  | 1.5531        | -               |
+| 1.1688 | 9000  | 1.5353        | -               |
+| 1.1753 | 9050  | 1.4596        | -               |
+| 1.1818 | 9100  | 1.434         | -               |
+| 1.1883 | 9150  | 1.4644        | -               |
+| 1.1948 | 9200  | 1.5245        | -               |
+| 1.2013 | 9250  | 1.3869        | -               |
+| 1.2078 | 9300  | 1.4361        | -               |
+| 1.2143 | 9350  | 1.4296        | -               |
+| 1.2208 | 9400  | 1.4338        | -               |
+| 1.2273 | 9450  | 1.383         | -               |
+| 1.2338 | 9500  | 1.4061        | -               |
+| 1.2403 | 9550  | 1.3497        | -               |
+| 1.2468 | 9600  | 1.4223        | -               |
+| 1.2532 | 9650  | 1.3842        | -               |
+| 1.2597 | 9700  | 1.3321        | -               |
+| 1.2662 | 9750  | 1.3396        | -               |
+| 1.2727 | 9800  | 1.3623        | -               |
+| 1.2792 | 9850  | 1.2811        | -               |
+| 1.2857 | 9900  | 1.2448        | -               |
+| 1.2922 | 9950  | 1.297         | -               |
+| 1.2987 | 10000 | 1.2812        | -               |
+| 1.3052 | 10050 | 1.2745        | -               |
+| 1.3117 | 10100 | 1.3114        | -               |
+| 1.3182 | 10150 | 1.3039        | -               |
+| 1.3247 | 10200 | 1.2243        | -               |
+| 1.3312 | 10250 | 1.2523        | -               |
+| 1.3377 | 10300 | 1.2213        | -               |
+| 1.3442 | 10350 | 1.3041        | -               |
+| 1.3506 | 10400 | 1.2164        | -               |
+| 1.3571 | 10450 | 1.2241        | -               |
+| 1.3636 | 10500 | 1.211         | -               |
+| 1.3701 | 10550 | 1.1839        | -               |
+| 1.3766 | 10600 | 1.1748        | -               |
+| 1.3831 | 10650 | 1.1886        | -               |
+| 1.3896 | 10700 | 1.1752        | -               |
+| 1.3961 | 10750 | 1.1968        | -               |
+| 1.4026 | 10800 | 1.1345        | -               |
+| 1.4091 | 10850 | 1.1882        | -               |
+| 1.4156 | 10900 | 1.2257        | -               |
+| 1.4221 | 10950 | 1.2079        | -               |
+| 1.4286 | 11000 | 1.1455        | -               |
+| 1.4351 | 11050 | 1.0684        | -               |
+| 1.4416 | 11100 | 1.0872        | -               |
+| 1.4481 | 11150 | 1.0888        | -               |
+| 1.4545 | 11200 | 1.0119        | -               |
+| 1.4610 | 11250 | 1.0735        | -               |
+| 1.4675 | 11300 | 1.0829        | -               |
+| 1.4740 | 11350 | 1.0539        | -               |
+| 1.4805 | 11400 | 1.0158        | -               |
+| 1.4870 | 11450 | 1.0087        | -               |
+| 1.4935 | 11500 | 1.0371        | -               |
+| 1.5    | 11550 | 1.0171        | 5.6201          |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.15
+- Sentence Transformers: 5.3.0
+- Transformers: 4.57.6
+- PyTorch: 2.11.0+cu130
+- Accelerate: 1.13.0
+- Datasets: 3.6.0
+- Tokenizers: 0.22.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{oord2019representationlearningcontrastivepredictive,
+      title={Representation Learning with Contrastive Predictive Coding},
+      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
+      year={2019},
+      eprint={1807.03748},
+      archivePrefix={arXiv},
+      primaryClass={cs.LG},
+      url={https://arxiv.org/abs/1807.03748},
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoints/checkpoint-11550/config.json

@@ -0,0 +1,45 @@
+{
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "classifier_activation": "silu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 0,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "dtype": "float32",
+  "embedding_dropout": 0.0,
+  "eos_token_id": 3,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 160000.0,
+  "max_position_embeddings": 4096,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 2,
+  "position_embedding_type": "absolute",
+  "repad_logits_with_grad": false,
+  "sep_token_id": 3,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "transformers_version": "4.57.6",
+  "vocab_size": 32064
+}

checkpoints/checkpoint-11550/config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "SentenceTransformer",
+  "__version__": {
+    "sentence_transformers": "5.3.0",
+    "transformers": "4.57.6",
+    "pytorch": "2.11.0+cu130"
+  },
+  "prompts": {
+    "query": "",
+    "document": ""
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoints/checkpoint-11550/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:07f4071e156eb059dc01c771a8862d86a687f7a9772055cad24de3a8a4b0c252
+size 539840248

checkpoints/checkpoint-11550/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoints/checkpoint-11550/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e1ea2177238b5ba5b9d0c5d054a18d1d7bb94391591fd09c87e80901476ffcd9
+size 1079769611

checkpoints/checkpoint-11550/rng_state_0.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:46b9939ffa2343c06ff656416e7cc6745952534a96555ba2da6c27ff1eaf0c22
+size 14917

checkpoints/checkpoint-11550/rng_state_1.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c53b0ef73e9089ff4051034182b6115b1a02747e8947ff8387f897ef307cec93
+size 14917

checkpoints/checkpoint-11550/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8afd594678486363a227141e2dada96e8d9bba954a38fe5ee0ccaf9f3a95c128
+size 1465

checkpoints/checkpoint-11550/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 512,
+    "do_lower_case": false
+}

checkpoints/checkpoint-11550/special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoints/checkpoint-11550/tokenizer_config.json

@@ -0,0 +1,569 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32000": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32001": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32002": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32003": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32004": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32005": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32006": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32007": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32008": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32009": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32010": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32011": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32012": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32013": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32014": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32015": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32016": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32017": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32018": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32019": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32020": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32021": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32022": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32023": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32024": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32025": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32026": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32027": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32028": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32029": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32030": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32031": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32032": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32033": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32034": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32035": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32036": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32037": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32038": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32039": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32040": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32041": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32042": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32043": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32044": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32045": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32046": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32047": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32048": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32049": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32050": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32051": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32052": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32053": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32054": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32055": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32056": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32057": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32058": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32059": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32060": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32061": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32062": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32063": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 512,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "[UNK]"
+}

checkpoints/checkpoint-11550/trainer_state.json

@@ -0,0 +1,1675 @@
+{
+  "best_global_step": 11550,
+  "best_metric": 5.6200983687622905,
+  "best_model_checkpoint": "outputs/bert-base-stage2-sbert/checkpoints/checkpoint-11550",
+  "epoch": 1.5,
+  "eval_steps": 3850,
+  "global_step": 11550,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.006493506493506494,
+      "grad_norm": 52.61107635498047,
+      "learning_rate": 3.18140501233606e-07,
+      "loss": 15.9471,
+      "step": 50
+    },
+    {
+      "epoch": 0.012987012987012988,
+      "grad_norm": 33.66294479370117,
+      "learning_rate": 6.427736657576938e-07,
+      "loss": 15.1591,
+      "step": 100
+    },
+    {
+      "epoch": 0.01948051948051948,
+      "grad_norm": 38.61445236206055,
+      "learning_rate": 9.674068302817817e-07,
+      "loss": 14.0548,
+      "step": 150
+    },
+    {
+      "epoch": 0.025974025974025976,
+      "grad_norm": 29.082921981811523,
+      "learning_rate": 1.2920399948058694e-06,
+      "loss": 12.6234,
+      "step": 200
+    },
+    {
+      "epoch": 0.032467532467532464,
+      "grad_norm": 31.957590103149414,
+      "learning_rate": 1.6166731593299573e-06,
+      "loss": 11.0546,
+      "step": 250
+    },
+    {
+      "epoch": 0.03896103896103896,
+      "grad_norm": 48.1808967590332,
+      "learning_rate": 1.941306323854045e-06,
+      "loss": 9.1498,
+      "step": 300
+    },
+    {
+      "epoch": 0.045454545454545456,
+      "grad_norm": 29.543249130249023,
+      "learning_rate": 2.265939488378133e-06,
+      "loss": 7.5429,
+      "step": 350
+    },
+    {
+      "epoch": 0.05194805194805195,
+      "grad_norm": 25.65778160095215,
+      "learning_rate": 2.5905726529022207e-06,
+      "loss": 6.4324,
+      "step": 400
+    },
+    {
+      "epoch": 0.05844155844155844,
+      "grad_norm": 26.71251106262207,
+      "learning_rate": 2.915205817426308e-06,
+      "loss": 5.9025,
+      "step": 450
+    },
+    {
+      "epoch": 0.06493506493506493,
+      "grad_norm": 24.228899002075195,
+      "learning_rate": 3.239838981950396e-06,
+      "loss": 5.4181,
+      "step": 500
+    },
+    {
+      "epoch": 0.07142857142857142,
+      "grad_norm": 22.82256507873535,
+      "learning_rate": 3.564472146474484e-06,
+      "loss": 5.0231,
+      "step": 550
+    },
+    {
+      "epoch": 0.07792207792207792,
+      "grad_norm": 22.72514533996582,
+      "learning_rate": 3.889105310998572e-06,
+      "loss": 4.7729,
+      "step": 600
+    },
+    {
+      "epoch": 0.08441558441558442,
+      "grad_norm": 29.81377410888672,
+      "learning_rate": 4.21373847552266e-06,
+      "loss": 4.6554,
+      "step": 650
+    },
+    {
+      "epoch": 0.09090909090909091,
+      "grad_norm": 29.481916427612305,
+      "learning_rate": 4.538371640046747e-06,
+      "loss": 4.4429,
+      "step": 700
+    },
+    {
+      "epoch": 0.09740259740259741,
+      "grad_norm": 25.465042114257812,
+      "learning_rate": 4.863004804570835e-06,
+      "loss": 4.2589,
+      "step": 750
+    },
+    {
+      "epoch": 0.1038961038961039,
+      "grad_norm": 21.07049560546875,
+      "learning_rate": 5.187637969094923e-06,
+      "loss": 3.9485,
+      "step": 800
+    },
+    {
+      "epoch": 0.11038961038961038,
+      "grad_norm": 22.1170597076416,
+      "learning_rate": 5.512271133619011e-06,
+      "loss": 3.8368,
+      "step": 850
+    },
+    {
+      "epoch": 0.11688311688311688,
+      "grad_norm": 20.51886749267578,
+      "learning_rate": 5.836904298143099e-06,
+      "loss": 3.8319,
+      "step": 900
+    },
+    {
+      "epoch": 0.12337662337662338,
+      "grad_norm": 15.242032051086426,
+      "learning_rate": 6.161537462667187e-06,
+      "loss": 3.6684,
+      "step": 950
+    },
+    {
+      "epoch": 0.12987012987012986,
+      "grad_norm": 21.660362243652344,
+      "learning_rate": 6.486170627191274e-06,
+      "loss": 3.5635,
+      "step": 1000
+    },
+    {
+      "epoch": 0.13636363636363635,
+      "grad_norm": 18.671344757080078,
+      "learning_rate": 6.810803791715362e-06,
+      "loss": 3.518,
+      "step": 1050
+    },
+    {
+      "epoch": 0.14285714285714285,
+      "grad_norm": 18.749467849731445,
+      "learning_rate": 7.1354369562394496e-06,
+      "loss": 3.4108,
+      "step": 1100
+    },
+    {
+      "epoch": 0.14935064935064934,
+      "grad_norm": 17.582345962524414,
+      "learning_rate": 7.4600701207635375e-06,
+      "loss": 3.4189,
+      "step": 1150
+    },
+    {
+      "epoch": 0.15584415584415584,
+      "grad_norm": 19.34381675720215,
+      "learning_rate": 7.784703285287625e-06,
+      "loss": 3.3312,
+      "step": 1200
+    },
+    {
+      "epoch": 0.16233766233766234,
+      "grad_norm": 15.694629669189453,
+      "learning_rate": 8.109336449811714e-06,
+      "loss": 3.3368,
+      "step": 1250
+    },
+    {
+      "epoch": 0.16883116883116883,
+      "grad_norm": 15.755691528320312,
+      "learning_rate": 8.433969614335801e-06,
+      "loss": 3.1654,
+      "step": 1300
+    },
+    {
+      "epoch": 0.17532467532467533,
+      "grad_norm": 16.623849868774414,
+      "learning_rate": 8.758602778859888e-06,
+      "loss": 3.1133,
+      "step": 1350
+    },
+    {
+      "epoch": 0.18181818181818182,
+      "grad_norm": 19.204574584960938,
+      "learning_rate": 9.083235943383975e-06,
+      "loss": 2.9981,
+      "step": 1400
+    },
+    {
+      "epoch": 0.18831168831168832,
+      "grad_norm": 18.820144653320312,
+      "learning_rate": 9.407869107908064e-06,
+      "loss": 2.9279,
+      "step": 1450
+    },
+    {
+      "epoch": 0.19480519480519481,
+      "grad_norm": 29.148109436035156,
+      "learning_rate": 9.732502272432151e-06,
+      "loss": 3.0855,
+      "step": 1500
+    },
+    {
+      "epoch": 0.2012987012987013,
+      "grad_norm": 16.728069305419922,
+      "learning_rate": 1.005713543695624e-05,
+      "loss": 2.8648,
+      "step": 1550
+    },
+    {
+      "epoch": 0.2077922077922078,
+      "grad_norm": 20.17420768737793,
+      "learning_rate": 1.0381768601480329e-05,
+      "loss": 2.933,
+      "step": 1600
+    },
+    {
+      "epoch": 0.21428571428571427,
+      "grad_norm": 20.421876907348633,
+      "learning_rate": 1.0706401766004416e-05,
+      "loss": 2.9586,
+      "step": 1650
+    },
+    {
+      "epoch": 0.22077922077922077,
+      "grad_norm": 18.838062286376953,
+      "learning_rate": 1.1031034930528503e-05,
+      "loss": 2.8735,
+      "step": 1700
+    },
+    {
+      "epoch": 0.22727272727272727,
+      "grad_norm": 15.983686447143555,
+      "learning_rate": 1.135566809505259e-05,
+      "loss": 2.8262,
+      "step": 1750
+    },
+    {
+      "epoch": 0.23376623376623376,
+      "grad_norm": 16.44582748413086,
+      "learning_rate": 1.1680301259576679e-05,
+      "loss": 2.8138,
+      "step": 1800
+    },
+    {
+      "epoch": 0.24025974025974026,
+      "grad_norm": 14.9281587600708,
+      "learning_rate": 1.2004934424100766e-05,
+      "loss": 2.7759,
+      "step": 1850
+    },
+    {
+      "epoch": 0.24675324675324675,
+      "grad_norm": 16.259794235229492,
+      "learning_rate": 1.2329567588624855e-05,
+      "loss": 2.7806,
+      "step": 1900
+    },
+    {
+      "epoch": 0.2532467532467532,
+      "grad_norm": 14.834933280944824,
+      "learning_rate": 1.2654200753148942e-05,
+      "loss": 2.6917,
+      "step": 1950
+    },
+    {
+      "epoch": 0.2597402597402597,
+      "grad_norm": 11.276729583740234,
+      "learning_rate": 1.297883391767303e-05,
+      "loss": 2.781,
+      "step": 2000
+    },
+    {
+      "epoch": 0.2662337662337662,
+      "grad_norm": 16.30820083618164,
+      "learning_rate": 1.330346708219712e-05,
+      "loss": 2.6924,
+      "step": 2050
+    },
+    {
+      "epoch": 0.2727272727272727,
+      "grad_norm": 16.436046600341797,
+      "learning_rate": 1.3628100246721206e-05,
+      "loss": 2.6548,
+      "step": 2100
+    },
+    {
+      "epoch": 0.2792207792207792,
+      "grad_norm": 16.203256607055664,
+      "learning_rate": 1.3952733411245295e-05,
+      "loss": 2.5892,
+      "step": 2150
+    },
+    {
+      "epoch": 0.2857142857142857,
+      "grad_norm": 34.66154479980469,
+      "learning_rate": 1.4277366575769382e-05,
+      "loss": 2.4805,
+      "step": 2200
+    },
+    {
+      "epoch": 0.2922077922077922,
+      "grad_norm": 59.331016540527344,
+      "learning_rate": 1.4601999740293468e-05,
+      "loss": 2.5601,
+      "step": 2250
+    },
+    {
+      "epoch": 0.2987012987012987,
+      "grad_norm": 14.719599723815918,
+      "learning_rate": 1.4926632904817556e-05,
+      "loss": 2.4803,
+      "step": 2300
+    },
+    {
+      "epoch": 0.3051948051948052,
+      "grad_norm": 17.608966827392578,
+      "learning_rate": 1.5251266069341644e-05,
+      "loss": 2.4615,
+      "step": 2350
+    },
+    {
+      "epoch": 0.3116883116883117,
+      "grad_norm": 20.017019271850586,
+      "learning_rate": 1.557589923386573e-05,
+      "loss": 2.497,
+      "step": 2400
+    },
+    {
+      "epoch": 0.3181818181818182,
+      "grad_norm": 24.029024124145508,
+      "learning_rate": 1.590053239838982e-05,
+      "loss": 2.5528,
+      "step": 2450
+    },
+    {
+      "epoch": 0.3246753246753247,
+      "grad_norm": 15.325136184692383,
+      "learning_rate": 1.6225165562913908e-05,
+      "loss": 2.3179,
+      "step": 2500
+    },
+    {
+      "epoch": 0.33116883116883117,
+      "grad_norm": 17.913986206054688,
+      "learning_rate": 1.6549798727437997e-05,
+      "loss": 2.4226,
+      "step": 2550
+    },
+    {
+      "epoch": 0.33766233766233766,
+      "grad_norm": 12.388660430908203,
+      "learning_rate": 1.6874431891962082e-05,
+      "loss": 2.3794,
+      "step": 2600
+    },
+    {
+      "epoch": 0.34415584415584416,
+      "grad_norm": 17.384532928466797,
+      "learning_rate": 1.719906505648617e-05,
+      "loss": 2.4812,
+      "step": 2650
+    },
+    {
+      "epoch": 0.35064935064935066,
+      "grad_norm": 12.747121810913086,
+      "learning_rate": 1.752369822101026e-05,
+      "loss": 2.3969,
+      "step": 2700
+    },
+    {
+      "epoch": 0.35714285714285715,
+      "grad_norm": 16.645206451416016,
+      "learning_rate": 1.784833138553435e-05,
+      "loss": 2.3512,
+      "step": 2750
+    },
+    {
+      "epoch": 0.36363636363636365,
+      "grad_norm": 20.9782772064209,
+      "learning_rate": 1.8172964550058434e-05,
+      "loss": 2.3615,
+      "step": 2800
+    },
+    {
+      "epoch": 0.37012987012987014,
+      "grad_norm": 14.216375350952148,
+      "learning_rate": 1.8497597714582523e-05,
+      "loss": 2.3175,
+      "step": 2850
+    },
+    {
+      "epoch": 0.37662337662337664,
+      "grad_norm": 10.926807403564453,
+      "learning_rate": 1.882223087910661e-05,
+      "loss": 2.3293,
+      "step": 2900
+    },
+    {
+      "epoch": 0.38311688311688313,
+      "grad_norm": 12.280684471130371,
+      "learning_rate": 1.91468640436307e-05,
+      "loss": 2.353,
+      "step": 2950
+    },
+    {
+      "epoch": 0.38961038961038963,
+      "grad_norm": 11.477788925170898,
+      "learning_rate": 1.9471497208154786e-05,
+      "loss": 2.2407,
+      "step": 3000
+    },
+    {
+      "epoch": 0.3961038961038961,
+      "grad_norm": 16.57078742980957,
+      "learning_rate": 1.979613037267887e-05,
+      "loss": 2.3554,
+      "step": 3050
+    },
+    {
+      "epoch": 0.4025974025974026,
+      "grad_norm": 15.02242374420166,
+      "learning_rate": 2.012076353720296e-05,
+      "loss": 2.2079,
+      "step": 3100
+    },
+    {
+      "epoch": 0.4090909090909091,
+      "grad_norm": 16.45734977722168,
+      "learning_rate": 2.044539670172705e-05,
+      "loss": 2.3148,
+      "step": 3150
+    },
+    {
+      "epoch": 0.4155844155844156,
+      "grad_norm": 15.056404113769531,
+      "learning_rate": 2.0770029866251138e-05,
+      "loss": 2.3595,
+      "step": 3200
+    },
+    {
+      "epoch": 0.42207792207792205,
+      "grad_norm": 15.48352336883545,
+      "learning_rate": 2.1094663030775226e-05,
+      "loss": 2.3108,
+      "step": 3250
+    },
+    {
+      "epoch": 0.42857142857142855,
+      "grad_norm": 19.282623291015625,
+      "learning_rate": 2.1419296195299312e-05,
+      "loss": 2.3236,
+      "step": 3300
+    },
+    {
+      "epoch": 0.43506493506493504,
+      "grad_norm": 12.568426132202148,
+      "learning_rate": 2.17439293598234e-05,
+      "loss": 2.1848,
+      "step": 3350
+    },
+    {
+      "epoch": 0.44155844155844154,
+      "grad_norm": 13.575774192810059,
+      "learning_rate": 2.206856252434749e-05,
+      "loss": 2.2364,
+      "step": 3400
+    },
+    {
+      "epoch": 0.44805194805194803,
+      "grad_norm": 13.187265396118164,
+      "learning_rate": 2.2393195688871578e-05,
+      "loss": 2.2219,
+      "step": 3450
+    },
+    {
+      "epoch": 0.45454545454545453,
+      "grad_norm": 11.324552536010742,
+      "learning_rate": 2.2717828853395663e-05,
+      "loss": 2.1346,
+      "step": 3500
+    },
+    {
+      "epoch": 0.461038961038961,
+      "grad_norm": 11.320844650268555,
+      "learning_rate": 2.3042462017919752e-05,
+      "loss": 2.2422,
+      "step": 3550
+    },
+    {
+      "epoch": 0.4675324675324675,
+      "grad_norm": 13.834160804748535,
+      "learning_rate": 2.336709518244384e-05,
+      "loss": 2.2226,
+      "step": 3600
+    },
+    {
+      "epoch": 0.474025974025974,
+      "grad_norm": 9.438053131103516,
+      "learning_rate": 2.369172834696793e-05,
+      "loss": 2.1422,
+      "step": 3650
+    },
+    {
+      "epoch": 0.4805194805194805,
+      "grad_norm": 11.202554702758789,
+      "learning_rate": 2.4016361511492015e-05,
+      "loss": 2.0838,
+      "step": 3700
+    },
+    {
+      "epoch": 0.487012987012987,
+      "grad_norm": 12.432455062866211,
+      "learning_rate": 2.43409946760161e-05,
+      "loss": 2.1076,
+      "step": 3750
+    },
+    {
+      "epoch": 0.4935064935064935,
+      "grad_norm": 10.37647819519043,
+      "learning_rate": 2.466562784054019e-05,
+      "loss": 2.1266,
+      "step": 3800
+    },
+    {
+      "epoch": 0.5,
+      "grad_norm": 11.41846752166748,
+      "learning_rate": 2.4990261005064278e-05,
+      "loss": 2.1255,
+      "step": 3850
+    },
+    {
+      "epoch": 0.5,
+      "eval_runtime": 183.2913,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 5.789649796218682,
+      "step": 3850
+    },
+    {
+      "epoch": 0.5064935064935064,
+      "grad_norm": 11.20055866241455,
+      "learning_rate": 2.5314894169588367e-05,
+      "loss": 2.1261,
+      "step": 3900
+    },
+    {
+      "epoch": 0.512987012987013,
+      "grad_norm": 9.65162467956543,
+      "learning_rate": 2.5639527334112456e-05,
+      "loss": 2.1352,
+      "step": 3950
+    },
+    {
+      "epoch": 0.5194805194805194,
+      "grad_norm": 13.608521461486816,
+      "learning_rate": 2.596416049863654e-05,
+      "loss": 2.0632,
+      "step": 4000
+    },
+    {
+      "epoch": 0.525974025974026,
+      "grad_norm": 12.579031944274902,
+      "learning_rate": 2.6288793663160633e-05,
+      "loss": 2.1564,
+      "step": 4050
+    },
+    {
+      "epoch": 0.5324675324675324,
+      "grad_norm": 7.6413798332214355,
+      "learning_rate": 2.661342682768472e-05,
+      "loss": 2.0435,
+      "step": 4100
+    },
+    {
+      "epoch": 0.538961038961039,
+      "grad_norm": 12.862696647644043,
+      "learning_rate": 2.6938059992208804e-05,
+      "loss": 2.0099,
+      "step": 4150
+    },
+    {
+      "epoch": 0.5454545454545454,
+      "grad_norm": 13.818205833435059,
+      "learning_rate": 2.7262693156732893e-05,
+      "loss": 2.0602,
+      "step": 4200
+    },
+    {
+      "epoch": 0.551948051948052,
+      "grad_norm": 9.98502254486084,
+      "learning_rate": 2.7587326321256978e-05,
+      "loss": 2.0414,
+      "step": 4250
+    },
+    {
+      "epoch": 0.5584415584415584,
+      "grad_norm": 19.94890785217285,
+      "learning_rate": 2.791195948578107e-05,
+      "loss": 2.0636,
+      "step": 4300
+    },
+    {
+      "epoch": 0.564935064935065,
+      "grad_norm": 13.229655265808105,
+      "learning_rate": 2.8236592650305156e-05,
+      "loss": 2.0575,
+      "step": 4350
+    },
+    {
+      "epoch": 0.5714285714285714,
+      "grad_norm": 10.28844928741455,
+      "learning_rate": 2.8561225814829244e-05,
+      "loss": 2.0827,
+      "step": 4400
+    },
+    {
+      "epoch": 0.577922077922078,
+      "grad_norm": 22.461875915527344,
+      "learning_rate": 2.888585897935333e-05,
+      "loss": 1.9545,
+      "step": 4450
+    },
+    {
+      "epoch": 0.5844155844155844,
+      "grad_norm": 12.420343399047852,
+      "learning_rate": 2.9210492143877422e-05,
+      "loss": 2.0735,
+      "step": 4500
+    },
+    {
+      "epoch": 0.5909090909090909,
+      "grad_norm": 9.457930564880371,
+      "learning_rate": 2.9535125308401507e-05,
+      "loss": 1.9039,
+      "step": 4550
+    },
+    {
+      "epoch": 0.5974025974025974,
+      "grad_norm": 9.656899452209473,
+      "learning_rate": 2.9859758472925596e-05,
+      "loss": 1.9605,
+      "step": 4600
+    },
+    {
+      "epoch": 0.6038961038961039,
+      "grad_norm": 12.893436431884766,
+      "learning_rate": 3.018439163744968e-05,
+      "loss": 2.0449,
+      "step": 4650
+    },
+    {
+      "epoch": 0.6103896103896104,
+      "grad_norm": 14.826976776123047,
+      "learning_rate": 3.0509024801973774e-05,
+      "loss": 1.9651,
+      "step": 4700
+    },
+    {
+      "epoch": 0.6168831168831169,
+      "grad_norm": 11.291337013244629,
+      "learning_rate": 3.0833657966497856e-05,
+      "loss": 1.9632,
+      "step": 4750
+    },
+    {
+      "epoch": 0.6233766233766234,
+      "grad_norm": 10.019285202026367,
+      "learning_rate": 3.115829113102195e-05,
+      "loss": 2.0401,
+      "step": 4800
+    },
+    {
+      "epoch": 0.6298701298701299,
+      "grad_norm": 12.127004623413086,
+      "learning_rate": 3.148292429554603e-05,
+      "loss": 2.0056,
+      "step": 4850
+    },
+    {
+      "epoch": 0.6363636363636364,
+      "grad_norm": 11.649646759033203,
+      "learning_rate": 3.180755746007012e-05,
+      "loss": 1.9399,
+      "step": 4900
+    },
+    {
+      "epoch": 0.6428571428571429,
+      "grad_norm": 20.142322540283203,
+      "learning_rate": 3.213219062459421e-05,
+      "loss": 1.8899,
+      "step": 4950
+    },
+    {
+      "epoch": 0.6493506493506493,
+      "grad_norm": 11.562334060668945,
+      "learning_rate": 3.2456823789118296e-05,
+      "loss": 2.0154,
+      "step": 5000
+    },
+    {
+      "epoch": 0.6558441558441559,
+      "grad_norm": 10.831686973571777,
+      "learning_rate": 3.278145695364239e-05,
+      "loss": 1.9857,
+      "step": 5050
+    },
+    {
+      "epoch": 0.6623376623376623,
+      "grad_norm": 11.502790451049805,
+      "learning_rate": 3.3106090118166474e-05,
+      "loss": 1.9239,
+      "step": 5100
+    },
+    {
+      "epoch": 0.6688311688311688,
+      "grad_norm": 10.263900756835938,
+      "learning_rate": 3.343072328269056e-05,
+      "loss": 1.9741,
+      "step": 5150
+    },
+    {
+      "epoch": 0.6753246753246753,
+      "grad_norm": 10.325187683105469,
+      "learning_rate": 3.3755356447214645e-05,
+      "loss": 1.9258,
+      "step": 5200
+    },
+    {
+      "epoch": 0.6818181818181818,
+      "grad_norm": 12.289694786071777,
+      "learning_rate": 3.407998961173874e-05,
+      "loss": 1.9545,
+      "step": 5250
+    },
+    {
+      "epoch": 0.6883116883116883,
+      "grad_norm": 10.321048736572266,
+      "learning_rate": 3.440462277626282e-05,
+      "loss": 1.9496,
+      "step": 5300
+    },
+    {
+      "epoch": 0.6948051948051948,
+      "grad_norm": 11.514996528625488,
+      "learning_rate": 3.4729255940786914e-05,
+      "loss": 1.9479,
+      "step": 5350
+    },
+    {
+      "epoch": 0.7012987012987013,
+      "grad_norm": 11.209217071533203,
+      "learning_rate": 3.5053889105311e-05,
+      "loss": 1.9068,
+      "step": 5400
+    },
+    {
+      "epoch": 0.7077922077922078,
+      "grad_norm": 11.679224014282227,
+      "learning_rate": 3.537852226983509e-05,
+      "loss": 1.847,
+      "step": 5450
+    },
+    {
+      "epoch": 0.7142857142857143,
+      "grad_norm": 14.561708450317383,
+      "learning_rate": 3.570315543435918e-05,
+      "loss": 1.8001,
+      "step": 5500
+    },
+    {
+      "epoch": 0.7207792207792207,
+      "grad_norm": 9.206267356872559,
+      "learning_rate": 3.602778859888327e-05,
+      "loss": 1.9119,
+      "step": 5550
+    },
+    {
+      "epoch": 0.7272727272727273,
+      "grad_norm": 10.509795188903809,
+      "learning_rate": 3.6352421763407355e-05,
+      "loss": 1.8347,
+      "step": 5600
+    },
+    {
+      "epoch": 0.7337662337662337,
+      "grad_norm": 10.149404525756836,
+      "learning_rate": 3.667705492793144e-05,
+      "loss": 1.944,
+      "step": 5650
+    },
+    {
+      "epoch": 0.7402597402597403,
+      "grad_norm": 10.415277481079102,
+      "learning_rate": 3.7001688092455526e-05,
+      "loss": 1.8523,
+      "step": 5700
+    },
+    {
+      "epoch": 0.7467532467532467,
+      "grad_norm": 11.224620819091797,
+      "learning_rate": 3.732632125697961e-05,
+      "loss": 1.7925,
+      "step": 5750
+    },
+    {
+      "epoch": 0.7532467532467533,
+      "grad_norm": 10.016857147216797,
+      "learning_rate": 3.76509544215037e-05,
+      "loss": 1.8803,
+      "step": 5800
+    },
+    {
+      "epoch": 0.7597402597402597,
+      "grad_norm": 10.387723922729492,
+      "learning_rate": 3.797558758602779e-05,
+      "loss": 1.8662,
+      "step": 5850
+    },
+    {
+      "epoch": 0.7662337662337663,
+      "grad_norm": 9.941938400268555,
+      "learning_rate": 3.830022075055188e-05,
+      "loss": 1.8841,
+      "step": 5900
+    },
+    {
+      "epoch": 0.7727272727272727,
+      "grad_norm": 9.691414833068848,
+      "learning_rate": 3.8624853915075966e-05,
+      "loss": 1.7907,
+      "step": 5950
+    },
+    {
+      "epoch": 0.7792207792207793,
+      "grad_norm": 7.804042816162109,
+      "learning_rate": 3.894948707960006e-05,
+      "loss": 1.7876,
+      "step": 6000
+    },
+    {
+      "epoch": 0.7857142857142857,
+      "grad_norm": 9.927968978881836,
+      "learning_rate": 3.9274120244124144e-05,
+      "loss": 1.8248,
+      "step": 6050
+    },
+    {
+      "epoch": 0.7922077922077922,
+      "grad_norm": 10.503766059875488,
+      "learning_rate": 3.959875340864823e-05,
+      "loss": 1.7473,
+      "step": 6100
+    },
+    {
+      "epoch": 0.7987012987012987,
+      "grad_norm": 8.839858055114746,
+      "learning_rate": 3.9923386573172314e-05,
+      "loss": 1.8196,
+      "step": 6150
+    },
+    {
+      "epoch": 0.8051948051948052,
+      "grad_norm": 9.771683692932129,
+      "learning_rate": 4.0248019737696407e-05,
+      "loss": 1.7241,
+      "step": 6200
+    },
+    {
+      "epoch": 0.8116883116883117,
+      "grad_norm": 9.278040885925293,
+      "learning_rate": 4.057265290222049e-05,
+      "loss": 1.8118,
+      "step": 6250
+    },
+    {
+      "epoch": 0.8181818181818182,
+      "grad_norm": 10.858592987060547,
+      "learning_rate": 4.089728606674458e-05,
+      "loss": 1.8037,
+      "step": 6300
+    },
+    {
+      "epoch": 0.8246753246753247,
+      "grad_norm": 10.266278266906738,
+      "learning_rate": 4.122191923126867e-05,
+      "loss": 1.7531,
+      "step": 6350
+    },
+    {
+      "epoch": 0.8311688311688312,
+      "grad_norm": 13.651795387268066,
+      "learning_rate": 4.1546552395792755e-05,
+      "loss": 1.8088,
+      "step": 6400
+    },
+    {
+      "epoch": 0.8376623376623377,
+      "grad_norm": 8.097331047058105,
+      "learning_rate": 4.187118556031685e-05,
+      "loss": 1.7525,
+      "step": 6450
+    },
+    {
+      "epoch": 0.8441558441558441,
+      "grad_norm": 9.611719131469727,
+      "learning_rate": 4.219581872484093e-05,
+      "loss": 1.7287,
+      "step": 6500
+    },
+    {
+      "epoch": 0.8506493506493507,
+      "grad_norm": 10.035614013671875,
+      "learning_rate": 4.252045188936502e-05,
+      "loss": 1.756,
+      "step": 6550
+    },
+    {
+      "epoch": 0.8571428571428571,
+      "grad_norm": 9.979487419128418,
+      "learning_rate": 4.28450850538891e-05,
+      "loss": 1.7888,
+      "step": 6600
+    },
+    {
+      "epoch": 0.8636363636363636,
+      "grad_norm": 11.118249893188477,
+      "learning_rate": 4.3169718218413195e-05,
+      "loss": 1.709,
+      "step": 6650
+    },
+    {
+      "epoch": 0.8701298701298701,
+      "grad_norm": 16.395870208740234,
+      "learning_rate": 4.349435138293728e-05,
+      "loss": 1.722,
+      "step": 6700
+    },
+    {
+      "epoch": 0.8766233766233766,
+      "grad_norm": 9.067273139953613,
+      "learning_rate": 4.381898454746137e-05,
+      "loss": 1.6935,
+      "step": 6750
+    },
+    {
+      "epoch": 0.8831168831168831,
+      "grad_norm": 9.74413013458252,
+      "learning_rate": 4.414361771198546e-05,
+      "loss": 1.7679,
+      "step": 6800
+    },
+    {
+      "epoch": 0.8896103896103896,
+      "grad_norm": 10.37792682647705,
+      "learning_rate": 4.446825087650955e-05,
+      "loss": 1.7438,
+      "step": 6850
+    },
+    {
+      "epoch": 0.8961038961038961,
+      "grad_norm": 10.507184028625488,
+      "learning_rate": 4.4792884041033636e-05,
+      "loss": 1.6815,
+      "step": 6900
+    },
+    {
+      "epoch": 0.9025974025974026,
+      "grad_norm": 9.988856315612793,
+      "learning_rate": 4.511751720555772e-05,
+      "loss": 1.7269,
+      "step": 6950
+    },
+    {
+      "epoch": 0.9090909090909091,
+      "grad_norm": 8.919309616088867,
+      "learning_rate": 4.544215037008181e-05,
+      "loss": 1.7285,
+      "step": 7000
+    },
+    {
+      "epoch": 0.9155844155844156,
+      "grad_norm": 9.638202667236328,
+      "learning_rate": 4.576678353460589e-05,
+      "loss": 1.711,
+      "step": 7050
+    },
+    {
+      "epoch": 0.922077922077922,
+      "grad_norm": 11.221553802490234,
+      "learning_rate": 4.6091416699129984e-05,
+      "loss": 1.6137,
+      "step": 7100
+    },
+    {
+      "epoch": 0.9285714285714286,
+      "grad_norm": 9.269332885742188,
+      "learning_rate": 4.641604986365407e-05,
+      "loss": 1.6785,
+      "step": 7150
+    },
+    {
+      "epoch": 0.935064935064935,
+      "grad_norm": 9.344364166259766,
+      "learning_rate": 4.674068302817816e-05,
+      "loss": 1.7142,
+      "step": 7200
+    },
+    {
+      "epoch": 0.9415584415584416,
+      "grad_norm": 9.738685607910156,
+      "learning_rate": 4.706531619270225e-05,
+      "loss": 1.7585,
+      "step": 7250
+    },
+    {
+      "epoch": 0.948051948051948,
+      "grad_norm": 8.694171905517578,
+      "learning_rate": 4.738994935722634e-05,
+      "loss": 1.7268,
+      "step": 7300
+    },
+    {
+      "epoch": 0.9545454545454546,
+      "grad_norm": 12.72326374053955,
+      "learning_rate": 4.7714582521750425e-05,
+      "loss": 1.6739,
+      "step": 7350
+    },
+    {
+      "epoch": 0.961038961038961,
+      "grad_norm": 8.399530410766602,
+      "learning_rate": 4.803921568627452e-05,
+      "loss": 1.6462,
+      "step": 7400
+    },
+    {
+      "epoch": 0.9675324675324676,
+      "grad_norm": 11.030467987060547,
+      "learning_rate": 4.8363848850798596e-05,
+      "loss": 1.7591,
+      "step": 7450
+    },
+    {
+      "epoch": 0.974025974025974,
+      "grad_norm": 8.93454647064209,
+      "learning_rate": 4.868848201532269e-05,
+      "loss": 1.6058,
+      "step": 7500
+    },
+    {
+      "epoch": 0.9805194805194806,
+      "grad_norm": 9.081995964050293,
+      "learning_rate": 4.901311517984677e-05,
+      "loss": 1.6984,
+      "step": 7550
+    },
+    {
+      "epoch": 0.987012987012987,
+      "grad_norm": 9.361384391784668,
+      "learning_rate": 4.9337748344370865e-05,
+      "loss": 1.6609,
+      "step": 7600
+    },
+    {
+      "epoch": 0.9935064935064936,
+      "grad_norm": 9.641518592834473,
+      "learning_rate": 4.966238150889495e-05,
+      "loss": 1.6488,
+      "step": 7650
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 9.288655281066895,
+      "learning_rate": 4.998701467341904e-05,
+      "loss": 1.7626,
+      "step": 7700
+    },
+    {
+      "epoch": 1.0,
+      "eval_runtime": 181.9129,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 5.630685541727772,
+      "step": 7700
+    },
+    {
+      "epoch": 1.0064935064935066,
+      "grad_norm": 11.218660354614258,
+      "learning_rate": 4.9922075392058184e-05,
+      "loss": 1.6603,
+      "step": 7750
+    },
+    {
+      "epoch": 1.0129870129870129,
+      "grad_norm": 9.883772850036621,
+      "learning_rate": 4.9840903925452126e-05,
+      "loss": 1.6979,
+      "step": 7800
+    },
+    {
+      "epoch": 1.0194805194805194,
+      "grad_norm": 10.548580169677734,
+      "learning_rate": 4.975973245884607e-05,
+      "loss": 1.6138,
+      "step": 7850
+    },
+    {
+      "epoch": 1.025974025974026,
+      "grad_norm": 9.996445655822754,
+      "learning_rate": 4.967856099224001e-05,
+      "loss": 1.7008,
+      "step": 7900
+    },
+    {
+      "epoch": 1.0324675324675325,
+      "grad_norm": 9.410829544067383,
+      "learning_rate": 4.959738952563395e-05,
+      "loss": 1.6281,
+      "step": 7950
+    },
+    {
+      "epoch": 1.0389610389610389,
+      "grad_norm": 8.215593338012695,
+      "learning_rate": 4.951621805902789e-05,
+      "loss": 1.6029,
+      "step": 8000
+    },
+    {
+      "epoch": 1.0454545454545454,
+      "grad_norm": 8.68897819519043,
+      "learning_rate": 4.943504659242183e-05,
+      "loss": 1.6984,
+      "step": 8050
+    },
+    {
+      "epoch": 1.051948051948052,
+      "grad_norm": 10.024593353271484,
+      "learning_rate": 4.9353875125815774e-05,
+      "loss": 1.5865,
+      "step": 8100
+    },
+    {
+      "epoch": 1.0584415584415585,
+      "grad_norm": 7.77084493637085,
+      "learning_rate": 4.9272703659209715e-05,
+      "loss": 1.6686,
+      "step": 8150
+    },
+    {
+      "epoch": 1.0649350649350648,
+      "grad_norm": 9.608016967773438,
+      "learning_rate": 4.9191532192603656e-05,
+      "loss": 1.5427,
+      "step": 8200
+    },
+    {
+      "epoch": 1.0714285714285714,
+      "grad_norm": 8.278243064880371,
+      "learning_rate": 4.91103607259976e-05,
+      "loss": 1.5441,
+      "step": 8250
+    },
+    {
+      "epoch": 1.077922077922078,
+      "grad_norm": 7.700085639953613,
+      "learning_rate": 4.902918925939154e-05,
+      "loss": 1.5524,
+      "step": 8300
+    },
+    {
+      "epoch": 1.0844155844155845,
+      "grad_norm": 8.38094425201416,
+      "learning_rate": 4.894801779278548e-05,
+      "loss": 1.5644,
+      "step": 8350
+    },
+    {
+      "epoch": 1.0909090909090908,
+      "grad_norm": 8.41283130645752,
+      "learning_rate": 4.886684632617942e-05,
+      "loss": 1.5964,
+      "step": 8400
+    },
+    {
+      "epoch": 1.0974025974025974,
+      "grad_norm": 9.08784008026123,
+      "learning_rate": 4.878567485957336e-05,
+      "loss": 1.5653,
+      "step": 8450
+    },
+    {
+      "epoch": 1.103896103896104,
+      "grad_norm": 8.475194931030273,
+      "learning_rate": 4.8704503392967305e-05,
+      "loss": 1.4443,
+      "step": 8500
+    },
+    {
+      "epoch": 1.1103896103896105,
+      "grad_norm": 8.450396537780762,
+      "learning_rate": 4.8623331926361246e-05,
+      "loss": 1.5609,
+      "step": 8550
+    },
+    {
+      "epoch": 1.1168831168831168,
+      "grad_norm": 8.839466094970703,
+      "learning_rate": 4.854216045975519e-05,
+      "loss": 1.5097,
+      "step": 8600
+    },
+    {
+      "epoch": 1.1233766233766234,
+      "grad_norm": 7.753498554229736,
+      "learning_rate": 4.846098899314913e-05,
+      "loss": 1.5169,
+      "step": 8650
+    },
+    {
+      "epoch": 1.12987012987013,
+      "grad_norm": 8.667826652526855,
+      "learning_rate": 4.837981752654307e-05,
+      "loss": 1.4992,
+      "step": 8700
+    },
+    {
+      "epoch": 1.1363636363636362,
+      "grad_norm": 8.778205871582031,
+      "learning_rate": 4.829864605993701e-05,
+      "loss": 1.5337,
+      "step": 8750
+    },
+    {
+      "epoch": 1.1428571428571428,
+      "grad_norm": 10.098799705505371,
+      "learning_rate": 4.821747459333095e-05,
+      "loss": 1.4971,
+      "step": 8800
+    },
+    {
+      "epoch": 1.1493506493506493,
+      "grad_norm": 9.63693618774414,
+      "learning_rate": 4.8136303126724894e-05,
+      "loss": 1.5218,
+      "step": 8850
+    },
+    {
+      "epoch": 1.155844155844156,
+      "grad_norm": 9.274500846862793,
+      "learning_rate": 4.8055131660118835e-05,
+      "loss": 1.526,
+      "step": 8900
+    },
+    {
+      "epoch": 1.1623376623376624,
+      "grad_norm": 10.055129051208496,
+      "learning_rate": 4.797396019351278e-05,
+      "loss": 1.5531,
+      "step": 8950
+    },
+    {
+      "epoch": 1.1688311688311688,
+      "grad_norm": 6.797532081604004,
+      "learning_rate": 4.789278872690672e-05,
+      "loss": 1.5353,
+      "step": 9000
+    },
+    {
+      "epoch": 1.1753246753246753,
+      "grad_norm": 8.536033630371094,
+      "learning_rate": 4.781161726030066e-05,
+      "loss": 1.4596,
+      "step": 9050
+    },
+    {
+      "epoch": 1.1818181818181819,
+      "grad_norm": 9.294974327087402,
+      "learning_rate": 4.77304457936946e-05,
+      "loss": 1.434,
+      "step": 9100
+    },
+    {
+      "epoch": 1.1883116883116882,
+      "grad_norm": 9.374375343322754,
+      "learning_rate": 4.764927432708854e-05,
+      "loss": 1.4644,
+      "step": 9150
+    },
+    {
+      "epoch": 1.1948051948051948,
+      "grad_norm": 7.527572154998779,
+      "learning_rate": 4.7568102860482484e-05,
+      "loss": 1.5245,
+      "step": 9200
+    },
+    {
+      "epoch": 1.2012987012987013,
+      "grad_norm": 9.537101745605469,
+      "learning_rate": 4.7486931393876425e-05,
+      "loss": 1.3869,
+      "step": 9250
+    },
+    {
+      "epoch": 1.2077922077922079,
+      "grad_norm": 8.587594985961914,
+      "learning_rate": 4.7405759927270366e-05,
+      "loss": 1.4361,
+      "step": 9300
+    },
+    {
+      "epoch": 1.2142857142857142,
+      "grad_norm": 8.717963218688965,
+      "learning_rate": 4.732458846066431e-05,
+      "loss": 1.4296,
+      "step": 9350
+    },
+    {
+      "epoch": 1.2207792207792207,
+      "grad_norm": 9.769675254821777,
+      "learning_rate": 4.724341699405825e-05,
+      "loss": 1.4338,
+      "step": 9400
+    },
+    {
+      "epoch": 1.2272727272727273,
+      "grad_norm": 7.474400997161865,
+      "learning_rate": 4.716224552745219e-05,
+      "loss": 1.383,
+      "step": 9450
+    },
+    {
+      "epoch": 1.2337662337662338,
+      "grad_norm": 8.226397514343262,
+      "learning_rate": 4.708107406084613e-05,
+      "loss": 1.4061,
+      "step": 9500
+    },
+    {
+      "epoch": 1.2402597402597402,
+      "grad_norm": 8.012401580810547,
+      "learning_rate": 4.699990259424007e-05,
+      "loss": 1.3497,
+      "step": 9550
+    },
+    {
+      "epoch": 1.2467532467532467,
+      "grad_norm": 8.172561645507812,
+      "learning_rate": 4.6918731127634015e-05,
+      "loss": 1.4223,
+      "step": 9600
+    },
+    {
+      "epoch": 1.2532467532467533,
+      "grad_norm": 9.439875602722168,
+      "learning_rate": 4.6837559661027956e-05,
+      "loss": 1.3842,
+      "step": 9650
+    },
+    {
+      "epoch": 1.2597402597402598,
+      "grad_norm": 7.020490646362305,
+      "learning_rate": 4.6756388194421904e-05,
+      "loss": 1.3321,
+      "step": 9700
+    },
+    {
+      "epoch": 1.2662337662337662,
+      "grad_norm": 7.947005271911621,
+      "learning_rate": 4.667521672781584e-05,
+      "loss": 1.3396,
+      "step": 9750
+    },
+    {
+      "epoch": 1.2727272727272727,
+      "grad_norm": 9.912154197692871,
+      "learning_rate": 4.659404526120979e-05,
+      "loss": 1.3623,
+      "step": 9800
+    },
+    {
+      "epoch": 1.2792207792207793,
+      "grad_norm": 9.735318183898926,
+      "learning_rate": 4.651287379460372e-05,
+      "loss": 1.2811,
+      "step": 9850
+    },
+    {
+      "epoch": 1.2857142857142856,
+      "grad_norm": 8.971993446350098,
+      "learning_rate": 4.643170232799767e-05,
+      "loss": 1.2448,
+      "step": 9900
+    },
+    {
+      "epoch": 1.2922077922077921,
+      "grad_norm": 8.140421867370605,
+      "learning_rate": 4.6350530861391604e-05,
+      "loss": 1.297,
+      "step": 9950
+    },
+    {
+      "epoch": 1.2987012987012987,
+      "grad_norm": 9.203341484069824,
+      "learning_rate": 4.626935939478555e-05,
+      "loss": 1.2812,
+      "step": 10000
+    },
+    {
+      "epoch": 1.3051948051948052,
+      "grad_norm": 7.791167736053467,
+      "learning_rate": 4.618818792817949e-05,
+      "loss": 1.2745,
+      "step": 10050
+    },
+    {
+      "epoch": 1.3116883116883118,
+      "grad_norm": 7.96024227142334,
+      "learning_rate": 4.6107016461573435e-05,
+      "loss": 1.3114,
+      "step": 10100
+    },
+    {
+      "epoch": 1.3181818181818181,
+      "grad_norm": 9.202474594116211,
+      "learning_rate": 4.602584499496737e-05,
+      "loss": 1.3039,
+      "step": 10150
+    },
+    {
+      "epoch": 1.3246753246753247,
+      "grad_norm": 8.700586318969727,
+      "learning_rate": 4.594467352836132e-05,
+      "loss": 1.2243,
+      "step": 10200
+    },
+    {
+      "epoch": 1.3311688311688312,
+      "grad_norm": 10.369848251342773,
+      "learning_rate": 4.586350206175525e-05,
+      "loss": 1.2523,
+      "step": 10250
+    },
+    {
+      "epoch": 1.3376623376623376,
+      "grad_norm": 8.433963775634766,
+      "learning_rate": 4.57823305951492e-05,
+      "loss": 1.2213,
+      "step": 10300
+    },
+    {
+      "epoch": 1.344155844155844,
+      "grad_norm": 9.223182678222656,
+      "learning_rate": 4.5701159128543135e-05,
+      "loss": 1.3041,
+      "step": 10350
+    },
+    {
+      "epoch": 1.3506493506493507,
+      "grad_norm": 7.952178955078125,
+      "learning_rate": 4.561998766193708e-05,
+      "loss": 1.2164,
+      "step": 10400
+    },
+    {
+      "epoch": 1.3571428571428572,
+      "grad_norm": 7.513680934906006,
+      "learning_rate": 4.553881619533102e-05,
+      "loss": 1.2241,
+      "step": 10450
+    },
+    {
+      "epoch": 1.3636363636363638,
+      "grad_norm": 9.510335922241211,
+      "learning_rate": 4.5457644728724966e-05,
+      "loss": 1.211,
+      "step": 10500
+    },
+    {
+      "epoch": 1.37012987012987,
+      "grad_norm": 7.567286491394043,
+      "learning_rate": 4.53764732621189e-05,
+      "loss": 1.1839,
+      "step": 10550
+    },
+    {
+      "epoch": 1.3766233766233766,
+      "grad_norm": 8.19821548461914,
+      "learning_rate": 4.529530179551285e-05,
+      "loss": 1.1748,
+      "step": 10600
+    },
+    {
+      "epoch": 1.3831168831168832,
+      "grad_norm": 9.398670196533203,
+      "learning_rate": 4.521413032890678e-05,
+      "loss": 1.1886,
+      "step": 10650
+    },
+    {
+      "epoch": 1.3896103896103895,
+      "grad_norm": 7.934854984283447,
+      "learning_rate": 4.513295886230073e-05,
+      "loss": 1.1752,
+      "step": 10700
+    },
+    {
+      "epoch": 1.396103896103896,
+      "grad_norm": 8.2477445602417,
+      "learning_rate": 4.5051787395694666e-05,
+      "loss": 1.1968,
+      "step": 10750
+    },
+    {
+      "epoch": 1.4025974025974026,
+      "grad_norm": 8.72326374053955,
+      "learning_rate": 4.4970615929088614e-05,
+      "loss": 1.1345,
+      "step": 10800
+    },
+    {
+      "epoch": 1.4090909090909092,
+      "grad_norm": 8.260149002075195,
+      "learning_rate": 4.488944446248255e-05,
+      "loss": 1.1882,
+      "step": 10850
+    },
+    {
+      "epoch": 1.4155844155844157,
+      "grad_norm": 11.032275199890137,
+      "learning_rate": 4.48082729958765e-05,
+      "loss": 1.2257,
+      "step": 10900
+    },
+    {
+      "epoch": 1.422077922077922,
+      "grad_norm": 7.984837055206299,
+      "learning_rate": 4.472710152927043e-05,
+      "loss": 1.2079,
+      "step": 10950
+    },
+    {
+      "epoch": 1.4285714285714286,
+      "grad_norm": 8.030401229858398,
+      "learning_rate": 4.464593006266438e-05,
+      "loss": 1.1455,
+      "step": 11000
+    },
+    {
+      "epoch": 1.435064935064935,
+      "grad_norm": 6.707542896270752,
+      "learning_rate": 4.4564758596058314e-05,
+      "loss": 1.0684,
+      "step": 11050
+    },
+    {
+      "epoch": 1.4415584415584415,
+      "grad_norm": 8.220330238342285,
+      "learning_rate": 4.448358712945226e-05,
+      "loss": 1.0872,
+      "step": 11100
+    },
+    {
+      "epoch": 1.448051948051948,
+      "grad_norm": 8.067037582397461,
+      "learning_rate": 4.44024156628462e-05,
+      "loss": 1.0888,
+      "step": 11150
+    },
+    {
+      "epoch": 1.4545454545454546,
+      "grad_norm": 7.191831588745117,
+      "learning_rate": 4.4321244196240145e-05,
+      "loss": 1.0119,
+      "step": 11200
+    },
+    {
+      "epoch": 1.4610389610389611,
+      "grad_norm": 8.375226020812988,
+      "learning_rate": 4.424007272963408e-05,
+      "loss": 1.0735,
+      "step": 11250
+    },
+    {
+      "epoch": 1.4675324675324675,
+      "grad_norm": 7.966062068939209,
+      "learning_rate": 4.415890126302802e-05,
+      "loss": 1.0829,
+      "step": 11300
+    },
+    {
+      "epoch": 1.474025974025974,
+      "grad_norm": 7.540716171264648,
+      "learning_rate": 4.407772979642196e-05,
+      "loss": 1.0539,
+      "step": 11350
+    },
+    {
+      "epoch": 1.4805194805194806,
+      "grad_norm": 6.845109462738037,
+      "learning_rate": 4.3996558329815903e-05,
+      "loss": 1.0158,
+      "step": 11400
+    },
+    {
+      "epoch": 1.487012987012987,
+      "grad_norm": 8.59949779510498,
+      "learning_rate": 4.3915386863209845e-05,
+      "loss": 1.0087,
+      "step": 11450
+    },
+    {
+      "epoch": 1.4935064935064934,
+      "grad_norm": 7.456052303314209,
+      "learning_rate": 4.3834215396603786e-05,
+      "loss": 1.0371,
+      "step": 11500
+    },
+    {
+      "epoch": 1.5,
+      "grad_norm": 9.537942886352539,
+      "learning_rate": 4.375304392999773e-05,
+      "loss": 1.0171,
+      "step": 11550
+    },
+    {
+      "epoch": 1.5,
+      "eval_runtime": 182.3239,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 5.6200983687622905,
+      "step": 11550
+    }
+  ],
+  "logging_steps": 50,
+  "max_steps": 38500,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 3850,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": false
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 64,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoints/checkpoint-11550/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:39eedf3e35382ec77ee3bb432638337c7c6e53f79e026b0a2c955d5159b51c58
+size 6225