Upload checkpoint-2100

checkpoints/checkpoint-2100/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 768,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": true,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": false,
+    "include_prompt": true
+}

checkpoints/checkpoint-2100/README.md

@@ -0,0 +1,482 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:541248
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: QuangDuy/bert-base-stage2-hf
+widget:
+- source_sentence: aoa là gì
+  sentences:
+  - AOA tăng do đường hợp âm hiệu dụng, chạy từ mép trước của cánh đến mép sau của
+    cánh, xoay lên trên. Điều này làm tăng góc giữa đường hợp âm và gió tương đối
+    (AOA). Kết quả là gì? Sự gia tăng độ khum này và AOA tạo ra nhiều lực nâng hơn.
+    Vì cánh lật xuống có độ khum hơn so với cánh sạch, nó tạo ra cùng một lực nâng
+    ở AOA nhỏ hơn. Máy bay hạ cánh lúc này bay ở AOA nhỏ hơn để cân bằng bốn lực bay.
+  - AOA ủng hộ ủy ban, tiếp tục kêu gọi nó xem xét tất cả các lựa chọn dựa trên sự
+    tăng trưởng của sân bay, kêu gọi nó tuân theo thời gian biểu của việc gửi báo
+    cáo cuối cùng của mình không muộn hơn mùa hè năm 2015, và khuyến khích các đảng
+    chính trị cam kết hành động theo ủy ban. những phát hiện.
+  - Cháy là một phản ứng hóa học tỏa ra ánh sáng và sức nóng. Nó là một ví dụ về quá
+    trình hóa học của quá trình oxy hóa.
+- source_sentence: utms là gì
+  sentences:
+  - UMTS là một trong những hệ thống di động thế hệ thứ ba (3G) đang được phát triển
+    trong khuôn khổ IMT-2000 của ITU. Đó là sự hiện thực hóa thế hệ công nghệ viễn
+    thông di động đa phương tiện băng thông rộng mới. Phạm vi phủ sóng của việc cung
+    cấp dịch vụ sẽ rộng khắp thế giới dưới hình thức FLMTS (Dịch vụ Viễn thông Di
+    động của Future Land và hiện nay được gọi là IMT2000).
+  - Bổ sung bla là gì, tài liệu bổ sung bla là gì, tải toàn bộ tài liệu bổ sung bla
+    là gì về máy tính của bạn.
+  - Dị dạng động mạch (AVM) là một kết nối bất thường giữa động mạch và tĩnh mạch,
+    bỏ qua hệ thống mao mạch. Dị tật mạch máu này được biết đến rộng rãi vì nó xảy
+    ra ở hệ thần kinh trung ương, nhưng có thể xuất hiện ở bất kỳ vị trí nào. Các
+    kiểu lây truyền di truyền của AVM, nếu có, vẫn chưa được biết. AVM thường không
+    được cho là một rối loạn di truyền, trừ khi trong bối cảnh của một hội chứng di
+    truyền cụ thể.
+- source_sentence: hph là gì
+  sentences:
+  - HPH là nhà đầu tư, phát triển và khai thác cảng hàng đầu thế giới, có lợi ích
+    tại 22 quốc gia trên khắp Châu Á, Trung Đông, Châu Phi, Châu Âu và Châu Mỹ.
+  - Một từ khác cho oxit boric là gì? Một từ khác cho borickites là gì? Một từ khác
+    cho borickite là gì? Một từ khác cho axit boric là gì? Một từ khác cho axit boric
+    là gì? Một từ khác cho vi sinh vật là gì? Một từ khác cho ngao ngán là gì? Một
+    từ khác cho ngao nhàm chán là gì? Một từ khác cho nhàm chán là gì? Một từ khác
+    cho nhàm chán nhất là gì? Một từ khác cho nhàm chán là gì?
+  - Nếu bác sĩ trị liệu của bạn có các chữ cái MPT hoặc MSPT, điều này cho thấy bằng
+    thạc sĩ về vật lý trị liệu. Hầu hết các chương trình ngày nay đều đào tạo các
+    nhà trị liệu để lấy bằng DPT, viết tắt của tiến sĩ vật lý trị liệu. Ngoài các
+    chứng chỉ giáo dục cơ bản này, bạn có thể tìm thấy một loạt các kết hợp chữ cái
+    khác.
+- source_sentence: kani là gì
+  sentences:
+  - 1 Rối loạn ám ảnh cưỡng chế (OCD) là một chứng rối loạn lo âu được đặc trưng bởi
+    những suy nghĩ hoặc hình ảnh không thể cưỡng lại được (ám ảnh) và / hoặc những
+    nghi thức / hành vi cứng nhắc có thể bị thúc đẩy bởi những ám ảnh (cưỡng chế).
+  - Tobitama (Tôi thích sự giòn tan của món tobiko nhỏ bé!) Món chay Tempura Roll.
+    Crispy Cobra - tôm tempura, bơ, w / kani phủ lên trên và giòn. Sexy Roll - bơ,
+    thịt cua, phủ trên cùng với lươn nướng. Rattlesnake Roll - cua, tôm tempura phủ
+    trên cùng với lươn nướng, bơ & sốt đặc biệt.
+  - Hỏi và đáp cộng đồng. Kani là thuật ngữ tiếng Nhật để chỉ cua, được dùng trong
+    món sushi. Món salad rau nhẹ này tạo ra món khai vị hoặc bữa trưa hoàn hảo trong
+    một ngày mát mẻ. Hãy thử công thức salad kani này.
+- source_sentence: akni là gì
+  sentences:
+  - Akni là một loại gạo Ấn Độ một nồi cay được làm từ thịt c��u, thịt gà hoặc thịt
+    cừu với hương vị tương tự như rượu bia. 1 KNORR Rice Mate Mild Breyani Kết hợp
+    hoàn hảo với tôm, trong cà ri gà hoặc bất kỳ món ăn nào bao gồm trái cây, đặc
+    biệt là mơ. Kni là một loại gạo Ấn Độ một nồi cay được làm từ thịt cừu, thịt gà
+    hoặc thịt cừu với hương vị tương tự như hương vị của rượu bia. 1 KNORR Rice Mate
+    Mild Breyani Kết hợp hoàn hảo với tôm, trong cà ri gà hoặc bất kỳ món ăn nào có
+    trái cây, đặc biệt là mơ.
+  - 'Cụm từ tìm kiếm liên quan: Máy bơm ly tâm là gì, Máy bơm không cánh là gì, Máy
+    bơm hóa chất là gì, Máy bơm công nghiệp là gì, Máy bơm hóa dầu là gì, Máy bơm
+    chạy cạn là gì, Máy bơm chống ăn mòn là gì, Bơm truyền động từ là gì, Bơm truyền
+    động từ là gì.'
+  - 0C là điểm đóng băng của nước (hay chính xác hơn là điểm tan chảy của nước đá)
+    và nó là 32F. Thay đổi 1 độ C là 1,8 độ F thay đổi trong khi thay đổi 1 độ C chuyển
+    thành 0,55 độ C. Đây là một trong những cách dễ nhất để chuyển đổi chúng nếu bạn
+    biết rằng 0C = 32F.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on QuangDuy/bert-base-stage2-hf
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [QuangDuy/bert-base-stage2-hf](https://huggingface.co/QuangDuy/bert-base-stage2-hf). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [QuangDuy/bert-base-stage2-hf](https://huggingface.co/QuangDuy/bert-base-stage2-hf) <!-- at revision 6a6ac1ff59259c4fe29b121488afa79d0bfe3e6a -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'akni là gì',
+    'Akni là một loại gạo Ấn Độ một nồi cay được làm từ thịt cừu, thịt gà hoặc thịt cừu với hương vị tương tự như rượu bia. 1 KNORR Rice Mate Mild Breyani Kết hợp hoàn hảo với tôm, trong cà ri gà hoặc bất kỳ món ăn nào bao gồm trái cây, đặc biệt là mơ. Kni là một loại gạo Ấn Độ một nồi cay được làm từ thịt cừu, thịt gà hoặc thịt cừu với hương vị tương tự như hương vị của rượu bia. 1 KNORR Rice Mate Mild Breyani Kết hợp hoàn hảo với tôm, trong cà ri gà hoặc bất kỳ món ăn nào có trái cây, đặc biệt là mơ.',
+    'Cụm từ tìm kiếm liên quan: Máy bơm ly tâm là gì, Máy bơm không cánh là gì, Máy bơm hóa chất là gì, Máy bơm công nghiệp là gì, Máy bơm hóa dầu là gì, Máy bơm chạy cạn là gì, Máy bơm chống ăn mòn là gì, Bơm truyền động từ là gì, Bơm truyền động từ là gì.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities)
+# tensor([[1.0000, 0.6081, 0.0269],
+#         [0.6081, 1.0000, 0.0362],
+#         [0.0269, 0.0362, 1.0000]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 541,248 training samples
+* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence_0                                                                      | sentence_1                                                                          | sentence_2                                                                           |
+  |:--------|:--------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                          | string                                                                              | string                                                                               |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 5.92 tokens</li><li>max: 8 tokens</li></ul> | <ul><li>min: 23 tokens</li><li>mean: 95.98 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 25 tokens</li><li>mean: 103.41 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | sentence_0               | sentence_1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         | sentence_2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
+  |:-------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>svt là gì?</code>  | <code>Nhịp tim nhanh trên thất là một loạt các nhịp tim nhanh bắt đầu trong hoặc liên quan đến các buồng trên (tâm nhĩ) của tim. SVT có thể khiến tim đập rất nhanh hoặc thất thường. Kết quả là tim có thể đập không hiệu quả và cơ thể có thể nhận được nguồn cung cấp máu không đủ.</code>                                                                                                                                                                                                      | <code>Mustang SVT Cobra là một phương tiện có thể rất đắt. Thông thường, chiếc xe được gọi là Mustang SVT Cobra có thể có giá từ 25.000 đến 50.000 đô la Mỹ.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
+  | <code>cây màu gì</code>  | <code>Thông thường, thân cây được cho là có nhiều màu nâu khác nhau. Tuy nhiên, chúng có thể có nhiều màu sắc khác nhau. Màu xám là màu phổ biến ở các thân cây, cũng như màu xanh lục khi chúng còn nhỏ. Các loài cây cụ thể thường có màu vỏ cụ thể vào những thời điểm cụ thể trong năm, vì vậy bạn nên tìm kiếm những cây mà bạn quan tâm nếu bạn cần thêm thông tin. Thông thường thân cây được coi là có nhiều màu nâu khác nhau. Tuy nhiên, chúng có thể có nhiều màu sắc khác nhau.</code> | <code>Câu ví dụ cho mận. 1 Tôi tỉa khi cây còn nhỏ; thì vết thương không ảnh hưởng nhiều đến chúng; nó trả tiền, và rất cần thiết. 2 Màu dâu tằm, giống như màu mà chúng ta gọi là màu mận hoặc mận khô. 3 Khi đó năng lượng của cây ở mức tối thiểu và bạn có thể cắt tỉa an toàn hơn bất kỳ lúc nào khác.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
+  | <code>ootd là gì?</code> | <code>OOTD có nghĩa là gì? Dưới đây là những ý nghĩa phổ biến nhất của OOTD: Outfit Of The Day. OOTD (Outfit Of The Day) thường được sử dụng trên các trang web thời trang hoặc trên các tạp chí (thường dành cho phụ nữ) để thể hiện trang phục đặc trưng của ngày hôm nay. Ý kiến ​​của Ngày. OOTD (Opinion Of The Day) thường được sử dụng như một lời cảnh báo để đưa ra một khẳng định có vẻ ít thẳng thắn hơn.</code>                                                                        | <code>(OOTD) Ngày 24 tháng 10 năm 2014: Mặc dù gặp phải một số tuyết trong chuyến đi gần đây của chúng tôi đếnࢠ€¦ (xem toàn bộ câu chuyện) (OOTD) Ngày 13 tháng 10 năm 2014: Chỉ cần đánh giá nhanh về hai mục Gần đây tôi đã nhận hàng tại Ann Taylorࢠ€¦ (xem toàn bộ câu chuyện) A BIG DEAL: Mua sắm toàn bộ danh sách bán hàng lớn nhất và tốt nhất vào Thứ Hai Điện Tử năm 2016 hiện nayࢠ€¦ . (OOTD) Ngày 7 tháng 7 năm 2015: Chỉ là một bài đăng nhanh về trang phục cho ngày hôm nay! Đây là những gì tôi đã mặc cho bbq của chúng tôi vào ngày thứ 4ࢠ€¦ (xem toàn bộ câu chuyện) (OOTD) Ngày 3 tháng 8 năm 2015: Giữ cho nó đơn giản hơn hôm nay với Anthropolgieࢠ€Â⠄của Pina Lace topࢠ€¦ (xem toàn bộ câu chuyện)</code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 64
+- `weight_decay`: 0.01
+- `num_train_epochs`: 5
+- `warmup_steps`: 4229
+- `bf16`: True
+- `gradient_checkpointing`: True
+- `gradient_checkpointing_kwargs`: {'use_reentrant': False}
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 64
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 5e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: None
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 4229
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: True
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `project`: huggingface
+- `trackio_space_id`: trackio
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `hub_revision`: None
+- `gradient_checkpointing`: True
+- `gradient_checkpointing_kwargs`: {'use_reentrant': False}
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: no
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: True
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss | validation loss |
+|:------:|:----:|:-------------:|:---------------:|
+| 0.0118 | 50   | 15.9603       | -               |
+| 0.0237 | 100  | 14.7061       | -               |
+| 0.0355 | 150  | 12.797        | -               |
+| 0.0473 | 200  | 10.4224       | -               |
+| 0.0591 | 250  | 7.7023        | -               |
+| 0.0710 | 300  | 6.1814        | -               |
+| 0.0828 | 350  | 5.1295        | -               |
+| 0.0946 | 400  | 4.5724        | -               |
+| 0.1064 | 450  | 4.3299        | -               |
+| 0.1183 | 500  | 3.9241        | -               |
+| 0.1301 | 550  | 3.7726        | -               |
+| 0.1419 | 600  | 3.5488        | -               |
+| 0.1537 | 650  | 3.4224        | -               |
+| 0.1656 | 700  | 3.1461        | -               |
+| 0.1774 | 750  | 3.091         | -               |
+| 0.1892 | 800  | 3.0397        | -               |
+| 0.2010 | 850  | 2.7937        | -               |
+| 0.2129 | 900  | 2.7832        | -               |
+| 0.2247 | 950  | 2.7144        | -               |
+| 0.2365 | 1000 | 2.4957        | -               |
+| 0.2483 | 1050 | 2.5517        | -               |
+| 0.2602 | 1100 | 2.571         | -               |
+| 0.2720 | 1150 | 2.5598        | -               |
+| 0.2838 | 1200 | 2.4329        | -               |
+| 0.2956 | 1250 | 2.443         | -               |
+| 0.3075 | 1300 | 2.3928        | -               |
+| 0.3193 | 1350 | 2.3792        | -               |
+| 0.3311 | 1400 | 2.2843        | -               |
+| 0.3430 | 1450 | 2.1745        | -               |
+| 0.3548 | 1500 | 2.2979        | -               |
+| 0.3666 | 1550 | 2.2486        | -               |
+| 0.3784 | 1600 | 2.0867        | -               |
+| 0.3903 | 1650 | 2.2764        | -               |
+| 0.4021 | 1700 | 2.1324        | -               |
+| 0.4139 | 1750 | 2.0987        | -               |
+| 0.4257 | 1800 | 2.1326        | -               |
+| 0.4376 | 1850 | 2.0193        | -               |
+| 0.4494 | 1900 | 2.0284        | -               |
+| 0.4612 | 1950 | 2.0608        | -               |
+| 0.4730 | 2000 | 2.0469        | -               |
+| 0.4849 | 2050 | 2.0067        | -               |
+| 0.4967 | 2100 | 2.0569        | 3.4283          |
+
+
+### Framework Versions
+- Python: 3.11.15
+- Sentence Transformers: 5.3.0
+- Transformers: 4.57.6
+- PyTorch: 2.11.0+cu130
+- Accelerate: 1.13.0
+- Datasets: 3.6.0
+- Tokenizers: 0.22.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{oord2019representationlearningcontrastivepredictive,
+      title={Representation Learning with Contrastive Predictive Coding},
+      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
+      year={2019},
+      eprint={1807.03748},
+      archivePrefix={arXiv},
+      primaryClass={cs.LG},
+      url={https://arxiv.org/abs/1807.03748},
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoints/checkpoint-2100/config.json

@@ -0,0 +1,45 @@
+{
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "classifier_activation": "silu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 0,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "dtype": "float32",
+  "embedding_dropout": 0.0,
+  "eos_token_id": 3,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 160000.0,
+  "max_position_embeddings": 4096,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 2,
+  "position_embedding_type": "absolute",
+  "repad_logits_with_grad": false,
+  "sep_token_id": 3,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "transformers_version": "4.57.6",
+  "vocab_size": 32064
+}

checkpoints/checkpoint-2100/config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "SentenceTransformer",
+  "__version__": {
+    "sentence_transformers": "5.3.0",
+    "transformers": "4.57.6",
+    "pytorch": "2.11.0+cu130"
+  },
+  "prompts": {
+    "query": "",
+    "document": ""
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoints/checkpoint-2100/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:18ebe519bc9a02e147f059d3a1f4b45236dfbc1712f46f9d3e9ae63734a85c5c
+size 539840248

checkpoints/checkpoint-2100/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoints/checkpoint-2100/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5ab660154566ed8861c1cb8d361c408fb464eec3c8b792af6ec455eb6468844d
+size 1079769611

checkpoints/checkpoint-2100/rng_state_0.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:60c96e0ca9dd9b4c5d2d91984ff4a9d05c40210daf3462a66de8857ef83eeb27
+size 14917

checkpoints/checkpoint-2100/rng_state_1.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9b9c6aaa284dbb69b674c875130bd71b0c1166b0387f9efc946ea9ed97ea3008
+size 14917

checkpoints/checkpoint-2100/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:aadc679658086766ea02f05873ddcc45db90da2c7048b354cc84214ed4c15db0
+size 1465

checkpoints/checkpoint-2100/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 512,
+    "do_lower_case": false
+}

checkpoints/checkpoint-2100/special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoints/checkpoint-2100/tokenizer_config.json

@@ -0,0 +1,569 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32000": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32001": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32002": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32003": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32004": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32005": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32006": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32007": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32008": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32009": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32010": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32011": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32012": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32013": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32014": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32015": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32016": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32017": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32018": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32019": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32020": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32021": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32022": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32023": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32024": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32025": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32026": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32027": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32028": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32029": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32030": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32031": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32032": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32033": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32034": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32035": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32036": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32037": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32038": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32039": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32040": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32041": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32042": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32043": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32044": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32045": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32046": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32047": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32048": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32049": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32050": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32051": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32052": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32053": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32054": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32055": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32056": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32057": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32058": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32059": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32060": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32061": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32062": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32063": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 512,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "[UNK]"
+}

checkpoints/checkpoint-2100/trainer_state.json

@@ -0,0 +1,336 @@
+{
+  "best_global_step": 2100,
+  "best_metric": 3.428261561244058,
+  "best_model_checkpoint": "outputs/bert-base-stage2-sbert/checkpoints/checkpoint-2100",
+  "epoch": 0.4966887417218543,
+  "eval_steps": 2100,
+  "global_step": 2100,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.011825922421948912,
+      "grad_norm": 37.17527770996094,
+      "learning_rate": 5.79333175691653e-07,
+      "loss": 15.9603,
+      "step": 50
+    },
+    {
+      "epoch": 0.023651844843897825,
+      "grad_norm": 46.39728927612305,
+      "learning_rate": 1.1704894774178294e-06,
+      "loss": 14.7061,
+      "step": 100
+    },
+    {
+      "epoch": 0.035477767265846734,
+      "grad_norm": 28.315404891967773,
+      "learning_rate": 1.761645779144006e-06,
+      "loss": 12.797,
+      "step": 150
+    },
+    {
+      "epoch": 0.04730368968779565,
+      "grad_norm": 35.562313079833984,
+      "learning_rate": 2.352802080870182e-06,
+      "loss": 10.4224,
+      "step": 200
+    },
+    {
+      "epoch": 0.05912961210974456,
+      "grad_norm": 32.73415756225586,
+      "learning_rate": 2.9439583825963587e-06,
+      "loss": 7.7023,
+      "step": 250
+    },
+    {
+      "epoch": 0.07095553453169347,
+      "grad_norm": 47.77512741088867,
+      "learning_rate": 3.535114684322535e-06,
+      "loss": 6.1814,
+      "step": 300
+    },
+    {
+      "epoch": 0.08278145695364239,
+      "grad_norm": 22.523290634155273,
+      "learning_rate": 4.126270986048711e-06,
+      "loss": 5.1295,
+      "step": 350
+    },
+    {
+      "epoch": 0.0946073793755913,
+      "grad_norm": 23.141721725463867,
+      "learning_rate": 4.717427287774888e-06,
+      "loss": 4.5724,
+      "step": 400
+    },
+    {
+      "epoch": 0.10643330179754021,
+      "grad_norm": 19.452104568481445,
+      "learning_rate": 5.308583589501064e-06,
+      "loss": 4.3299,
+      "step": 450
+    },
+    {
+      "epoch": 0.11825922421948912,
+      "grad_norm": 233.05697631835938,
+      "learning_rate": 5.899739891227241e-06,
+      "loss": 3.9241,
+      "step": 500
+    },
+    {
+      "epoch": 0.13008514664143803,
+      "grad_norm": 24.122013092041016,
+      "learning_rate": 6.4908961929534175e-06,
+      "loss": 3.7726,
+      "step": 550
+    },
+    {
+      "epoch": 0.14191106906338694,
+      "grad_norm": 25.219341278076172,
+      "learning_rate": 7.082052494679593e-06,
+      "loss": 3.5488,
+      "step": 600
+    },
+    {
+      "epoch": 0.15373699148533584,
+      "grad_norm": 20.27418327331543,
+      "learning_rate": 7.673208796405771e-06,
+      "loss": 3.4224,
+      "step": 650
+    },
+    {
+      "epoch": 0.16556291390728478,
+      "grad_norm": 18.39457130432129,
+      "learning_rate": 8.264365098131946e-06,
+      "loss": 3.1461,
+      "step": 700
+    },
+    {
+      "epoch": 0.1773888363292337,
+      "grad_norm": 15.472208023071289,
+      "learning_rate": 8.855521399858123e-06,
+      "loss": 3.091,
+      "step": 750
+    },
+    {
+      "epoch": 0.1892147587511826,
+      "grad_norm": 14.311614036560059,
+      "learning_rate": 9.4466777015843e-06,
+      "loss": 3.0397,
+      "step": 800
+    },
+    {
+      "epoch": 0.2010406811731315,
+      "grad_norm": 15.130672454833984,
+      "learning_rate": 1.0037834003310476e-05,
+      "loss": 2.7937,
+      "step": 850
+    },
+    {
+      "epoch": 0.21286660359508042,
+      "grad_norm": 16.500473022460938,
+      "learning_rate": 1.0628990305036653e-05,
+      "loss": 2.7832,
+      "step": 900
+    },
+    {
+      "epoch": 0.22469252601702933,
+      "grad_norm": 15.874606132507324,
+      "learning_rate": 1.1220146606762828e-05,
+      "loss": 2.7144,
+      "step": 950
+    },
+    {
+      "epoch": 0.23651844843897823,
+      "grad_norm": 17.386566162109375,
+      "learning_rate": 1.1811302908489005e-05,
+      "loss": 2.4957,
+      "step": 1000
+    },
+    {
+      "epoch": 0.24834437086092714,
+      "grad_norm": 16.52501106262207,
+      "learning_rate": 1.2402459210215181e-05,
+      "loss": 2.5517,
+      "step": 1050
+    },
+    {
+      "epoch": 0.26017029328287605,
+      "grad_norm": 21.434019088745117,
+      "learning_rate": 1.2993615511941356e-05,
+      "loss": 2.571,
+      "step": 1100
+    },
+    {
+      "epoch": 0.27199621570482496,
+      "grad_norm": 15.858635902404785,
+      "learning_rate": 1.3584771813667535e-05,
+      "loss": 2.5598,
+      "step": 1150
+    },
+    {
+      "epoch": 0.28382213812677387,
+      "grad_norm": 14.342907905578613,
+      "learning_rate": 1.417592811539371e-05,
+      "loss": 2.4329,
+      "step": 1200
+    },
+    {
+      "epoch": 0.2956480605487228,
+      "grad_norm": 13.743053436279297,
+      "learning_rate": 1.4767084417119887e-05,
+      "loss": 2.443,
+      "step": 1250
+    },
+    {
+      "epoch": 0.3074739829706717,
+      "grad_norm": 29.751502990722656,
+      "learning_rate": 1.5358240718846065e-05,
+      "loss": 2.3928,
+      "step": 1300
+    },
+    {
+      "epoch": 0.3192999053926206,
+      "grad_norm": 12.822844505310059,
+      "learning_rate": 1.594939702057224e-05,
+      "loss": 2.3792,
+      "step": 1350
+    },
+    {
+      "epoch": 0.33112582781456956,
+      "grad_norm": 13.577836036682129,
+      "learning_rate": 1.6540553322298415e-05,
+      "loss": 2.2843,
+      "step": 1400
+    },
+    {
+      "epoch": 0.34295175023651847,
+      "grad_norm": 16.76645278930664,
+      "learning_rate": 1.713170962402459e-05,
+      "loss": 2.1745,
+      "step": 1450
+    },
+    {
+      "epoch": 0.3547776726584674,
+      "grad_norm": 16.578153610229492,
+      "learning_rate": 1.772286592575077e-05,
+      "loss": 2.2979,
+      "step": 1500
+    },
+    {
+      "epoch": 0.3666035950804163,
+      "grad_norm": 13.334796905517578,
+      "learning_rate": 1.8314022227476947e-05,
+      "loss": 2.2486,
+      "step": 1550
+    },
+    {
+      "epoch": 0.3784295175023652,
+      "grad_norm": 17.563169479370117,
+      "learning_rate": 1.8905178529203122e-05,
+      "loss": 2.0867,
+      "step": 1600
+    },
+    {
+      "epoch": 0.3902554399243141,
+      "grad_norm": 20.97819709777832,
+      "learning_rate": 1.94963348309293e-05,
+      "loss": 2.2764,
+      "step": 1650
+    },
+    {
+      "epoch": 0.402081362346263,
+      "grad_norm": 15.547277450561523,
+      "learning_rate": 2.0087491132655476e-05,
+      "loss": 2.1324,
+      "step": 1700
+    },
+    {
+      "epoch": 0.4139072847682119,
+      "grad_norm": 11.580471992492676,
+      "learning_rate": 2.067864743438165e-05,
+      "loss": 2.0987,
+      "step": 1750
+    },
+    {
+      "epoch": 0.42573320719016083,
+      "grad_norm": 12.84550666809082,
+      "learning_rate": 2.1269803736107826e-05,
+      "loss": 2.1326,
+      "step": 1800
+    },
+    {
+      "epoch": 0.43755912961210974,
+      "grad_norm": 12.020867347717285,
+      "learning_rate": 2.1860960037834004e-05,
+      "loss": 2.0193,
+      "step": 1850
+    },
+    {
+      "epoch": 0.44938505203405865,
+      "grad_norm": 10.422323226928711,
+      "learning_rate": 2.245211633956018e-05,
+      "loss": 2.0284,
+      "step": 1900
+    },
+    {
+      "epoch": 0.46121097445600756,
+      "grad_norm": 12.45924186706543,
+      "learning_rate": 2.3043272641286358e-05,
+      "loss": 2.0608,
+      "step": 1950
+    },
+    {
+      "epoch": 0.47303689687795647,
+      "grad_norm": 10.701308250427246,
+      "learning_rate": 2.3634428943012536e-05,
+      "loss": 2.0469,
+      "step": 2000
+    },
+    {
+      "epoch": 0.4848628192999054,
+      "grad_norm": 11.961787223815918,
+      "learning_rate": 2.422558524473871e-05,
+      "loss": 2.0067,
+      "step": 2050
+    },
+    {
+      "epoch": 0.4966887417218543,
+      "grad_norm": 11.067811965942383,
+      "learning_rate": 2.4816741546464886e-05,
+      "loss": 2.0569,
+      "step": 2100
+    },
+    {
+      "epoch": 0.4966887417218543,
+      "eval_runtime": 124.5236,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 3.428261561244058,
+      "step": 2100
+    }
+  ],
+  "logging_steps": 50,
+  "max_steps": 21140,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 2100,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": false
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 64,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoints/checkpoint-2100/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cc7b272d45391513ca51baa876ef22de7a259e4d04c7ed5ec6b8d40e591e2db5
+size 6225