Upload folder using huggingface_hub

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,6 +1,13 @@
 ---
-library_name: transformers
-tags: []
+base_model: google/gemma-3-27b-it
+library_name: peft
+pipeline_tag: text-generation
+tags:
+- base_model:adapter:google/gemma-3-27b-it
+- lora
+- sft
+- transformers
+- trl
 ---
 
 # Model Card for Model ID
@@ -15,7 +22,7 @@ tags: []
 
 <!-- Provide a longer summary of what this model is. -->
 
-This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.
+
 
 - **Developed by:** [More Information Needed]
 - **Funded by [optional]:** [More Information Needed]
@@ -196,4 +203,7 @@ Carbon emissions can be estimated using the [Machine Learning Impact calculator]
 
 ## Model Card Contact
 
-[More Information Needed]
+[More Information Needed]
+### Framework versions
+
+- PEFT 0.16.0

adapter_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:60d95b10b6e140a9626a7058d5038528f2ff80148dc4569b881db56052046509
-size 40
+oid sha256:0bc3ca53fcb72a6a649fd5e6565abf9fd508cd31803fd3874fa6f11f82e9e6d2
+size 932178320

chat_template.jinja

@@ -0,0 +1,47 @@
+{{ bos_token }}
+{%- if messages[0]['role'] == 'system' -%}
+    {%- if messages[0]['content'] is string -%}
+        {%- set first_user_prefix = messages[0]['content'] + '
+
+' -%}
+    {%- else -%}
+        {%- set first_user_prefix = messages[0]['content'][0]['text'] + '
+
+' -%}
+    {%- endif -%}
+    {%- set loop_messages = messages[1:] -%}
+{%- else -%}
+    {%- set first_user_prefix = "" -%}
+    {%- set loop_messages = messages -%}
+{%- endif -%}
+{%- for message in loop_messages -%}
+    {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) -%}
+        {{ raise_exception("Conversation roles must alternate user/assistant/user/assistant/...") }}
+    {%- endif -%}
+    {%- if (message['role'] == 'assistant') -%}
+        {%- set role = "model" -%}
+    {%- else -%}
+        {%- set role = message['role'] -%}
+    {%- endif -%}
+    {{ '<start_of_turn>' + role + '
+' + (first_user_prefix if loop.first else "") }}
+    {%- if message['content'] is string -%}
+        {{ message['content'] | trim }}
+    {%- elif message['content'] is iterable -%}
+        {%- for item in message['content'] -%}
+            {%- if item['type'] == 'image' -%}
+                {{ '<start_of_image>' }}
+            {%- elif item['type'] == 'text' -%}
+                {{ item['text'] | trim }}
+            {%- endif -%}
+        {%- endfor -%}
+    {%- else -%}
+        {{ raise_exception("Invalid content type") }}
+    {%- endif -%}
+    {{ '<end_of_turn>
+' }}
+{%- endfor -%}
+{%- if add_generation_prompt -%}
+    {{'<start_of_turn>model
+'}}
+{%- endif -%}

optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7575360e298c6afe417ea4c9d1f926de80483bec2b88178c5a1732e402c0c7c7
+size 1817000719

rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:12e15e837284f30841feeb4cb11a4ca47e6e0a0d43907e64044c865959176390
+size 14581

scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e218fb5a057c8bad3409875137fd669abfbb61a30b591edea9a460e390fbcd1c
+size 1465

special_tokens_map.json

@@ -0,0 +1,27 @@
+{
+  "boi_token": "<start_of_image>",
+  "bos_token": {
+    "content": "<bos>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eoi_token": "<end_of_image>",
+  "eos_token": "<eos>",
+  "image_token": "<image_soft_token>",
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4667f2089529e8e7657cfb6d1c19910ae71ff5f28aa7ab2ff2763330affad795
+size 33384568

trainer_state.json

@@ -0,0 +1,871 @@
+{
+  "best_global_step": null,
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 1.0,
+  "eval_steps": 500,
+  "global_step": 375,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.010666666666666666,
+      "grad_norm": 95.0182876586914,
+      "learning_rate": 9.920000000000002e-06,
+      "loss": 105.7315,
+      "mean_token_accuracy": 0.09069436218123883,
+      "num_tokens": 131072.0,
+      "step": 4
+    },
+    {
+      "epoch": 0.021333333333333333,
+      "grad_norm": 86.67267608642578,
+      "learning_rate": 9.813333333333333e-06,
+      "loss": 96.5549,
+      "mean_token_accuracy": 0.09622917557135224,
+      "num_tokens": 262144.0,
+      "step": 8
+    },
+    {
+      "epoch": 0.032,
+      "grad_norm": 134.05670166015625,
+      "learning_rate": 9.706666666666668e-06,
+      "loss": 85.9707,
+      "mean_token_accuracy": 0.09924814943224192,
+      "num_tokens": 393216.0,
+      "step": 12
+    },
+    {
+      "epoch": 0.042666666666666665,
+      "grad_norm": 350.1399230957031,
+      "learning_rate": 9.600000000000001e-06,
+      "loss": 70.13,
+      "mean_token_accuracy": 0.09573241986799985,
+      "num_tokens": 524288.0,
+      "step": 16
+    },
+    {
+      "epoch": 0.05333333333333334,
+      "grad_norm": 711.8109741210938,
+      "learning_rate": 9.493333333333334e-06,
+      "loss": 49.4668,
+      "mean_token_accuracy": 0.10240077541675419,
+      "num_tokens": 655360.0,
+      "step": 20
+    },
+    {
+      "epoch": 0.064,
+      "grad_norm": 544.7271118164062,
+      "learning_rate": 9.386666666666668e-06,
+      "loss": 22.758,
+      "mean_token_accuracy": 0.6434303732821718,
+      "num_tokens": 786432.0,
+      "step": 24
+    },
+    {
+      "epoch": 0.07466666666666667,
+      "grad_norm": 144.55421447753906,
+      "learning_rate": 9.280000000000001e-06,
+      "loss": 6.2443,
+      "mean_token_accuracy": 0.9672888554632664,
+      "num_tokens": 917504.0,
+      "step": 28
+    },
+    {
+      "epoch": 0.08533333333333333,
+      "grad_norm": 50.88039779663086,
+      "learning_rate": 9.173333333333334e-06,
+      "loss": 2.2291,
+      "mean_token_accuracy": 0.9668161626905203,
+      "num_tokens": 1048576.0,
+      "step": 32
+    },
+    {
+      "epoch": 0.096,
+      "grad_norm": 111.66119384765625,
+      "learning_rate": 9.066666666666667e-06,
+      "loss": 1.7604,
+      "mean_token_accuracy": 0.9706238936632872,
+      "num_tokens": 1179648.0,
+      "step": 36
+    },
+    {
+      "epoch": 0.10666666666666667,
+      "grad_norm": 3.0309858322143555,
+      "learning_rate": 8.96e-06,
+      "loss": 1.6321,
+      "mean_token_accuracy": 0.96866818331182,
+      "num_tokens": 1310720.0,
+      "step": 40
+    },
+    {
+      "epoch": 0.11733333333333333,
+      "grad_norm": 3.216538906097412,
+      "learning_rate": 8.853333333333334e-06,
+      "loss": 1.391,
+      "mean_token_accuracy": 0.9703097771853209,
+      "num_tokens": 1441792.0,
+      "step": 44
+    },
+    {
+      "epoch": 0.128,
+      "grad_norm": 2.2325334548950195,
+      "learning_rate": 8.746666666666667e-06,
+      "loss": 1.3561,
+      "mean_token_accuracy": 0.9683448188006878,
+      "num_tokens": 1572864.0,
+      "step": 48
+    },
+    {
+      "epoch": 0.13866666666666666,
+      "grad_norm": 2.1915929317474365,
+      "learning_rate": 8.64e-06,
+      "loss": 1.17,
+      "mean_token_accuracy": 0.9709315784275532,
+      "num_tokens": 1703936.0,
+      "step": 52
+    },
+    {
+      "epoch": 0.14933333333333335,
+      "grad_norm": 1.618494987487793,
+      "learning_rate": 8.533333333333335e-06,
+      "loss": 1.1517,
+      "mean_token_accuracy": 0.9705505203455687,
+      "num_tokens": 1835008.0,
+      "step": 56
+    },
+    {
+      "epoch": 0.16,
+      "grad_norm": 1.0973531007766724,
+      "learning_rate": 8.426666666666667e-06,
+      "loss": 1.0748,
+      "mean_token_accuracy": 0.9720278568565845,
+      "num_tokens": 1966080.0,
+      "step": 60
+    },
+    {
+      "epoch": 0.17066666666666666,
+      "grad_norm": 2.197716236114502,
+      "learning_rate": 8.32e-06,
+      "loss": 1.0738,
+      "mean_token_accuracy": 0.9712793119251728,
+      "num_tokens": 2097152.0,
+      "step": 64
+    },
+    {
+      "epoch": 0.18133333333333335,
+      "grad_norm": 3.2662317752838135,
+      "learning_rate": 8.213333333333335e-06,
+      "loss": 0.9791,
+      "mean_token_accuracy": 0.9734124913811684,
+      "num_tokens": 2228224.0,
+      "step": 68
+    },
+    {
+      "epoch": 0.192,
+      "grad_norm": 2.22454833984375,
+      "learning_rate": 8.106666666666666e-06,
+      "loss": 0.8829,
+      "mean_token_accuracy": 0.9752626791596413,
+      "num_tokens": 2359296.0,
+      "step": 72
+    },
+    {
+      "epoch": 0.20266666666666666,
+      "grad_norm": 10.479799270629883,
+      "learning_rate": 8.000000000000001e-06,
+      "loss": 0.8778,
+      "mean_token_accuracy": 0.975015128031373,
+      "num_tokens": 2490368.0,
+      "step": 76
+    },
+    {
+      "epoch": 0.21333333333333335,
+      "grad_norm": 1.5676300525665283,
+      "learning_rate": 7.893333333333335e-06,
+      "loss": 0.8283,
+      "mean_token_accuracy": 0.9759523719549179,
+      "num_tokens": 2621440.0,
+      "step": 80
+    },
+    {
+      "epoch": 0.224,
+      "grad_norm": 0.7672796249389648,
+      "learning_rate": 7.786666666666666e-06,
+      "loss": 0.8644,
+      "mean_token_accuracy": 0.9749372210353613,
+      "num_tokens": 2752512.0,
+      "step": 84
+    },
+    {
+      "epoch": 0.23466666666666666,
+      "grad_norm": 1.5923023223876953,
+      "learning_rate": 7.680000000000001e-06,
+      "loss": 0.7702,
+      "mean_token_accuracy": 0.9773267563432455,
+      "num_tokens": 2883584.0,
+      "step": 88
+    },
+    {
+      "epoch": 0.24533333333333332,
+      "grad_norm": 1.6468647718429565,
+      "learning_rate": 7.573333333333333e-06,
+      "loss": 0.7288,
+      "mean_token_accuracy": 0.9785596635192633,
+      "num_tokens": 3014656.0,
+      "step": 92
+    },
+    {
+      "epoch": 0.256,
+      "grad_norm": 1.5576863288879395,
+      "learning_rate": 7.4666666666666675e-06,
+      "loss": 0.7363,
+      "mean_token_accuracy": 0.9779561907052994,
+      "num_tokens": 3145728.0,
+      "step": 96
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "grad_norm": 2.6385979652404785,
+      "learning_rate": 7.360000000000001e-06,
+      "loss": 0.7688,
+      "mean_token_accuracy": 0.9766516983509064,
+      "num_tokens": 3276800.0,
+      "step": 100
+    },
+    {
+      "epoch": 0.2773333333333333,
+      "grad_norm": 0.8966882228851318,
+      "learning_rate": 7.253333333333335e-06,
+      "loss": 0.6682,
+      "mean_token_accuracy": 0.9798859935253859,
+      "num_tokens": 3407872.0,
+      "step": 104
+    },
+    {
+      "epoch": 0.288,
+      "grad_norm": 1.0822303295135498,
+      "learning_rate": 7.146666666666667e-06,
+      "loss": 0.6918,
+      "mean_token_accuracy": 0.9789478182792664,
+      "num_tokens": 3538944.0,
+      "step": 108
+    },
+    {
+      "epoch": 0.2986666666666667,
+      "grad_norm": 1.0026942491531372,
+      "learning_rate": 7.04e-06,
+      "loss": 0.6361,
+      "mean_token_accuracy": 0.9800962433218956,
+      "num_tokens": 3670016.0,
+      "step": 112
+    },
+    {
+      "epoch": 0.30933333333333335,
+      "grad_norm": 0.9697505235671997,
+      "learning_rate": 6.9333333333333344e-06,
+      "loss": 0.6608,
+      "mean_token_accuracy": 0.979592103511095,
+      "num_tokens": 3801088.0,
+      "step": 116
+    },
+    {
+      "epoch": 0.32,
+      "grad_norm": 1.2079904079437256,
+      "learning_rate": 6.826666666666667e-06,
+      "loss": 0.5854,
+      "mean_token_accuracy": 0.9816998448222876,
+      "num_tokens": 3932160.0,
+      "step": 120
+    },
+    {
+      "epoch": 0.33066666666666666,
+      "grad_norm": 1.9481562376022339,
+      "learning_rate": 6.720000000000001e-06,
+      "loss": 0.5883,
+      "mean_token_accuracy": 0.9816949348896742,
+      "num_tokens": 4063232.0,
+      "step": 124
+    },
+    {
+      "epoch": 0.3413333333333333,
+      "grad_norm": 0.8685667514801025,
+      "learning_rate": 6.613333333333334e-06,
+      "loss": 0.5572,
+      "mean_token_accuracy": 0.9824575446546078,
+      "num_tokens": 4194304.0,
+      "step": 128
+    },
+    {
+      "epoch": 0.352,
+      "grad_norm": 1.206168293952942,
+      "learning_rate": 6.5066666666666665e-06,
+      "loss": 0.5408,
+      "mean_token_accuracy": 0.982963752001524,
+      "num_tokens": 4325376.0,
+      "step": 132
+    },
+    {
+      "epoch": 0.3626666666666667,
+      "grad_norm": 2.035712718963623,
+      "learning_rate": 6.4000000000000006e-06,
+      "loss": 0.5665,
+      "mean_token_accuracy": 0.9818029161542654,
+      "num_tokens": 4456448.0,
+      "step": 136
+    },
+    {
+      "epoch": 0.37333333333333335,
+      "grad_norm": 1.4054605960845947,
+      "learning_rate": 6.293333333333334e-06,
+      "loss": 0.5484,
+      "mean_token_accuracy": 0.9823860600590706,
+      "num_tokens": 4587520.0,
+      "step": 140
+    },
+    {
+      "epoch": 0.384,
+      "grad_norm": 1.3287094831466675,
+      "learning_rate": 6.186666666666668e-06,
+      "loss": 0.5362,
+      "mean_token_accuracy": 0.9835489504039288,
+      "num_tokens": 4718592.0,
+      "step": 144
+    },
+    {
+      "epoch": 0.39466666666666667,
+      "grad_norm": 2.980499505996704,
+      "learning_rate": 6.08e-06,
+      "loss": 0.5465,
+      "mean_token_accuracy": 0.9827720392495394,
+      "num_tokens": 4849664.0,
+      "step": 148
+    },
+    {
+      "epoch": 0.4053333333333333,
+      "grad_norm": 1.3520195484161377,
+      "learning_rate": 5.973333333333334e-06,
+      "loss": 0.517,
+      "mean_token_accuracy": 0.983446417376399,
+      "num_tokens": 4980736.0,
+      "step": 152
+    },
+    {
+      "epoch": 0.416,
+      "grad_norm": 1.2579379081726074,
+      "learning_rate": 5.8666666666666675e-06,
+      "loss": 0.5056,
+      "mean_token_accuracy": 0.9842263720929623,
+      "num_tokens": 5111808.0,
+      "step": 156
+    },
+    {
+      "epoch": 0.4266666666666667,
+      "grad_norm": 2.252026319503784,
+      "learning_rate": 5.76e-06,
+      "loss": 0.5229,
+      "mean_token_accuracy": 0.9836711697280407,
+      "num_tokens": 5242880.0,
+      "step": 160
+    },
+    {
+      "epoch": 0.43733333333333335,
+      "grad_norm": 1.2698060274124146,
+      "learning_rate": 5.653333333333334e-06,
+      "loss": 0.4646,
+      "mean_token_accuracy": 0.9852073341608047,
+      "num_tokens": 5373952.0,
+      "step": 164
+    },
+    {
+      "epoch": 0.448,
+      "grad_norm": 1.5042601823806763,
+      "learning_rate": 5.546666666666667e-06,
+      "loss": 0.5029,
+      "mean_token_accuracy": 0.984351010993123,
+      "num_tokens": 5505024.0,
+      "step": 168
+    },
+    {
+      "epoch": 0.45866666666666667,
+      "grad_norm": 0.9958365559577942,
+      "learning_rate": 5.4400000000000004e-06,
+      "loss": 0.4788,
+      "mean_token_accuracy": 0.9851621706038713,
+      "num_tokens": 5636096.0,
+      "step": 172
+    },
+    {
+      "epoch": 0.4693333333333333,
+      "grad_norm": 0.9716078042984009,
+      "learning_rate": 5.333333333333334e-06,
+      "loss": 0.4484,
+      "mean_token_accuracy": 0.985568018630147,
+      "num_tokens": 5767168.0,
+      "step": 176
+    },
+    {
+      "epoch": 0.48,
+      "grad_norm": 1.1012027263641357,
+      "learning_rate": 5.226666666666667e-06,
+      "loss": 0.4358,
+      "mean_token_accuracy": 0.9859038721770048,
+      "num_tokens": 5898240.0,
+      "step": 180
+    },
+    {
+      "epoch": 0.49066666666666664,
+      "grad_norm": 1.2046291828155518,
+      "learning_rate": 5.12e-06,
+      "loss": 0.4547,
+      "mean_token_accuracy": 0.9855281561613083,
+      "num_tokens": 6029312.0,
+      "step": 184
+    },
+    {
+      "epoch": 0.5013333333333333,
+      "grad_norm": 1.0735691785812378,
+      "learning_rate": 5.013333333333333e-06,
+      "loss": 0.4746,
+      "mean_token_accuracy": 0.9851747266948223,
+      "num_tokens": 6160384.0,
+      "step": 188
+    },
+    {
+      "epoch": 0.512,
+      "grad_norm": 1.0135657787322998,
+      "learning_rate": 4.9066666666666666e-06,
+      "loss": 0.4239,
+      "mean_token_accuracy": 0.9866608530282974,
+      "num_tokens": 6291456.0,
+      "step": 192
+    },
+    {
+      "epoch": 0.5226666666666666,
+      "grad_norm": 0.8359453678131104,
+      "learning_rate": 4.800000000000001e-06,
+      "loss": 0.4342,
+      "mean_token_accuracy": 0.9866013824939728,
+      "num_tokens": 6422528.0,
+      "step": 196
+    },
+    {
+      "epoch": 0.5333333333333333,
+      "grad_norm": 1.00949227809906,
+      "learning_rate": 4.693333333333334e-06,
+      "loss": 0.4317,
+      "mean_token_accuracy": 0.9866328313946724,
+      "num_tokens": 6553600.0,
+      "step": 200
+    },
+    {
+      "epoch": 0.544,
+      "grad_norm": 1.1209454536437988,
+      "learning_rate": 4.586666666666667e-06,
+      "loss": 0.4416,
+      "mean_token_accuracy": 0.9860401172190905,
+      "num_tokens": 6684672.0,
+      "step": 204
+    },
+    {
+      "epoch": 0.5546666666666666,
+      "grad_norm": 1.0413671731948853,
+      "learning_rate": 4.48e-06,
+      "loss": 0.4304,
+      "mean_token_accuracy": 0.9864061810076237,
+      "num_tokens": 6815744.0,
+      "step": 208
+    },
+    {
+      "epoch": 0.5653333333333334,
+      "grad_norm": 0.7713757157325745,
+      "learning_rate": 4.3733333333333335e-06,
+      "loss": 0.4408,
+      "mean_token_accuracy": 0.9862897284328938,
+      "num_tokens": 6946816.0,
+      "step": 212
+    },
+    {
+      "epoch": 0.576,
+      "grad_norm": 1.0856741666793823,
+      "learning_rate": 4.266666666666668e-06,
+      "loss": 0.4363,
+      "mean_token_accuracy": 0.9863903503865004,
+      "num_tokens": 7077888.0,
+      "step": 216
+    },
+    {
+      "epoch": 0.5866666666666667,
+      "grad_norm": 0.762695848941803,
+      "learning_rate": 4.16e-06,
+      "loss": 0.4345,
+      "mean_token_accuracy": 0.9862556718289852,
+      "num_tokens": 7208960.0,
+      "step": 220
+    },
+    {
+      "epoch": 0.5973333333333334,
+      "grad_norm": 0.8599634170532227,
+      "learning_rate": 4.053333333333333e-06,
+      "loss": 0.4168,
+      "mean_token_accuracy": 0.9865854158997536,
+      "num_tokens": 7340032.0,
+      "step": 224
+    },
+    {
+      "epoch": 0.608,
+      "grad_norm": 0.8917364478111267,
+      "learning_rate": 3.946666666666667e-06,
+      "loss": 0.3778,
+      "mean_token_accuracy": 0.9881123788654804,
+      "num_tokens": 7471104.0,
+      "step": 228
+    },
+    {
+      "epoch": 0.6186666666666667,
+      "grad_norm": 0.6947170495986938,
+      "learning_rate": 3.8400000000000005e-06,
+      "loss": 0.3877,
+      "mean_token_accuracy": 0.9877418763935566,
+      "num_tokens": 7602176.0,
+      "step": 232
+    },
+    {
+      "epoch": 0.6293333333333333,
+      "grad_norm": 0.9257314801216125,
+      "learning_rate": 3.7333333333333337e-06,
+      "loss": 0.3812,
+      "mean_token_accuracy": 0.9878675621002913,
+      "num_tokens": 7733248.0,
+      "step": 236
+    },
+    {
+      "epoch": 0.64,
+      "grad_norm": 1.9576170444488525,
+      "learning_rate": 3.6266666666666674e-06,
+      "loss": 0.42,
+      "mean_token_accuracy": 0.986813249066472,
+      "num_tokens": 7864320.0,
+      "step": 240
+    },
+    {
+      "epoch": 0.6506666666666666,
+      "grad_norm": 0.9040073156356812,
+      "learning_rate": 3.52e-06,
+      "loss": 0.386,
+      "mean_token_accuracy": 0.987710103392601,
+      "num_tokens": 7995392.0,
+      "step": 244
+    },
+    {
+      "epoch": 0.6613333333333333,
+      "grad_norm": 1.030599594116211,
+      "learning_rate": 3.4133333333333334e-06,
+      "loss": 0.4029,
+      "mean_token_accuracy": 0.9871034454554319,
+      "num_tokens": 8126464.0,
+      "step": 248
+    },
+    {
+      "epoch": 0.672,
+      "grad_norm": 0.9309128522872925,
+      "learning_rate": 3.306666666666667e-06,
+      "loss": 0.3999,
+      "mean_token_accuracy": 0.9872954823076725,
+      "num_tokens": 8257536.0,
+      "step": 252
+    },
+    {
+      "epoch": 0.6826666666666666,
+      "grad_norm": 0.7675857543945312,
+      "learning_rate": 3.2000000000000003e-06,
+      "loss": 0.4193,
+      "mean_token_accuracy": 0.9866136480122805,
+      "num_tokens": 8388608.0,
+      "step": 256
+    },
+    {
+      "epoch": 0.6933333333333334,
+      "grad_norm": 0.8219704031944275,
+      "learning_rate": 3.093333333333334e-06,
+      "loss": 0.4057,
+      "mean_token_accuracy": 0.9868441838771105,
+      "num_tokens": 8519680.0,
+      "step": 260
+    },
+    {
+      "epoch": 0.704,
+      "grad_norm": 0.9892351627349854,
+      "learning_rate": 2.986666666666667e-06,
+      "loss": 0.3385,
+      "mean_token_accuracy": 0.9892081767320633,
+      "num_tokens": 8650752.0,
+      "step": 264
+    },
+    {
+      "epoch": 0.7146666666666667,
+      "grad_norm": 0.8646839261054993,
+      "learning_rate": 2.88e-06,
+      "loss": 0.4018,
+      "mean_token_accuracy": 0.987593112513423,
+      "num_tokens": 8781824.0,
+      "step": 268
+    },
+    {
+      "epoch": 0.7253333333333334,
+      "grad_norm": 0.8883484601974487,
+      "learning_rate": 2.7733333333333336e-06,
+      "loss": 0.4082,
+      "mean_token_accuracy": 0.9872159268707037,
+      "num_tokens": 8912896.0,
+      "step": 272
+    },
+    {
+      "epoch": 0.736,
+      "grad_norm": 0.7417464852333069,
+      "learning_rate": 2.666666666666667e-06,
+      "loss": 0.4002,
+      "mean_token_accuracy": 0.9869667831808329,
+      "num_tokens": 9043968.0,
+      "step": 276
+    },
+    {
+      "epoch": 0.7466666666666667,
+      "grad_norm": 0.8781360983848572,
+      "learning_rate": 2.56e-06,
+      "loss": 0.3838,
+      "mean_token_accuracy": 0.9879082888364792,
+      "num_tokens": 9175040.0,
+      "step": 280
+    },
+    {
+      "epoch": 0.7573333333333333,
+      "grad_norm": 0.7206087708473206,
+      "learning_rate": 2.4533333333333333e-06,
+      "loss": 0.4011,
+      "mean_token_accuracy": 0.9870665278285742,
+      "num_tokens": 9306112.0,
+      "step": 284
+    },
+    {
+      "epoch": 0.768,
+      "grad_norm": 0.7289225459098816,
+      "learning_rate": 2.346666666666667e-06,
+      "loss": 0.4053,
+      "mean_token_accuracy": 0.9868325497955084,
+      "num_tokens": 9437184.0,
+      "step": 288
+    },
+    {
+      "epoch": 0.7786666666666666,
+      "grad_norm": 0.8088091611862183,
+      "learning_rate": 2.24e-06,
+      "loss": 0.4259,
+      "mean_token_accuracy": 0.9863878916949034,
+      "num_tokens": 9568256.0,
+      "step": 292
+    },
+    {
+      "epoch": 0.7893333333333333,
+      "grad_norm": 0.692416250705719,
+      "learning_rate": 2.133333333333334e-06,
+      "loss": 0.3744,
+      "mean_token_accuracy": 0.9881744775921106,
+      "num_tokens": 9699328.0,
+      "step": 296
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 0.8444411754608154,
+      "learning_rate": 2.0266666666666666e-06,
+      "loss": 0.38,
+      "mean_token_accuracy": 0.9878210332244635,
+      "num_tokens": 9830400.0,
+      "step": 300
+    },
+    {
+      "epoch": 0.8106666666666666,
+      "grad_norm": 0.698093593120575,
+      "learning_rate": 1.9200000000000003e-06,
+      "loss": 0.4046,
+      "mean_token_accuracy": 0.9871846791356802,
+      "num_tokens": 9961472.0,
+      "step": 304
+    },
+    {
+      "epoch": 0.8213333333333334,
+      "grad_norm": 0.6660715341567993,
+      "learning_rate": 1.8133333333333337e-06,
+      "loss": 0.3735,
+      "mean_token_accuracy": 0.9878482241183519,
+      "num_tokens": 10092544.0,
+      "step": 308
+    },
+    {
+      "epoch": 0.832,
+      "grad_norm": 0.8037408590316772,
+      "learning_rate": 1.7066666666666667e-06,
+      "loss": 0.3628,
+      "mean_token_accuracy": 0.9884408693760633,
+      "num_tokens": 10223616.0,
+      "step": 312
+    },
+    {
+      "epoch": 0.8426666666666667,
+      "grad_norm": 1.1215479373931885,
+      "learning_rate": 1.6000000000000001e-06,
+      "loss": 0.4113,
+      "mean_token_accuracy": 0.9866763446480036,
+      "num_tokens": 10354688.0,
+      "step": 316
+    },
+    {
+      "epoch": 0.8533333333333334,
+      "grad_norm": 0.8912140130996704,
+      "learning_rate": 1.4933333333333336e-06,
+      "loss": 0.3753,
+      "mean_token_accuracy": 0.9878699872642756,
+      "num_tokens": 10485760.0,
+      "step": 320
+    },
+    {
+      "epoch": 0.864,
+      "grad_norm": 0.7743899822235107,
+      "learning_rate": 1.3866666666666668e-06,
+      "loss": 0.3936,
+      "mean_token_accuracy": 0.987536245957017,
+      "num_tokens": 10616832.0,
+      "step": 324
+    },
+    {
+      "epoch": 0.8746666666666667,
+      "grad_norm": 0.813690185546875,
+      "learning_rate": 1.28e-06,
+      "loss": 0.392,
+      "mean_token_accuracy": 0.9875784479081631,
+      "num_tokens": 10747904.0,
+      "step": 328
+    },
+    {
+      "epoch": 0.8853333333333333,
+      "grad_norm": 0.7513279914855957,
+      "learning_rate": 1.1733333333333335e-06,
+      "loss": 0.3511,
+      "mean_token_accuracy": 0.9887354131788015,
+      "num_tokens": 10878976.0,
+      "step": 332
+    },
+    {
+      "epoch": 0.896,
+      "grad_norm": 0.7692511081695557,
+      "learning_rate": 1.066666666666667e-06,
+      "loss": 0.3855,
+      "mean_token_accuracy": 0.9876275006681681,
+      "num_tokens": 11010048.0,
+      "step": 336
+    },
+    {
+      "epoch": 0.9066666666666666,
+      "grad_norm": 0.8504297733306885,
+      "learning_rate": 9.600000000000001e-07,
+      "loss": 0.3715,
+      "mean_token_accuracy": 0.9881636761128902,
+      "num_tokens": 11141120.0,
+      "step": 340
+    },
+    {
+      "epoch": 0.9173333333333333,
+      "grad_norm": 0.7928897142410278,
+      "learning_rate": 8.533333333333334e-07,
+      "loss": 0.361,
+      "mean_token_accuracy": 0.9885325860232115,
+      "num_tokens": 11272192.0,
+      "step": 344
+    },
+    {
+      "epoch": 0.928,
+      "grad_norm": 0.8380333781242371,
+      "learning_rate": 7.466666666666668e-07,
+      "loss": 0.394,
+      "mean_token_accuracy": 0.9870442487299442,
+      "num_tokens": 11403264.0,
+      "step": 348
+    },
+    {
+      "epoch": 0.9386666666666666,
+      "grad_norm": 0.9250849485397339,
+      "learning_rate": 6.4e-07,
+      "loss": 0.3746,
+      "mean_token_accuracy": 0.9879132714122534,
+      "num_tokens": 11534336.0,
+      "step": 352
+    },
+    {
+      "epoch": 0.9493333333333334,
+      "grad_norm": 0.9055423140525818,
+      "learning_rate": 5.333333333333335e-07,
+      "loss": 0.4153,
+      "mean_token_accuracy": 0.9869474172592163,
+      "num_tokens": 11665408.0,
+      "step": 356
+    },
+    {
+      "epoch": 0.96,
+      "grad_norm": 0.814559817314148,
+      "learning_rate": 4.266666666666667e-07,
+      "loss": 0.3759,
+      "mean_token_accuracy": 0.988111924380064,
+      "num_tokens": 11796480.0,
+      "step": 360
+    },
+    {
+      "epoch": 0.9706666666666667,
+      "grad_norm": 0.8249328136444092,
+      "learning_rate": 3.2e-07,
+      "loss": 0.3727,
+      "mean_token_accuracy": 0.9882096629589796,
+      "num_tokens": 11927552.0,
+      "step": 364
+    },
+    {
+      "epoch": 0.9813333333333333,
+      "grad_norm": 0.7737669348716736,
+      "learning_rate": 2.1333333333333334e-07,
+      "loss": 0.4041,
+      "mean_token_accuracy": 0.9868866726756096,
+      "num_tokens": 12058624.0,
+      "step": 368
+    },
+    {
+      "epoch": 0.992,
+      "grad_norm": 0.6931367516517639,
+      "learning_rate": 1.0666666666666667e-07,
+      "loss": 0.3835,
+      "mean_token_accuracy": 0.9874988459050655,
+      "num_tokens": 12189696.0,
+      "step": 372
+    }
+  ],
+  "logging_steps": 4,
+  "max_steps": 375,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 1,
+  "save_steps": 5000,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 1.935438365196288e+18,
+  "train_batch_size": 2,
+  "trial_name": null,
+  "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:97e074fc478a5116e8626b46250c42cce2e89d4de00811357edef953e0e5d73a
+size 6161