Hugging Face's logo

iHateNLP
/
deepseek-coder-1.3b-base-JUnit

PEFT
Safetensors
llama
trl
sft
Generated from Trainer
Model card Files
xet
Community
iHateNLP commited on
Commit
d4fa5be
·
verified ·
1 Parent(s): bf37c67

End of training

Browse files
Files changed (12) hide show
  1. README.md +72 -0
  2. adapter_config.json +34 -0
  3. adapter_model.safetensors +3 -0
  4. all_results.json +16 -0
  5. config.json +33 -0
  6. eval_results.json +9 -0
  7. special_tokens_map.json +23 -0
  8. tokenizer.json +0 -0
  9. tokenizer_config.json +194 -0
  10. train_results.json +10 -0
  11. trainer_state.json +3575 -0
  12. training_args.bin +3 -0
README.md ADDED
@@ -0,0 +1,72 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: deepseek-ai/deepseek-coder-1.3b-base
3
+ datasets:
4
+ - Sohaib9920/code_tests
5
+ library_name: peft
6
+ license: other
7
+ tags:
8
+ - trl
9
+ - sft
10
+ - generated_from_trainer
11
+ model-index:
12
+ - name: sft_00
13
+ results: []
14
+ ---
15
+
16
+ <!-- This model card has been generated automatically according to the information the Trainer had access to. You
17
+ should probably proofread and complete it, then remove this comment. -->
18
+
19
+ # sft_00
20
+
21
+ This model is a fine-tuned version of [deepseek-ai/deepseek-coder-1.3b-base](https://huggingface.co/deepseek-ai/deepseek-coder-1.3b-base) on the Sohaib9920/code_tests dataset.
22
+ It achieves the following results on the evaluation set:
23
+ - Loss: 0.2291
24
+
25
+ ## Model description
26
+
27
+ More information needed
28
+
29
+ ## Intended uses & limitations
30
+
31
+ More information needed
32
+
33
+ ## Training and evaluation data
34
+
35
+ More information needed
36
+
37
+ ## Training procedure
38
+
39
+ ### Training hyperparameters
40
+
41
+ The following hyperparameters were used during training:
42
+ - learning_rate: 0.0005
43
+ - train_batch_size: 2
44
+ - eval_batch_size: 4
45
+ - seed: 42
46
+ - distributed_type: multi-GPU
47
+ - num_devices: 2
48
+ - gradient_accumulation_steps: 8
49
+ - total_train_batch_size: 32
50
+ - total_eval_batch_size: 8
51
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
52
+ - lr_scheduler_type: cosine
53
+ - num_epochs: 2
54
+ - mixed_precision_training: Native AMP
55
+
56
+ ### Training results
57
+
58
+ | Training Loss | Epoch | Step | Validation Loss |
59
+ |:-------------:|:------:|:----:|:---------------:|
60
+ | 0.4228 | 0.4996 | 623 | 0.3337 |
61
+ | 0.3632 | 0.9993 | 1246 | 0.2687 |
62
+ | 0.264 | 1.4989 | 1869 | 0.2418 |
63
+ | 0.2535 | 1.9986 | 2492 | 0.2291 |
64
+
65
+
66
+ ### Framework versions
67
+
68
+ - PEFT 0.12.0
69
+ - Transformers 4.44.2
70
+ - Pytorch 2.4.0
71
+ - Datasets 2.21.0
72
+ - Tokenizers 0.19.1
adapter_config.json ADDED
@@ -0,0 +1,34 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alpha_pattern": {},
3
+ "auto_mapping": null,
4
+ "base_model_name_or_path": "deepseek-ai/deepseek-coder-1.3b-base",
5
+ "bias": "none",
6
+ "fan_in_fan_out": false,
7
+ "inference_mode": true,
8
+ "init_lora_weights": true,
9
+ "layer_replication": null,
10
+ "layers_pattern": null,
11
+ "layers_to_transform": null,
12
+ "loftq_config": {},
13
+ "lora_alpha": 64,
14
+ "lora_dropout": 0.05,
15
+ "megatron_config": null,
16
+ "megatron_core": "megatron.core",
17
+ "modules_to_save": null,
18
+ "peft_type": "LORA",
19
+ "r": 32,
20
+ "rank_pattern": {},
21
+ "revision": null,
22
+ "target_modules": [
23
+ "k_proj",
24
+ "v_proj",
25
+ "gate_proj",
26
+ "q_proj",
27
+ "o_proj",
28
+ "down_proj",
29
+ "up_proj"
30
+ ],
31
+ "task_type": "CAUSAL_LM",
32
+ "use_dora": false,
33
+ "use_rslora": false
34
+ }
adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:99b1f6e2f3a3249bd7eb172e5b3179923ebbd7570cd82121a5128f0ec68c9524
3
+ size 119975656
all_results.json ADDED
@@ -0,0 +1,16 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 1.9985964912280703,
3
+ "eval_loss": 0.22910664975643158,
4
+ "eval_runtime": 8.378,
5
+ "eval_samples": 100,
6
+ "eval_samples_per_second": 6.565,
7
+ "eval_steps_per_second": 0.836,
8
+ "perplexity": 1.2574761413829163,
9
+ "raw_train_examples": 78434,
10
+ "total_flos": 8.025299762167153e+17,
11
+ "train_examples": 39900,
12
+ "train_loss": 0.37913749282088366,
13
+ "train_runtime": 28381.1385,
14
+ "train_samples_per_second": 2.812,
15
+ "train_steps_per_second": 0.088
16
+ }
config.json ADDED
@@ -0,0 +1,33 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "deepseek-ai/deepseek-coder-1.3b-base",
3
+ "architectures": [
4
+ "LlamaForCausalLM"
5
+ ],
6
+ "attention_bias": false,
7
+ "attention_dropout": 0.0,
8
+ "bos_token_id": 32013,
9
+ "eos_token_id": 32014,
10
+ "hidden_act": "silu",
11
+ "hidden_size": 2048,
12
+ "initializer_range": 0.02,
13
+ "intermediate_size": 5504,
14
+ "max_position_embeddings": 16384,
15
+ "mlp_bias": false,
16
+ "model_type": "llama",
17
+ "num_attention_heads": 16,
18
+ "num_hidden_layers": 24,
19
+ "num_key_value_heads": 16,
20
+ "pretraining_tp": 1,
21
+ "rms_norm_eps": 1e-06,
22
+ "rope_scaling": {
23
+ "factor": 4.0,
24
+ "rope_type": "linear",
25
+ "type": "linear"
26
+ },
27
+ "rope_theta": 100000,
28
+ "tie_word_embeddings": false,
29
+ "torch_dtype": "float16",
30
+ "transformers_version": "4.44.2",
31
+ "use_cache": true,
32
+ "vocab_size": 32256
33
+ }
eval_results.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 1.9985964912280703,
3
+ "eval_loss": 0.22910664975643158,
4
+ "eval_runtime": 8.378,
5
+ "eval_samples": 100,
6
+ "eval_samples_per_second": 6.565,
7
+ "eval_steps_per_second": 0.836,
8
+ "perplexity": 1.2574761413829163
9
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,23 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<｜begin▁of▁sentence｜>",
4
+ "lstrip": false,
5
+ "normalized": true,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "eos_token": {
10
+ "content": "<｜end▁of▁sentence｜>",
11
+ "lstrip": false,
12
+ "normalized": true,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "<｜end▁of▁sentence｜>",
18
+ "lstrip": false,
19
+ "normalized": true,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ }
23
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,194 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_bos_token": true,
3
+ "add_eos_token": false,
4
+ "add_prefix_space": null,
5
+ "added_tokens_decoder": {
6
+ "32000": {
7
+ "content": "õ",
8
+ "lstrip": false,
9
+ "normalized": true,
10
+ "rstrip": false,
11
+ "single_word": false,
12
+ "special": false
13
+ },
14
+ "32001": {
15
+ "content": "÷",
16
+ "lstrip": false,
17
+ "normalized": true,
18
+ "rstrip": false,
19
+ "single_word": false,
20
+ "special": false
21
+ },
22
+ "32002": {
23
+ "content": "Á",
24
+ "lstrip": false,
25
+ "normalized": true,
26
+ "rstrip": false,
27
+ "single_word": false,
28
+ "special": false
29
+ },
30
+ "32003": {
31
+ "content": "ý",
32
+ "lstrip": false,
33
+ "normalized": true,
34
+ "rstrip": false,
35
+ "single_word": false,
36
+ "special": false
37
+ },
38
+ "32004": {
39
+ "content": "À",
40
+ "lstrip": false,
41
+ "normalized": true,
42
+ "rstrip": false,
43
+ "single_word": false,
44
+ "special": false
45
+ },
46
+ "32005": {
47
+ "content": "ÿ",
48
+ "lstrip": false,
49
+ "normalized": true,
50
+ "rstrip": false,
51
+ "single_word": false,
52
+ "special": false
53
+ },
54
+ "32006": {
55
+ "content": "ø",
56
+ "lstrip": false,
57
+ "normalized": true,
58
+ "rstrip": false,
59
+ "single_word": false,
60
+ "special": false
61
+ },
62
+ "32007": {
63
+ "content": "ú",
64
+ "lstrip": false,
65
+ "normalized": true,
66
+ "rstrip": false,
67
+ "single_word": false,
68
+ "special": false
69
+ },
70
+ "32008": {
71
+ "content": "þ",
72
+ "lstrip": false,
73
+ "normalized": true,
74
+ "rstrip": false,
75
+ "single_word": false,
76
+ "special": false
77
+ },
78
+ "32009": {
79
+ "content": "ü",
80
+ "lstrip": false,
81
+ "normalized": true,
82
+ "rstrip": false,
83
+ "single_word": false,
84
+ "special": false
85
+ },
86
+ "32010": {
87
+ "content": "ù",
88
+ "lstrip": false,
89
+ "normalized": true,
90
+ "rstrip": false,
91
+ "single_word": false,
92
+ "special": false
93
+ },
94
+ "32011": {
95
+ "content": "ö",
96
+ "lstrip": false,
97
+ "normalized": true,
98
+ "rstrip": false,
99
+ "single_word": false,
100
+ "special": false
101
+ },
102
+ "32012": {
103
+ "content": "û",
104
+ "lstrip": false,
105
+ "normalized": true,
106
+ "rstrip": false,
107
+ "single_word": false,
108
+ "special": false
109
+ },
110
+ "32013": {
111
+ "content": "<｜begin▁of▁sentence｜>",
112
+ "lstrip": false,
113
+ "normalized": true,
114
+ "rstrip": false,
115
+ "single_word": false,
116
+ "special": true
117
+ },
118
+ "32014": {
119
+ "content": "<｜end▁of▁sentence｜>",
120
+ "lstrip": false,
121
+ "normalized": true,
122
+ "rstrip": false,
123
+ "single_word": false,
124
+ "special": true
125
+ },
126
+ "32015": {
127
+ "content": "<｜fim▁hole｜>",
128
+ "lstrip": false,
129
+ "normalized": true,
130
+ "rstrip": false,
131
+ "single_word": false,
132
+ "special": false
133
+ },
134
+ "32016": {
135
+ "content": "<｜fim▁begin｜>",
136
+ "lstrip": false,
137
+ "normalized": true,
138
+ "rstrip": false,
139
+ "single_word": false,
140
+ "special": false
141
+ },
142
+ "32017": {
143
+ "content": "<｜fim▁end｜>",
144
+ "lstrip": false,
145
+ "normalized": true,
146
+ "rstrip": false,
147
+ "single_word": false,
148
+ "special": false
149
+ },
150
+ "32018": {
151
+ "content": "<pad>",
152
+ "lstrip": false,
153
+ "normalized": true,
154
+ "rstrip": false,
155
+ "single_word": false,
156
+ "special": false
157
+ },
158
+ "32019": {
159
+ "content": "<|User|>",
160
+ "lstrip": false,
161
+ "normalized": true,
162
+ "rstrip": false,
163
+ "single_word": false,
164
+ "special": false
165
+ },
166
+ "32020": {
167
+ "content": "<|Assistant|>",
168
+ "lstrip": false,
169
+ "normalized": true,
170
+ "rstrip": false,
171
+ "single_word": false,
172
+ "special": false
173
+ },
174
+ "32021": {
175
+ "content": "<|EOT|>",
176
+ "lstrip": false,
177
+ "normalized": true,
178
+ "rstrip": false,
179
+ "single_word": false,
180
+ "special": false
181
+ }
182
+ },
183
+ "bos_token": "<｜begin▁of▁sentence｜>",
184
+ "chat_template": "{% for message in messages %}{% if (message['role'] == 'system')%}{{ message['content'] + '\n\n' }}{% elif (message['role'] == 'user')%}{{ 'Generate a unit test case for the following Java method:\n' + message['content'] + '\n\n' }}{% elif (message['role'] == 'assistant')%}{{ 'Unit test case:\n' + message['content'] + '\n\n' }}{% endif %}{% if loop.last and message['role'] == 'user' and add_generation_prompt %}{{ 'Unit test case:\n' }}{% endif %}{% endfor %}",
185
+ "clean_up_tokenization_spaces": false,
186
+ "eos_token": "<｜end▁of▁sentence｜>",
187
+ "legacy": true,
188
+ "model_max_length": 16384,
189
+ "pad_token": "<｜end▁of▁sentence｜>",
190
+ "sp_model_kwargs": {},
191
+ "tokenizer_class": "LlamaTokenizer",
192
+ "unk_token": null,
193
+ "use_default_system_prompt": false
194
+ }
train_results.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 1.9985964912280703,
3
+ "raw_train_examples": 78434,
4
+ "total_flos": 8.025299762167153e+17,
5
+ "train_examples": 39900,
6
+ "train_loss": 0.37913749282088366,
7
+ "train_runtime": 28381.1385,
8
+ "train_samples_per_second": 2.812,
9
+ "train_steps_per_second": 0.088
10
+ }
trainer_state.json ADDED
@@ -0,0 +1,3575 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 1.9985964912280703,
5
+ "eval_steps": 623,
6
+ "global_step": 2492,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.0008020050125313284,
13
+ "grad_norm": 0.09629630297422409,
14
+ "learning_rate": 0.000499999801338539,
15
+ "loss": 0.8462,
16
+ "step": 1
17
+ },
18
+ {
19
+ "epoch": 0.0040100250626566416,
20
+ "grad_norm": 0.09335128962993622,
21
+ "learning_rate": 0.0004999950334792631,
22
+ "loss": 0.9167,
23
+ "step": 5
24
+ },
25
+ {
26
+ "epoch": 0.008020050125313283,
27
+ "grad_norm": 0.0814199447631836,
28
+ "learning_rate": 0.0004999801341143832,
29
+ "loss": 0.8982,
30
+ "step": 10
31
+ },
32
+ {
33
+ "epoch": 0.012030075187969926,
34
+ "grad_norm": 0.0830962136387825,
35
+ "learning_rate": 0.0004999553024973442,
36
+ "loss": 0.8568,
37
+ "step": 15
38
+ },
39
+ {
40
+ "epoch": 0.016040100250626566,
41
+ "grad_norm": 0.07535357028245926,
42
+ "learning_rate": 0.00049992053961476,
43
+ "loss": 0.8423,
44
+ "step": 20
45
+ },
46
+ {
47
+ "epoch": 0.020050125313283207,
48
+ "grad_norm": 0.08100854605436325,
49
+ "learning_rate": 0.0004998758468478354,
50
+ "loss": 0.822,
51
+ "step": 25
52
+ },
53
+ {
54
+ "epoch": 0.02406015037593985,
55
+ "grad_norm": 0.0720616802573204,
56
+ "learning_rate": 0.0004998212259723108,
57
+ "loss": 0.801,
58
+ "step": 30
59
+ },
60
+ {
61
+ "epoch": 0.028070175438596492,
62
+ "grad_norm": 0.07352820038795471,
63
+ "learning_rate": 0.0004997566791583916,
64
+ "loss": 0.819,
65
+ "step": 35
66
+ },
67
+ {
68
+ "epoch": 0.03208020050125313,
69
+ "grad_norm": 0.07747522741556168,
70
+ "learning_rate": 0.0004996822089706628,
71
+ "loss": 0.7917,
72
+ "step": 40
73
+ },
74
+ {
75
+ "epoch": 0.03609022556390978,
76
+ "grad_norm": 0.0775732770562172,
77
+ "learning_rate": 0.0004995978183679864,
78
+ "loss": 0.8007,
79
+ "step": 45
80
+ },
81
+ {
82
+ "epoch": 0.040100250626566414,
83
+ "grad_norm": 0.08353012800216675,
84
+ "learning_rate": 0.0004995035107033833,
85
+ "loss": 0.7939,
86
+ "step": 50
87
+ },
88
+ {
89
+ "epoch": 0.04411027568922306,
90
+ "grad_norm": 0.09015482664108276,
91
+ "learning_rate": 0.0004993992897239018,
92
+ "loss": 0.7844,
93
+ "step": 55
94
+ },
95
+ {
96
+ "epoch": 0.0481203007518797,
97
+ "grad_norm": 0.08346273750066757,
98
+ "learning_rate": 0.0004992851595704668,
99
+ "loss": 0.7805,
100
+ "step": 60
101
+ },
102
+ {
103
+ "epoch": 0.05213032581453634,
104
+ "grad_norm": 0.08374553918838501,
105
+ "learning_rate": 0.0004991611247777166,
106
+ "loss": 0.7758,
107
+ "step": 65
108
+ },
109
+ {
110
+ "epoch": 0.056140350877192984,
111
+ "grad_norm": 0.0855209082365036,
112
+ "learning_rate": 0.0004990271902738223,
113
+ "loss": 0.7799,
114
+ "step": 70
115
+ },
116
+ {
117
+ "epoch": 0.06015037593984962,
118
+ "grad_norm": 0.08624681085348129,
119
+ "learning_rate": 0.0004988833613802917,
120
+ "loss": 0.7461,
121
+ "step": 75
122
+ },
123
+ {
124
+ "epoch": 0.06416040100250626,
125
+ "grad_norm": 0.08796326816082001,
126
+ "learning_rate": 0.0004987296438117581,
127
+ "loss": 0.7181,
128
+ "step": 80
129
+ },
130
+ {
131
+ "epoch": 0.06817042606516291,
132
+ "grad_norm": 0.08574078977108002,
133
+ "learning_rate": 0.0004985660436757538,
134
+ "loss": 0.7209,
135
+ "step": 85
136
+ },
137
+ {
138
+ "epoch": 0.07218045112781955,
139
+ "grad_norm": 0.09403970092535019,
140
+ "learning_rate": 0.0004983925674724662,
141
+ "loss": 0.7297,
142
+ "step": 90
143
+ },
144
+ {
145
+ "epoch": 0.0761904761904762,
146
+ "grad_norm": 0.1051216572523117,
147
+ "learning_rate": 0.0004982092220944808,
148
+ "loss": 0.7077,
149
+ "step": 95
150
+ },
151
+ {
152
+ "epoch": 0.08020050125313283,
153
+ "grad_norm": 0.10198145359754562,
154
+ "learning_rate": 0.0004980160148265066,
155
+ "loss": 0.7369,
156
+ "step": 100
157
+ },
158
+ {
159
+ "epoch": 0.08421052631578947,
160
+ "grad_norm": 0.10444864630699158,
161
+ "learning_rate": 0.0004978129533450866,
162
+ "loss": 0.7044,
163
+ "step": 105
164
+ },
165
+ {
166
+ "epoch": 0.08822055137844612,
167
+ "grad_norm": 0.09810823947191238,
168
+ "learning_rate": 0.0004976000457182935,
169
+ "loss": 0.7055,
170
+ "step": 110
171
+ },
172
+ {
173
+ "epoch": 0.09223057644110276,
174
+ "grad_norm": 0.10619106888771057,
175
+ "learning_rate": 0.0004973773004054081,
176
+ "loss": 0.6951,
177
+ "step": 115
178
+ },
179
+ {
180
+ "epoch": 0.0962406015037594,
181
+ "grad_norm": 0.11827559024095535,
182
+ "learning_rate": 0.0004971447262565846,
183
+ "loss": 0.7285,
184
+ "step": 120
185
+ },
186
+ {
187
+ "epoch": 0.10025062656641603,
188
+ "grad_norm": 0.09872109442949295,
189
+ "learning_rate": 0.0004969023325124974,
190
+ "loss": 0.7065,
191
+ "step": 125
192
+ },
193
+ {
194
+ "epoch": 0.10426065162907268,
195
+ "grad_norm": 0.11186440289020538,
196
+ "learning_rate": 0.0004966501288039749,
197
+ "loss": 0.6663,
198
+ "step": 130
199
+ },
200
+ {
201
+ "epoch": 0.10827067669172932,
202
+ "grad_norm": 0.10218355059623718,
203
+ "learning_rate": 0.0004963881251516169,
204
+ "loss": 0.6763,
205
+ "step": 135
206
+ },
207
+ {
208
+ "epoch": 0.11228070175438597,
209
+ "grad_norm": 0.11396008729934692,
210
+ "learning_rate": 0.0004961163319653958,
211
+ "loss": 0.6704,
212
+ "step": 140
213
+ },
214
+ {
215
+ "epoch": 0.11629072681704261,
216
+ "grad_norm": 0.10969991981983185,
217
+ "learning_rate": 0.0004958347600442437,
218
+ "loss": 0.6779,
219
+ "step": 145
220
+ },
221
+ {
222
+ "epoch": 0.12030075187969924,
223
+ "grad_norm": 0.11111714690923691,
224
+ "learning_rate": 0.0004955434205756226,
225
+ "loss": 0.6835,
226
+ "step": 150
227
+ },
228
+ {
229
+ "epoch": 0.12431077694235589,
230
+ "grad_norm": 0.11582209914922714,
231
+ "learning_rate": 0.000495242325135081,
232
+ "loss": 0.6966,
233
+ "step": 155
234
+ },
235
+ {
236
+ "epoch": 0.12832080200501253,
237
+ "grad_norm": 0.11664141714572906,
238
+ "learning_rate": 0.0004949314856857926,
239
+ "loss": 0.641,
240
+ "step": 160
241
+ },
242
+ {
243
+ "epoch": 0.13233082706766916,
244
+ "grad_norm": 0.11299869418144226,
245
+ "learning_rate": 0.000494610914578082,
246
+ "loss": 0.6349,
247
+ "step": 165
248
+ },
249
+ {
250
+ "epoch": 0.13634085213032582,
251
+ "grad_norm": 0.10604275017976761,
252
+ "learning_rate": 0.0004942806245489338,
253
+ "loss": 0.6498,
254
+ "step": 170
255
+ },
256
+ {
257
+ "epoch": 0.14035087719298245,
258
+ "grad_norm": 0.11253874003887177,
259
+ "learning_rate": 0.000493940628721486,
260
+ "loss": 0.6536,
261
+ "step": 175
262
+ },
263
+ {
264
+ "epoch": 0.1443609022556391,
265
+ "grad_norm": 0.12596091628074646,
266
+ "learning_rate": 0.0004935909406045095,
267
+ "loss": 0.6348,
268
+ "step": 180
269
+ },
270
+ {
271
+ "epoch": 0.14837092731829574,
272
+ "grad_norm": 0.12171223014593124,
273
+ "learning_rate": 0.0004932315740918703,
274
+ "loss": 0.64,
275
+ "step": 185
276
+ },
277
+ {
278
+ "epoch": 0.1523809523809524,
279
+ "grad_norm": 0.12628182768821716,
280
+ "learning_rate": 0.0004928625434619785,
281
+ "loss": 0.6225,
282
+ "step": 190
283
+ },
284
+ {
285
+ "epoch": 0.15639097744360902,
286
+ "grad_norm": 0.12631121277809143,
287
+ "learning_rate": 0.0004924838633772201,
288
+ "loss": 0.6197,
289
+ "step": 195
290
+ },
291
+ {
292
+ "epoch": 0.16040100250626566,
293
+ "grad_norm": 0.12037768959999084,
294
+ "learning_rate": 0.0004920955488833753,
295
+ "loss": 0.6201,
296
+ "step": 200
297
+ },
298
+ {
299
+ "epoch": 0.1644110275689223,
300
+ "grad_norm": 0.11302505433559418,
301
+ "learning_rate": 0.0004916976154090198,
302
+ "loss": 0.5972,
303
+ "step": 205
304
+ },
305
+ {
306
+ "epoch": 0.16842105263157894,
307
+ "grad_norm": 0.15172865986824036,
308
+ "learning_rate": 0.0004912900787649124,
309
+ "loss": 0.6322,
310
+ "step": 210
311
+ },
312
+ {
313
+ "epoch": 0.1724310776942356,
314
+ "grad_norm": 0.12461714446544647,
315
+ "learning_rate": 0.0004908729551433668,
316
+ "loss": 0.5681,
317
+ "step": 215
318
+ },
319
+ {
320
+ "epoch": 0.17644110275689223,
321
+ "grad_norm": 0.11686723679304123,
322
+ "learning_rate": 0.0004904462611176079,
323
+ "loss": 0.6112,
324
+ "step": 220
325
+ },
326
+ {
327
+ "epoch": 0.18045112781954886,
328
+ "grad_norm": 0.12082964181900024,
329
+ "learning_rate": 0.0004900100136411134,
330
+ "loss": 0.59,
331
+ "step": 225
332
+ },
333
+ {
334
+ "epoch": 0.18446115288220552,
335
+ "grad_norm": 0.14786957204341888,
336
+ "learning_rate": 0.0004895642300469405,
337
+ "loss": 0.6008,
338
+ "step": 230
339
+ },
340
+ {
341
+ "epoch": 0.18847117794486215,
342
+ "grad_norm": 0.11940759420394897,
343
+ "learning_rate": 0.0004891089280470369,
344
+ "loss": 0.5781,
345
+ "step": 235
346
+ },
347
+ {
348
+ "epoch": 0.1924812030075188,
349
+ "grad_norm": 0.12067493796348572,
350
+ "learning_rate": 0.0004886441257315373,
351
+ "loss": 0.5963,
352
+ "step": 240
353
+ },
354
+ {
355
+ "epoch": 0.19649122807017544,
356
+ "grad_norm": 0.12630167603492737,
357
+ "learning_rate": 0.0004881698415680442,
358
+ "loss": 0.5767,
359
+ "step": 245
360
+ },
361
+ {
362
+ "epoch": 0.20050125313283207,
363
+ "grad_norm": 0.12695525586605072,
364
+ "learning_rate": 0.00048768609440089474,
365
+ "loss": 0.6039,
366
+ "step": 250
367
+ },
368
+ {
369
+ "epoch": 0.20451127819548873,
370
+ "grad_norm": 0.13445709645748138,
371
+ "learning_rate": 0.00048719290345041166,
372
+ "loss": 0.6087,
373
+ "step": 255
374
+ },
375
+ {
376
+ "epoch": 0.20852130325814536,
377
+ "grad_norm": 0.13432475924491882,
378
+ "learning_rate": 0.0004866902883121397,
379
+ "loss": 0.5491,
380
+ "step": 260
381
+ },
382
+ {
383
+ "epoch": 0.21253132832080202,
384
+ "grad_norm": 0.15156829357147217,
385
+ "learning_rate": 0.0004861782689560667,
386
+ "loss": 0.5492,
387
+ "step": 265
388
+ },
389
+ {
390
+ "epoch": 0.21654135338345865,
391
+ "grad_norm": 0.13093040883541107,
392
+ "learning_rate": 0.0004856568657258308,
393
+ "loss": 0.6045,
394
+ "step": 270
395
+ },
396
+ {
397
+ "epoch": 0.22055137844611528,
398
+ "grad_norm": 0.1290189027786255,
399
+ "learning_rate": 0.00048512609933791165,
400
+ "loss": 0.5433,
401
+ "step": 275
402
+ },
403
+ {
404
+ "epoch": 0.22456140350877193,
405
+ "grad_norm": 0.13374298810958862,
406
+ "learning_rate": 0.00048458599088080736,
407
+ "loss": 0.5575,
408
+ "step": 280
409
+ },
410
+ {
411
+ "epoch": 0.22857142857142856,
412
+ "grad_norm": 0.1266585886478424,
413
+ "learning_rate": 0.00048403656181419686,
414
+ "loss": 0.5474,
415
+ "step": 285
416
+ },
417
+ {
418
+ "epoch": 0.23258145363408522,
419
+ "grad_norm": 0.13824708759784698,
420
+ "learning_rate": 0.00048347783396808687,
421
+ "loss": 0.5465,
422
+ "step": 290
423
+ },
424
+ {
425
+ "epoch": 0.23659147869674185,
426
+ "grad_norm": 0.12988659739494324,
427
+ "learning_rate": 0.00048290982954194485,
428
+ "loss": 0.5605,
429
+ "step": 295
430
+ },
431
+ {
432
+ "epoch": 0.24060150375939848,
433
+ "grad_norm": 0.13609863817691803,
434
+ "learning_rate": 0.0004823325711038169,
435
+ "loss": 0.5812,
436
+ "step": 300
437
+ },
438
+ {
439
+ "epoch": 0.24461152882205514,
440
+ "grad_norm": 0.14271323382854462,
441
+ "learning_rate": 0.00048174608158943114,
442
+ "loss": 0.5485,
443
+ "step": 305
444
+ },
445
+ {
446
+ "epoch": 0.24862155388471177,
447
+ "grad_norm": 0.13438940048217773,
448
+ "learning_rate": 0.0004811503843012861,
449
+ "loss": 0.5325,
450
+ "step": 310
451
+ },
452
+ {
453
+ "epoch": 0.25263157894736843,
454
+ "grad_norm": 0.138273686170578,
455
+ "learning_rate": 0.0004805455029077255,
456
+ "loss": 0.5283,
457
+ "step": 315
458
+ },
459
+ {
460
+ "epoch": 0.25664160401002506,
461
+ "grad_norm": 0.15901249647140503,
462
+ "learning_rate": 0.0004799314614419969,
463
+ "loss": 0.5717,
464
+ "step": 320
465
+ },
466
+ {
467
+ "epoch": 0.2606516290726817,
468
+ "grad_norm": 0.14647658169269562,
469
+ "learning_rate": 0.0004793082843012979,
470
+ "loss": 0.5378,
471
+ "step": 325
472
+ },
473
+ {
474
+ "epoch": 0.2646616541353383,
475
+ "grad_norm": 0.1300746202468872,
476
+ "learning_rate": 0.0004786759962458059,
477
+ "loss": 0.5183,
478
+ "step": 330
479
+ },
480
+ {
481
+ "epoch": 0.268671679197995,
482
+ "grad_norm": 0.13711751997470856,
483
+ "learning_rate": 0.000478034622397695,
484
+ "loss": 0.5442,
485
+ "step": 335
486
+ },
487
+ {
488
+ "epoch": 0.27268170426065164,
489
+ "grad_norm": 0.150499626994133,
490
+ "learning_rate": 0.0004773841882401372,
491
+ "loss": 0.524,
492
+ "step": 340
493
+ },
494
+ {
495
+ "epoch": 0.27669172932330827,
496
+ "grad_norm": 0.13912473618984222,
497
+ "learning_rate": 0.00047672471961629037,
498
+ "loss": 0.5412,
499
+ "step": 345
500
+ },
501
+ {
502
+ "epoch": 0.2807017543859649,
503
+ "grad_norm": 0.1455031782388687,
504
+ "learning_rate": 0.0004760562427282712,
505
+ "loss": 0.5321,
506
+ "step": 350
507
+ },
508
+ {
509
+ "epoch": 0.2847117794486215,
510
+ "grad_norm": 0.12485536932945251,
511
+ "learning_rate": 0.0004753787841361145,
512
+ "loss": 0.5113,
513
+ "step": 355
514
+ },
515
+ {
516
+ "epoch": 0.2887218045112782,
517
+ "grad_norm": 0.13250643014907837,
518
+ "learning_rate": 0.00047469237075671724,
519
+ "loss": 0.5402,
520
+ "step": 360
521
+ },
522
+ {
523
+ "epoch": 0.29273182957393484,
524
+ "grad_norm": 0.13680434226989746,
525
+ "learning_rate": 0.00047399702986276984,
526
+ "loss": 0.5751,
527
+ "step": 365
528
+ },
529
+ {
530
+ "epoch": 0.2967418546365915,
531
+ "grad_norm": 0.14655643701553345,
532
+ "learning_rate": 0.0004732927890816719,
533
+ "loss": 0.5371,
534
+ "step": 370
535
+ },
536
+ {
537
+ "epoch": 0.3007518796992481,
538
+ "grad_norm": 0.14064128696918488,
539
+ "learning_rate": 0.00047257967639443513,
540
+ "loss": 0.531,
541
+ "step": 375
542
+ },
543
+ {
544
+ "epoch": 0.3047619047619048,
545
+ "grad_norm": 0.14199021458625793,
546
+ "learning_rate": 0.00047185772013457096,
547
+ "loss": 0.4934,
548
+ "step": 380
549
+ },
550
+ {
551
+ "epoch": 0.3087719298245614,
552
+ "grad_norm": 0.14177988469600677,
553
+ "learning_rate": 0.00047112694898696533,
554
+ "loss": 0.5249,
555
+ "step": 385
556
+ },
557
+ {
558
+ "epoch": 0.31278195488721805,
559
+ "grad_norm": 0.14135052263736725,
560
+ "learning_rate": 0.00047038739198673876,
561
+ "loss": 0.5272,
562
+ "step": 390
563
+ },
564
+ {
565
+ "epoch": 0.3167919799498747,
566
+ "grad_norm": 0.12976044416427612,
567
+ "learning_rate": 0.00046963907851809263,
568
+ "loss": 0.5263,
569
+ "step": 395
570
+ },
571
+ {
572
+ "epoch": 0.3208020050125313,
573
+ "grad_norm": 0.15720346570014954,
574
+ "learning_rate": 0.0004688820383131418,
575
+ "loss": 0.4858,
576
+ "step": 400
577
+ },
578
+ {
579
+ "epoch": 0.324812030075188,
580
+ "grad_norm": 0.14797399938106537,
581
+ "learning_rate": 0.0004681163014507334,
582
+ "loss": 0.5201,
583
+ "step": 405
584
+ },
585
+ {
586
+ "epoch": 0.3288220551378446,
587
+ "grad_norm": 0.15095673501491547,
588
+ "learning_rate": 0.0004673418983552513,
589
+ "loss": 0.5366,
590
+ "step": 410
591
+ },
592
+ {
593
+ "epoch": 0.33283208020050126,
594
+ "grad_norm": 0.16217216849327087,
595
+ "learning_rate": 0.00046655885979540783,
596
+ "loss": 0.4836,
597
+ "step": 415
598
+ },
599
+ {
600
+ "epoch": 0.3368421052631579,
601
+ "grad_norm": 0.14743471145629883,
602
+ "learning_rate": 0.00046576721688302105,
603
+ "loss": 0.5067,
604
+ "step": 420
605
+ },
606
+ {
607
+ "epoch": 0.3408521303258145,
608
+ "grad_norm": 0.15485595166683197,
609
+ "learning_rate": 0.00046496700107177835,
610
+ "loss": 0.4614,
611
+ "step": 425
612
+ },
613
+ {
614
+ "epoch": 0.3448621553884712,
615
+ "grad_norm": 0.15458199381828308,
616
+ "learning_rate": 0.0004641582441559872,
617
+ "loss": 0.4897,
618
+ "step": 430
619
+ },
620
+ {
621
+ "epoch": 0.34887218045112783,
622
+ "grad_norm": 0.13934871554374695,
623
+ "learning_rate": 0.00046334097826931144,
624
+ "loss": 0.522,
625
+ "step": 435
626
+ },
627
+ {
628
+ "epoch": 0.35288220551378446,
629
+ "grad_norm": 0.1473606377840042,
630
+ "learning_rate": 0.00046251523588349485,
631
+ "loss": 0.4851,
632
+ "step": 440
633
+ },
634
+ {
635
+ "epoch": 0.3568922305764411,
636
+ "grad_norm": 0.14684675633907318,
637
+ "learning_rate": 0.00046168104980707104,
638
+ "loss": 0.4888,
639
+ "step": 445
640
+ },
641
+ {
642
+ "epoch": 0.3609022556390977,
643
+ "grad_norm": 0.15129096806049347,
644
+ "learning_rate": 0.0004608384531840595,
645
+ "loss": 0.5236,
646
+ "step": 450
647
+ },
648
+ {
649
+ "epoch": 0.3649122807017544,
650
+ "grad_norm": 0.15553347766399384,
651
+ "learning_rate": 0.00045998747949264895,
652
+ "loss": 0.4791,
653
+ "step": 455
654
+ },
655
+ {
656
+ "epoch": 0.36892230576441104,
657
+ "grad_norm": 0.16991403698921204,
658
+ "learning_rate": 0.00045912816254386747,
659
+ "loss": 0.4672,
660
+ "step": 460
661
+ },
662
+ {
663
+ "epoch": 0.37293233082706767,
664
+ "grad_norm": 0.15001340210437775,
665
+ "learning_rate": 0.0004582605364802385,
666
+ "loss": 0.4989,
667
+ "step": 465
668
+ },
669
+ {
670
+ "epoch": 0.3769423558897243,
671
+ "grad_norm": 0.15301191806793213,
672
+ "learning_rate": 0.00045738463577442467,
673
+ "loss": 0.4885,
674
+ "step": 470
675
+ },
676
+ {
677
+ "epoch": 0.38095238095238093,
678
+ "grad_norm": 0.1510782241821289,
679
+ "learning_rate": 0.00045650049522785827,
680
+ "loss": 0.4827,
681
+ "step": 475
682
+ },
683
+ {
684
+ "epoch": 0.3849624060150376,
685
+ "grad_norm": 0.14636896550655365,
686
+ "learning_rate": 0.0004556081499693581,
687
+ "loss": 0.4791,
688
+ "step": 480
689
+ },
690
+ {
691
+ "epoch": 0.38897243107769425,
692
+ "grad_norm": 0.1476137489080429,
693
+ "learning_rate": 0.00045470763545373395,
694
+ "loss": 0.4709,
695
+ "step": 485
696
+ },
697
+ {
698
+ "epoch": 0.3929824561403509,
699
+ "grad_norm": 0.15410684049129486,
700
+ "learning_rate": 0.000453798987460378,
701
+ "loss": 0.4794,
702
+ "step": 490
703
+ },
704
+ {
705
+ "epoch": 0.3969924812030075,
706
+ "grad_norm": 0.14843297004699707,
707
+ "learning_rate": 0.00045288224209184315,
708
+ "loss": 0.5077,
709
+ "step": 495
710
+ },
711
+ {
712
+ "epoch": 0.40100250626566414,
713
+ "grad_norm": 0.1490759700536728,
714
+ "learning_rate": 0.00045195743577240835,
715
+ "loss": 0.464,
716
+ "step": 500
717
+ },
718
+ {
719
+ "epoch": 0.4050125313283208,
720
+ "grad_norm": 0.17478294670581818,
721
+ "learning_rate": 0.0004510246052466317,
722
+ "loss": 0.4754,
723
+ "step": 505
724
+ },
725
+ {
726
+ "epoch": 0.40902255639097745,
727
+ "grad_norm": 0.15610414743423462,
728
+ "learning_rate": 0.0004500837875778905,
729
+ "loss": 0.488,
730
+ "step": 510
731
+ },
732
+ {
733
+ "epoch": 0.4130325814536341,
734
+ "grad_norm": 0.15166425704956055,
735
+ "learning_rate": 0.00044913502014690837,
736
+ "loss": 0.4772,
737
+ "step": 515
738
+ },
739
+ {
740
+ "epoch": 0.4170426065162907,
741
+ "grad_norm": 0.14028780162334442,
742
+ "learning_rate": 0.0004481783406502703,
743
+ "loss": 0.5013,
744
+ "step": 520
745
+ },
746
+ {
747
+ "epoch": 0.42105263157894735,
748
+ "grad_norm": 0.17099718749523163,
749
+ "learning_rate": 0.0004472137870989247,
750
+ "loss": 0.4811,
751
+ "step": 525
752
+ },
753
+ {
754
+ "epoch": 0.42506265664160403,
755
+ "grad_norm": 0.1719314604997635,
756
+ "learning_rate": 0.0004462413978166734,
757
+ "loss": 0.4735,
758
+ "step": 530
759
+ },
760
+ {
761
+ "epoch": 0.42907268170426066,
762
+ "grad_norm": 0.17192725837230682,
763
+ "learning_rate": 0.0004452612114386485,
764
+ "loss": 0.4945,
765
+ "step": 535
766
+ },
767
+ {
768
+ "epoch": 0.4330827067669173,
769
+ "grad_norm": 0.1921142190694809,
770
+ "learning_rate": 0.000444273266909778,
771
+ "loss": 0.4975,
772
+ "step": 540
773
+ },
774
+ {
775
+ "epoch": 0.4370927318295739,
776
+ "grad_norm": 0.16015449166297913,
777
+ "learning_rate": 0.00044327760348323767,
778
+ "loss": 0.4566,
779
+ "step": 545
780
+ },
781
+ {
782
+ "epoch": 0.44110275689223055,
783
+ "grad_norm": 0.15686671435832977,
784
+ "learning_rate": 0.000442274260718892,
785
+ "loss": 0.449,
786
+ "step": 550
787
+ },
788
+ {
789
+ "epoch": 0.44511278195488724,
790
+ "grad_norm": 0.1583927422761917,
791
+ "learning_rate": 0.0004412632784817221,
792
+ "loss": 0.4738,
793
+ "step": 555
794
+ },
795
+ {
796
+ "epoch": 0.44912280701754387,
797
+ "grad_norm": 0.1498887687921524,
798
+ "learning_rate": 0.00044024469694024196,
799
+ "loss": 0.4416,
800
+ "step": 560
801
+ },
802
+ {
803
+ "epoch": 0.4531328320802005,
804
+ "grad_norm": 0.16318589448928833,
805
+ "learning_rate": 0.0004392185565649024,
806
+ "loss": 0.4527,
807
+ "step": 565
808
+ },
809
+ {
810
+ "epoch": 0.45714285714285713,
811
+ "grad_norm": 0.14862380921840668,
812
+ "learning_rate": 0.000438184898126483,
813
+ "loss": 0.4613,
814
+ "step": 570
815
+ },
816
+ {
817
+ "epoch": 0.46115288220551376,
818
+ "grad_norm": 0.17321060597896576,
819
+ "learning_rate": 0.00043714376269447233,
820
+ "loss": 0.4587,
821
+ "step": 575
822
+ },
823
+ {
824
+ "epoch": 0.46516290726817044,
825
+ "grad_norm": 0.15772369503974915,
826
+ "learning_rate": 0.0004360951916354361,
827
+ "loss": 0.4546,
828
+ "step": 580
829
+ },
830
+ {
831
+ "epoch": 0.4691729323308271,
832
+ "grad_norm": 0.1607331931591034,
833
+ "learning_rate": 0.0004350392266113736,
834
+ "loss": 0.4836,
835
+ "step": 585
836
+ },
837
+ {
838
+ "epoch": 0.4731829573934837,
839
+ "grad_norm": 0.16422398388385773,
840
+ "learning_rate": 0.0004339759095780623,
841
+ "loss": 0.446,
842
+ "step": 590
843
+ },
844
+ {
845
+ "epoch": 0.47719298245614034,
846
+ "grad_norm": 0.15711261332035065,
847
+ "learning_rate": 0.00043290528278339097,
848
+ "loss": 0.4308,
849
+ "step": 595
850
+ },
851
+ {
852
+ "epoch": 0.48120300751879697,
853
+ "grad_norm": 0.15732958912849426,
854
+ "learning_rate": 0.0004318273887656811,
855
+ "loss": 0.4687,
856
+ "step": 600
857
+ },
858
+ {
859
+ "epoch": 0.48521303258145365,
860
+ "grad_norm": 0.15295931696891785,
861
+ "learning_rate": 0.00043074227035199656,
862
+ "loss": 0.4474,
863
+ "step": 605
864
+ },
865
+ {
866
+ "epoch": 0.4892230576441103,
867
+ "grad_norm": 0.16534899175167084,
868
+ "learning_rate": 0.00042964997065644204,
869
+ "loss": 0.4552,
870
+ "step": 610
871
+ },
872
+ {
873
+ "epoch": 0.4932330827067669,
874
+ "grad_norm": 0.15630511939525604,
875
+ "learning_rate": 0.00042855053307845056,
876
+ "loss": 0.4842,
877
+ "step": 615
878
+ },
879
+ {
880
+ "epoch": 0.49724310776942354,
881
+ "grad_norm": 0.1624716818332672,
882
+ "learning_rate": 0.0004274440013010581,
883
+ "loss": 0.4228,
884
+ "step": 620
885
+ },
886
+ {
887
+ "epoch": 0.49964912280701756,
888
+ "eval_loss": 0.33371835947036743,
889
+ "eval_runtime": 8.4047,
890
+ "eval_samples_per_second": 6.544,
891
+ "eval_steps_per_second": 0.833,
892
+ "step": 623
893
+ },
894
+ {
895
+ "epoch": 0.5012531328320802,
896
+ "grad_norm": 0.16876687109470367,
897
+ "learning_rate": 0.0004263304192891689,
898
+ "loss": 0.4628,
899
+ "step": 625
900
+ },
901
+ {
902
+ "epoch": 0.5052631578947369,
903
+ "grad_norm": 0.16050459444522858,
904
+ "learning_rate": 0.00042520983128780824,
905
+ "loss": 0.422,
906
+ "step": 630
907
+ },
908
+ {
909
+ "epoch": 0.5092731829573934,
910
+ "grad_norm": 0.1509382724761963,
911
+ "learning_rate": 0.00042408228182036446,
912
+ "loss": 0.4473,
913
+ "step": 635
914
+ },
915
+ {
916
+ "epoch": 0.5132832080200501,
917
+ "grad_norm": 0.16160839796066284,
918
+ "learning_rate": 0.00042294781568682,
919
+ "loss": 0.4264,
920
+ "step": 640
921
+ },
922
+ {
923
+ "epoch": 0.5172932330827068,
924
+ "grad_norm": 0.1524878293275833,
925
+ "learning_rate": 0.0004218064779619715,
926
+ "loss": 0.4332,
927
+ "step": 645
928
+ },
929
+ {
930
+ "epoch": 0.5213032581453634,
931
+ "grad_norm": 0.18008528649806976,
932
+ "learning_rate": 0.00042065831399363884,
933
+ "loss": 0.4365,
934
+ "step": 650
935
+ },
936
+ {
937
+ "epoch": 0.5253132832080201,
938
+ "grad_norm": 0.16481877863407135,
939
+ "learning_rate": 0.0004195033694008632,
940
+ "loss": 0.4417,
941
+ "step": 655
942
+ },
943
+ {
944
+ "epoch": 0.5293233082706766,
945
+ "grad_norm": 0.16098377108573914,
946
+ "learning_rate": 0.00041834169007209487,
947
+ "loss": 0.4459,
948
+ "step": 660
949
+ },
950
+ {
951
+ "epoch": 0.5333333333333333,
952
+ "grad_norm": 0.15441514551639557,
953
+ "learning_rate": 0.0004171733221633695,
954
+ "loss": 0.4178,
955
+ "step": 665
956
+ },
957
+ {
958
+ "epoch": 0.53734335839599,
959
+ "grad_norm": 0.15172994136810303,
960
+ "learning_rate": 0.00041599831209647475,
961
+ "loss": 0.4261,
962
+ "step": 670
963
+ },
964
+ {
965
+ "epoch": 0.5413533834586466,
966
+ "grad_norm": 0.16424188017845154,
967
+ "learning_rate": 0.0004148167065571055,
968
+ "loss": 0.4375,
969
+ "step": 675
970
+ },
971
+ {
972
+ "epoch": 0.5453634085213033,
973
+ "grad_norm": 0.1634334772825241,
974
+ "learning_rate": 0.0004136285524930091,
975
+ "loss": 0.4453,
976
+ "step": 680
977
+ },
978
+ {
979
+ "epoch": 0.5493734335839598,
980
+ "grad_norm": 0.1613541692495346,
981
+ "learning_rate": 0.00041243389711211997,
982
+ "loss": 0.4835,
983
+ "step": 685
984
+ },
985
+ {
986
+ "epoch": 0.5533834586466165,
987
+ "grad_norm": 0.16017889976501465,
988
+ "learning_rate": 0.00041123278788068375,
989
+ "loss": 0.4245,
990
+ "step": 690
991
+ },
992
+ {
993
+ "epoch": 0.5573934837092732,
994
+ "grad_norm": 0.1616198718547821,
995
+ "learning_rate": 0.0004100252725213718,
996
+ "loss": 0.4757,
997
+ "step": 695
998
+ },
999
+ {
1000
+ "epoch": 0.5614035087719298,
1001
+ "grad_norm": 0.15503592789173126,
1002
+ "learning_rate": 0.00040881139901138467,
1003
+ "loss": 0.438,
1004
+ "step": 700
1005
+ },
1006
+ {
1007
+ "epoch": 0.5654135338345865,
1008
+ "grad_norm": 0.15209273993968964,
1009
+ "learning_rate": 0.000407591215580546,
1010
+ "loss": 0.4258,
1011
+ "step": 705
1012
+ },
1013
+ {
1014
+ "epoch": 0.569423558897243,
1015
+ "grad_norm": 0.16087529063224792,
1016
+ "learning_rate": 0.0004063647707093864,
1017
+ "loss": 0.4319,
1018
+ "step": 710
1019
+ },
1020
+ {
1021
+ "epoch": 0.5734335839598997,
1022
+ "grad_norm": 0.16061115264892578,
1023
+ "learning_rate": 0.0004051321131272167,
1024
+ "loss": 0.4562,
1025
+ "step": 715
1026
+ },
1027
+ {
1028
+ "epoch": 0.5774436090225564,
1029
+ "grad_norm": 0.15838468074798584,
1030
+ "learning_rate": 0.0004038932918101927,
1031
+ "loss": 0.4171,
1032
+ "step": 720
1033
+ },
1034
+ {
1035
+ "epoch": 0.581453634085213,
1036
+ "grad_norm": 0.16260045766830444,
1037
+ "learning_rate": 0.00040264835597936846,
1038
+ "loss": 0.4197,
1039
+ "step": 725
1040
+ },
1041
+ {
1042
+ "epoch": 0.5854636591478697,
1043
+ "grad_norm": 0.20412659645080566,
1044
+ "learning_rate": 0.0004013973550987408,
1045
+ "loss": 0.4399,
1046
+ "step": 730
1047
+ },
1048
+ {
1049
+ "epoch": 0.5894736842105263,
1050
+ "grad_norm": 0.16249172389507294,
1051
+ "learning_rate": 0.0004001403388732842,
1052
+ "loss": 0.4141,
1053
+ "step": 735
1054
+ },
1055
+ {
1056
+ "epoch": 0.593483709273183,
1057
+ "grad_norm": 0.16174912452697754,
1058
+ "learning_rate": 0.0003988773572469761,
1059
+ "loss": 0.4235,
1060
+ "step": 740
1061
+ },
1062
+ {
1063
+ "epoch": 0.5974937343358396,
1064
+ "grad_norm": 0.16679826378822327,
1065
+ "learning_rate": 0.0003976084604008119,
1066
+ "loss": 0.4078,
1067
+ "step": 745
1068
+ },
1069
+ {
1070
+ "epoch": 0.6015037593984962,
1071
+ "grad_norm": 0.1594962477684021,
1072
+ "learning_rate": 0.0003963336987508115,
1073
+ "loss": 0.4229,
1074
+ "step": 750
1075
+ },
1076
+ {
1077
+ "epoch": 0.6055137844611529,
1078
+ "grad_norm": 0.1605675369501114,
1079
+ "learning_rate": 0.00039505312294601635,
1080
+ "loss": 0.4084,
1081
+ "step": 755
1082
+ },
1083
+ {
1084
+ "epoch": 0.6095238095238096,
1085
+ "grad_norm": 0.16422423720359802,
1086
+ "learning_rate": 0.0003937667838664768,
1087
+ "loss": 0.3926,
1088
+ "step": 760
1089
+ },
1090
+ {
1091
+ "epoch": 0.6135338345864662,
1092
+ "grad_norm": 0.15119189023971558,
1093
+ "learning_rate": 0.00039247473262123036,
1094
+ "loss": 0.3998,
1095
+ "step": 765
1096
+ },
1097
+ {
1098
+ "epoch": 0.6175438596491228,
1099
+ "grad_norm": 0.1493472158908844,
1100
+ "learning_rate": 0.0003911770205462717,
1101
+ "loss": 0.3965,
1102
+ "step": 770
1103
+ },
1104
+ {
1105
+ "epoch": 0.6215538847117794,
1106
+ "grad_norm": 0.16699016094207764,
1107
+ "learning_rate": 0.00038987369920251213,
1108
+ "loss": 0.4089,
1109
+ "step": 775
1110
+ },
1111
+ {
1112
+ "epoch": 0.6255639097744361,
1113
+ "grad_norm": 0.15896373987197876,
1114
+ "learning_rate": 0.00038856482037373155,
1115
+ "loss": 0.3785,
1116
+ "step": 780
1117
+ },
1118
+ {
1119
+ "epoch": 0.6295739348370928,
1120
+ "grad_norm": 0.16796669363975525,
1121
+ "learning_rate": 0.0003872504360645206,
1122
+ "loss": 0.3973,
1123
+ "step": 785
1124
+ },
1125
+ {
1126
+ "epoch": 0.6335839598997494,
1127
+ "grad_norm": 0.14833569526672363,
1128
+ "learning_rate": 0.0003859305984982149,
1129
+ "loss": 0.4149,
1130
+ "step": 790
1131
+ },
1132
+ {
1133
+ "epoch": 0.637593984962406,
1134
+ "grad_norm": 0.1650949865579605,
1135
+ "learning_rate": 0.0003846053601148194,
1136
+ "loss": 0.4253,
1137
+ "step": 795
1138
+ },
1139
+ {
1140
+ "epoch": 0.6416040100250626,
1141
+ "grad_norm": 0.15514247119426727,
1142
+ "learning_rate": 0.00038327477356892546,
1143
+ "loss": 0.3654,
1144
+ "step": 800
1145
+ },
1146
+ {
1147
+ "epoch": 0.6456140350877193,
1148
+ "grad_norm": 0.16105593740940094,
1149
+ "learning_rate": 0.0003819388917276185,
1150
+ "loss": 0.4399,
1151
+ "step": 805
1152
+ },
1153
+ {
1154
+ "epoch": 0.649624060150376,
1155
+ "grad_norm": 0.15280301868915558,
1156
+ "learning_rate": 0.00038059776766837753,
1157
+ "loss": 0.4166,
1158
+ "step": 810
1159
+ },
1160
+ {
1161
+ "epoch": 0.6536340852130326,
1162
+ "grad_norm": 0.16363288462162018,
1163
+ "learning_rate": 0.000379251454676966,
1164
+ "loss": 0.3977,
1165
+ "step": 815
1166
+ },
1167
+ {
1168
+ "epoch": 0.6576441102756893,
1169
+ "grad_norm": 0.16015923023223877,
1170
+ "learning_rate": 0.00037790000624531505,
1171
+ "loss": 0.3918,
1172
+ "step": 820
1173
+ },
1174
+ {
1175
+ "epoch": 0.6616541353383458,
1176
+ "grad_norm": 0.14514611661434174,
1177
+ "learning_rate": 0.0003765434760693981,
1178
+ "loss": 0.3801,
1179
+ "step": 825
1180
+ },
1181
+ {
1182
+ "epoch": 0.6656641604010025,
1183
+ "grad_norm": 0.16084541380405426,
1184
+ "learning_rate": 0.0003751819180470969,
1185
+ "loss": 0.4123,
1186
+ "step": 830
1187
+ },
1188
+ {
1189
+ "epoch": 0.6696741854636592,
1190
+ "grad_norm": 0.14666476845741272,
1191
+ "learning_rate": 0.000373815386276061,
1192
+ "loss": 0.3712,
1193
+ "step": 835
1194
+ },
1195
+ {
1196
+ "epoch": 0.6736842105263158,
1197
+ "grad_norm": 0.16997689008712769,
1198
+ "learning_rate": 0.0003724439350515571,
1199
+ "loss": 0.3999,
1200
+ "step": 840
1201
+ },
1202
+ {
1203
+ "epoch": 0.6776942355889725,
1204
+ "grad_norm": 0.15905480086803436,
1205
+ "learning_rate": 0.000371067618864313,
1206
+ "loss": 0.4068,
1207
+ "step": 845
1208
+ },
1209
+ {
1210
+ "epoch": 0.681704260651629,
1211
+ "grad_norm": 0.1562589704990387,
1212
+ "learning_rate": 0.0003696864923983516,
1213
+ "loss": 0.3843,
1214
+ "step": 850
1215
+ },
1216
+ {
1217
+ "epoch": 0.6857142857142857,
1218
+ "grad_norm": 0.16755416989326477,
1219
+ "learning_rate": 0.00036830061052881897,
1220
+ "loss": 0.4426,
1221
+ "step": 855
1222
+ },
1223
+ {
1224
+ "epoch": 0.6897243107769424,
1225
+ "grad_norm": 0.14882604777812958,
1226
+ "learning_rate": 0.00036691002831980323,
1227
+ "loss": 0.3939,
1228
+ "step": 860
1229
+ },
1230
+ {
1231
+ "epoch": 0.693734335839599,
1232
+ "grad_norm": 0.16580046713352203,
1233
+ "learning_rate": 0.0003655148010221476,
1234
+ "loss": 0.3823,
1235
+ "step": 865
1236
+ },
1237
+ {
1238
+ "epoch": 0.6977443609022557,
1239
+ "grad_norm": 0.15855063498020172,
1240
+ "learning_rate": 0.00036411498407125435,
1241
+ "loss": 0.3907,
1242
+ "step": 870
1243
+ },
1244
+ {
1245
+ "epoch": 0.7017543859649122,
1246
+ "grad_norm": 0.1665424108505249,
1247
+ "learning_rate": 0.00036271063308488294,
1248
+ "loss": 0.4133,
1249
+ "step": 875
1250
+ },
1251
+ {
1252
+ "epoch": 0.7057644110275689,
1253
+ "grad_norm": 0.1685834378004074,
1254
+ "learning_rate": 0.0003613018038609398,
1255
+ "loss": 0.4359,
1256
+ "step": 880
1257
+ },
1258
+ {
1259
+ "epoch": 0.7097744360902256,
1260
+ "grad_norm": 0.15352065861225128,
1261
+ "learning_rate": 0.0003598885523752611,
1262
+ "loss": 0.4037,
1263
+ "step": 885
1264
+ },
1265
+ {
1266
+ "epoch": 0.7137844611528822,
1267
+ "grad_norm": 0.17349396646022797,
1268
+ "learning_rate": 0.00035847093477938953,
1269
+ "loss": 0.411,
1270
+ "step": 890
1271
+ },
1272
+ {
1273
+ "epoch": 0.7177944862155389,
1274
+ "grad_norm": 0.15559545159339905,
1275
+ "learning_rate": 0.0003570490073983425,
1276
+ "loss": 0.3817,
1277
+ "step": 895
1278
+ },
1279
+ {
1280
+ "epoch": 0.7218045112781954,
1281
+ "grad_norm": 0.16843955218791962,
1282
+ "learning_rate": 0.00035562282672837477,
1283
+ "loss": 0.4162,
1284
+ "step": 900
1285
+ },
1286
+ {
1287
+ "epoch": 0.7258145363408521,
1288
+ "grad_norm": 0.17087852954864502,
1289
+ "learning_rate": 0.00035419244943473305,
1290
+ "loss": 0.412,
1291
+ "step": 905
1292
+ },
1293
+ {
1294
+ "epoch": 0.7298245614035088,
1295
+ "grad_norm": 0.16542008519172668,
1296
+ "learning_rate": 0.00035275793234940545,
1297
+ "loss": 0.421,
1298
+ "step": 910
1299
+ },
1300
+ {
1301
+ "epoch": 0.7338345864661654,
1302
+ "grad_norm": 0.17914004623889923,
1303
+ "learning_rate": 0.0003513193324688627,
1304
+ "loss": 0.3759,
1305
+ "step": 915
1306
+ },
1307
+ {
1308
+ "epoch": 0.7378446115288221,
1309
+ "grad_norm": 0.16926446557044983,
1310
+ "learning_rate": 0.00034987670695179403,
1311
+ "loss": 0.3988,
1312
+ "step": 920
1313
+ },
1314
+ {
1315
+ "epoch": 0.7418546365914787,
1316
+ "grad_norm": 0.15922464430332184,
1317
+ "learning_rate": 0.00034843011311683566,
1318
+ "loss": 0.3641,
1319
+ "step": 925
1320
+ },
1321
+ {
1322
+ "epoch": 0.7458646616541353,
1323
+ "grad_norm": 0.16068434715270996,
1324
+ "learning_rate": 0.00034697960844029383,
1325
+ "loss": 0.3746,
1326
+ "step": 930
1327
+ },
1328
+ {
1329
+ "epoch": 0.749874686716792,
1330
+ "grad_norm": 0.18251362442970276,
1331
+ "learning_rate": 0.0003455252505538611,
1332
+ "loss": 0.4308,
1333
+ "step": 935
1334
+ },
1335
+ {
1336
+ "epoch": 0.7538847117794486,
1337
+ "grad_norm": 0.1559171974658966,
1338
+ "learning_rate": 0.0003440670972423262,
1339
+ "loss": 0.4045,
1340
+ "step": 940
1341
+ },
1342
+ {
1343
+ "epoch": 0.7578947368421053,
1344
+ "grad_norm": 0.17260219156742096,
1345
+ "learning_rate": 0.00034260520644127846,
1346
+ "loss": 0.3642,
1347
+ "step": 945
1348
+ },
1349
+ {
1350
+ "epoch": 0.7619047619047619,
1351
+ "grad_norm": 0.1719062477350235,
1352
+ "learning_rate": 0.0003411396362348056,
1353
+ "loss": 0.3973,
1354
+ "step": 950
1355
+ },
1356
+ {
1357
+ "epoch": 0.7659147869674185,
1358
+ "grad_norm": 0.16649049520492554,
1359
+ "learning_rate": 0.0003396704448531863,
1360
+ "loss": 0.4031,
1361
+ "step": 955
1362
+ },
1363
+ {
1364
+ "epoch": 0.7699248120300752,
1365
+ "grad_norm": 0.15968754887580872,
1366
+ "learning_rate": 0.00033819769067057617,
1367
+ "loss": 0.3648,
1368
+ "step": 960
1369
+ },
1370
+ {
1371
+ "epoch": 0.7739348370927318,
1372
+ "grad_norm": 0.18287472426891327,
1373
+ "learning_rate": 0.0003367214322026888,
1374
+ "loss": 0.3921,
1375
+ "step": 965
1376
+ },
1377
+ {
1378
+ "epoch": 0.7779448621553885,
1379
+ "grad_norm": 0.1621864289045334,
1380
+ "learning_rate": 0.00033524172810447055,
1381
+ "loss": 0.3956,
1382
+ "step": 970
1383
+ },
1384
+ {
1385
+ "epoch": 0.7819548872180451,
1386
+ "grad_norm": 0.1772567480802536,
1387
+ "learning_rate": 0.00033375863716777007,
1388
+ "loss": 0.3745,
1389
+ "step": 975
1390
+ },
1391
+ {
1392
+ "epoch": 0.7859649122807018,
1393
+ "grad_norm": 0.17318162322044373,
1394
+ "learning_rate": 0.0003322722183190025,
1395
+ "loss": 0.3924,
1396
+ "step": 980
1397
+ },
1398
+ {
1399
+ "epoch": 0.7899749373433584,
1400
+ "grad_norm": 0.17136339843273163,
1401
+ "learning_rate": 0.0003307825306168082,
1402
+ "loss": 0.3897,
1403
+ "step": 985
1404
+ },
1405
+ {
1406
+ "epoch": 0.793984962406015,
1407
+ "grad_norm": 0.15933868288993835,
1408
+ "learning_rate": 0.00032928963324970595,
1409
+ "loss": 0.3723,
1410
+ "step": 990
1411
+ },
1412
+ {
1413
+ "epoch": 0.7979949874686717,
1414
+ "grad_norm": 0.1778361201286316,
1415
+ "learning_rate": 0.0003277935855337417,
1416
+ "loss": 0.3822,
1417
+ "step": 995
1418
+ },
1419
+ {
1420
+ "epoch": 0.8020050125313283,
1421
+ "grad_norm": 0.15671303868293762,
1422
+ "learning_rate": 0.00032629444691013144,
1423
+ "loss": 0.3805,
1424
+ "step": 1000
1425
+ },
1426
+ {
1427
+ "epoch": 0.806015037593985,
1428
+ "grad_norm": 0.16916193068027496,
1429
+ "learning_rate": 0.0003247922769428998,
1430
+ "loss": 0.3931,
1431
+ "step": 1005
1432
+ },
1433
+ {
1434
+ "epoch": 0.8100250626566416,
1435
+ "grad_norm": 0.15111452341079712,
1436
+ "learning_rate": 0.0003232871353165129,
1437
+ "loss": 0.3398,
1438
+ "step": 1010
1439
+ },
1440
+ {
1441
+ "epoch": 0.8140350877192982,
1442
+ "grad_norm": 0.14872141182422638,
1443
+ "learning_rate": 0.0003217790818335077,
1444
+ "loss": 0.3541,
1445
+ "step": 1015
1446
+ },
1447
+ {
1448
+ "epoch": 0.8180451127819549,
1449
+ "grad_norm": 0.1576554924249649,
1450
+ "learning_rate": 0.00032026817641211524,
1451
+ "loss": 0.3612,
1452
+ "step": 1020
1453
+ },
1454
+ {
1455
+ "epoch": 0.8220551378446115,
1456
+ "grad_norm": 0.16731838881969452,
1457
+ "learning_rate": 0.0003187544790838805,
1458
+ "loss": 0.3742,
1459
+ "step": 1025
1460
+ },
1461
+ {
1462
+ "epoch": 0.8260651629072682,
1463
+ "grad_norm": 0.17792581021785736,
1464
+ "learning_rate": 0.0003172380499912768,
1465
+ "loss": 0.3835,
1466
+ "step": 1030
1467
+ },
1468
+ {
1469
+ "epoch": 0.8300751879699249,
1470
+ "grad_norm": 0.15929646790027618,
1471
+ "learning_rate": 0.0003157189493853164,
1472
+ "loss": 0.3547,
1473
+ "step": 1035
1474
+ },
1475
+ {
1476
+ "epoch": 0.8340852130325814,
1477
+ "grad_norm": 0.17030423879623413,
1478
+ "learning_rate": 0.00031419723762315656,
1479
+ "loss": 0.3833,
1480
+ "step": 1040
1481
+ },
1482
+ {
1483
+ "epoch": 0.8380952380952381,
1484
+ "grad_norm": 0.16632360219955444,
1485
+ "learning_rate": 0.0003126729751657015,
1486
+ "loss": 0.3851,
1487
+ "step": 1045
1488
+ },
1489
+ {
1490
+ "epoch": 0.8421052631578947,
1491
+ "grad_norm": 0.16034843027591705,
1492
+ "learning_rate": 0.0003111462225752,
1493
+ "loss": 0.3457,
1494
+ "step": 1050
1495
+ },
1496
+ {
1497
+ "epoch": 0.8461152882205514,
1498
+ "grad_norm": 0.1584872305393219,
1499
+ "learning_rate": 0.0003096170405128393,
1500
+ "loss": 0.3627,
1501
+ "step": 1055
1502
+ },
1503
+ {
1504
+ "epoch": 0.8501253132832081,
1505
+ "grad_norm": 0.15513049066066742,
1506
+ "learning_rate": 0.0003080854897363348,
1507
+ "loss": 0.3571,
1508
+ "step": 1060
1509
+ },
1510
+ {
1511
+ "epoch": 0.8541353383458646,
1512
+ "grad_norm": 0.18553143739700317,
1513
+ "learning_rate": 0.000306551631097516,
1514
+ "loss": 0.3844,
1515
+ "step": 1065
1516
+ },
1517
+ {
1518
+ "epoch": 0.8581453634085213,
1519
+ "grad_norm": 0.17072825133800507,
1520
+ "learning_rate": 0.00030501552553990885,
1521
+ "loss": 0.3968,
1522
+ "step": 1070
1523
+ },
1524
+ {
1525
+ "epoch": 0.8621553884711779,
1526
+ "grad_norm": 0.17334377765655518,
1527
+ "learning_rate": 0.00030347723409631413,
1528
+ "loss": 0.3759,
1529
+ "step": 1075
1530
+ },
1531
+ {
1532
+ "epoch": 0.8661654135338346,
1533
+ "grad_norm": 0.16847221553325653,
1534
+ "learning_rate": 0.00030193681788638274,
1535
+ "loss": 0.3437,
1536
+ "step": 1080
1537
+ },
1538
+ {
1539
+ "epoch": 0.8701754385964913,
1540
+ "grad_norm": 0.17665381729602814,
1541
+ "learning_rate": 0.000300394338114187,
1542
+ "loss": 0.3691,
1543
+ "step": 1085
1544
+ },
1545
+ {
1546
+ "epoch": 0.8741854636591478,
1547
+ "grad_norm": 0.17721857130527496,
1548
+ "learning_rate": 0.00029884985606578907,
1549
+ "loss": 0.3776,
1550
+ "step": 1090
1551
+ },
1552
+ {
1553
+ "epoch": 0.8781954887218045,
1554
+ "grad_norm": 0.14506922662258148,
1555
+ "learning_rate": 0.0002973034331068061,
1556
+ "loss": 0.3329,
1557
+ "step": 1095
1558
+ },
1559
+ {
1560
+ "epoch": 0.8822055137844611,
1561
+ "grad_norm": 0.14164331555366516,
1562
+ "learning_rate": 0.0002957551306799715,
1563
+ "loss": 0.3296,
1564
+ "step": 1100
1565
+ },
1566
+ {
1567
+ "epoch": 0.8862155388471178,
1568
+ "grad_norm": 0.17468836903572083,
1569
+ "learning_rate": 0.0002942050103026942,
1570
+ "loss": 0.3814,
1571
+ "step": 1105
1572
+ },
1573
+ {
1574
+ "epoch": 0.8902255639097745,
1575
+ "grad_norm": 0.1707754135131836,
1576
+ "learning_rate": 0.0002926531335646141,
1577
+ "loss": 0.3288,
1578
+ "step": 1110
1579
+ },
1580
+ {
1581
+ "epoch": 0.894235588972431,
1582
+ "grad_norm": 0.1548461616039276,
1583
+ "learning_rate": 0.0002910995621251554,
1584
+ "loss": 0.3837,
1585
+ "step": 1115
1586
+ },
1587
+ {
1588
+ "epoch": 0.8982456140350877,
1589
+ "grad_norm": 0.18606321513652802,
1590
+ "learning_rate": 0.000289544357711076,
1591
+ "loss": 0.411,
1592
+ "step": 1120
1593
+ },
1594
+ {
1595
+ "epoch": 0.9022556390977443,
1596
+ "grad_norm": 0.1885378062725067,
1597
+ "learning_rate": 0.00028798758211401586,
1598
+ "loss": 0.3965,
1599
+ "step": 1125
1600
+ },
1601
+ {
1602
+ "epoch": 0.906265664160401,
1603
+ "grad_norm": 0.15879781544208527,
1604
+ "learning_rate": 0.00028642929718804126,
1605
+ "loss": 0.3217,
1606
+ "step": 1130
1607
+ },
1608
+ {
1609
+ "epoch": 0.9102756892230577,
1610
+ "grad_norm": 0.16221250593662262,
1611
+ "learning_rate": 0.00028486956484718735,
1612
+ "loss": 0.3431,
1613
+ "step": 1135
1614
+ },
1615
+ {
1616
+ "epoch": 0.9142857142857143,
1617
+ "grad_norm": 0.15938705205917358,
1618
+ "learning_rate": 0.0002833084470629983,
1619
+ "loss": 0.3645,
1620
+ "step": 1140
1621
+ },
1622
+ {
1623
+ "epoch": 0.9182957393483709,
1624
+ "grad_norm": 0.18234948813915253,
1625
+ "learning_rate": 0.0002817460058620647,
1626
+ "loss": 0.3696,
1627
+ "step": 1145
1628
+ },
1629
+ {
1630
+ "epoch": 0.9223057644110275,
1631
+ "grad_norm": 0.17734579741954803,
1632
+ "learning_rate": 0.0002801823033235598,
1633
+ "loss": 0.3939,
1634
+ "step": 1150
1635
+ },
1636
+ {
1637
+ "epoch": 0.9263157894736842,
1638
+ "grad_norm": 0.17581012845039368,
1639
+ "learning_rate": 0.00027861740157677204,
1640
+ "loss": 0.3857,
1641
+ "step": 1155
1642
+ },
1643
+ {
1644
+ "epoch": 0.9303258145363409,
1645
+ "grad_norm": 0.16594088077545166,
1646
+ "learning_rate": 0.00027705136279863754,
1647
+ "loss": 0.3784,
1648
+ "step": 1160
1649
+ },
1650
+ {
1651
+ "epoch": 0.9343358395989975,
1652
+ "grad_norm": 0.17413030564785004,
1653
+ "learning_rate": 0.0002754842492112685,
1654
+ "loss": 0.3791,
1655
+ "step": 1165
1656
+ },
1657
+ {
1658
+ "epoch": 0.9383458646616541,
1659
+ "grad_norm": 0.16821810603141785,
1660
+ "learning_rate": 0.0002739161230794822,
1661
+ "loss": 0.3896,
1662
+ "step": 1170
1663
+ },
1664
+ {
1665
+ "epoch": 0.9423558897243107,
1666
+ "grad_norm": 0.18337774276733398,
1667
+ "learning_rate": 0.000272347046708326,
1668
+ "loss": 0.3745,
1669
+ "step": 1175
1670
+ },
1671
+ {
1672
+ "epoch": 0.9463659147869674,
1673
+ "grad_norm": 0.15810732543468475,
1674
+ "learning_rate": 0.00027077708244060283,
1675
+ "loss": 0.3576,
1676
+ "step": 1180
1677
+ },
1678
+ {
1679
+ "epoch": 0.9503759398496241,
1680
+ "grad_norm": 0.16330723464488983,
1681
+ "learning_rate": 0.00026920629265439326,
1682
+ "loss": 0.3641,
1683
+ "step": 1185
1684
+ },
1685
+ {
1686
+ "epoch": 0.9543859649122807,
1687
+ "grad_norm": 0.168942391872406,
1688
+ "learning_rate": 0.0002676347397605777,
1689
+ "loss": 0.36,
1690
+ "step": 1190
1691
+ },
1692
+ {
1693
+ "epoch": 0.9583959899749374,
1694
+ "grad_norm": 0.1779577136039734,
1695
+ "learning_rate": 0.0002660624862003566,
1696
+ "loss": 0.3644,
1697
+ "step": 1195
1698
+ },
1699
+ {
1700
+ "epoch": 0.9624060150375939,
1701
+ "grad_norm": 0.175537571310997,
1702
+ "learning_rate": 0.00026448959444276896,
1703
+ "loss": 0.3766,
1704
+ "step": 1200
1705
+ },
1706
+ {
1707
+ "epoch": 0.9664160401002506,
1708
+ "grad_norm": 0.17511993646621704,
1709
+ "learning_rate": 0.0002629161269822113,
1710
+ "loss": 0.3636,
1711
+ "step": 1205
1712
+ },
1713
+ {
1714
+ "epoch": 0.9704260651629073,
1715
+ "grad_norm": 0.17956364154815674,
1716
+ "learning_rate": 0.00026134214633595347,
1717
+ "loss": 0.3916,
1718
+ "step": 1210
1719
+ },
1720
+ {
1721
+ "epoch": 0.9744360902255639,
1722
+ "grad_norm": 0.15933747589588165,
1723
+ "learning_rate": 0.000259767715041656,
1724
+ "loss": 0.3316,
1725
+ "step": 1215
1726
+ },
1727
+ {
1728
+ "epoch": 0.9784461152882206,
1729
+ "grad_norm": 0.18015708029270172,
1730
+ "learning_rate": 0.000258192895654884,
1731
+ "loss": 0.3791,
1732
+ "step": 1220
1733
+ },
1734
+ {
1735
+ "epoch": 0.9824561403508771,
1736
+ "grad_norm": 0.15591025352478027,
1737
+ "learning_rate": 0.00025661775074662275,
1738
+ "loss": 0.3222,
1739
+ "step": 1225
1740
+ },
1741
+ {
1742
+ "epoch": 0.9864661654135338,
1743
+ "grad_norm": 0.1800549179315567,
1744
+ "learning_rate": 0.0002550423429007909,
1745
+ "loss": 0.3282,
1746
+ "step": 1230
1747
+ },
1748
+ {
1749
+ "epoch": 0.9904761904761905,
1750
+ "grad_norm": 0.1630546748638153,
1751
+ "learning_rate": 0.0002534667347117544,
1752
+ "loss": 0.3659,
1753
+ "step": 1235
1754
+ },
1755
+ {
1756
+ "epoch": 0.9944862155388471,
1757
+ "grad_norm": 0.169642373919487,
1758
+ "learning_rate": 0.0002518909887818393,
1759
+ "loss": 0.3409,
1760
+ "step": 1240
1761
+ },
1762
+ {
1763
+ "epoch": 0.9984962406015038,
1764
+ "grad_norm": 0.1650785356760025,
1765
+ "learning_rate": 0.00025031516771884416,
1766
+ "loss": 0.3632,
1767
+ "step": 1245
1768
+ },
1769
+ {
1770
+ "epoch": 0.9992982456140351,
1771
+ "eval_loss": 0.2687419354915619,
1772
+ "eval_runtime": 8.3871,
1773
+ "eval_samples_per_second": 6.558,
1774
+ "eval_steps_per_second": 0.835,
1775
+ "step": 1246
1776
+ },
1777
+ {
1778
+ "epoch": 1.0025062656641603,
1779
+ "grad_norm": 0.1833638846874237,
1780
+ "learning_rate": 0.000248739334133553,
1781
+ "loss": 0.3377,
1782
+ "step": 1250
1783
+ },
1784
+ {
1785
+ "epoch": 1.006516290726817,
1786
+ "grad_norm": 0.16308297216892242,
1787
+ "learning_rate": 0.00024716355063724707,
1788
+ "loss": 0.2999,
1789
+ "step": 1255
1790
+ },
1791
+ {
1792
+ "epoch": 1.0105263157894737,
1793
+ "grad_norm": 0.16679681837558746,
1794
+ "learning_rate": 0.00024558787983921783,
1795
+ "loss": 0.2986,
1796
+ "step": 1260
1797
+ },
1798
+ {
1799
+ "epoch": 1.0145363408521304,
1800
+ "grad_norm": 0.17338265478610992,
1801
+ "learning_rate": 0.0002440123843442788,
1802
+ "loss": 0.2845,
1803
+ "step": 1265
1804
+ },
1805
+ {
1806
+ "epoch": 1.0185463659147869,
1807
+ "grad_norm": 0.16227693855762482,
1808
+ "learning_rate": 0.00024243712675027827,
1809
+ "loss": 0.3051,
1810
+ "step": 1270
1811
+ },
1812
+ {
1813
+ "epoch": 1.0225563909774436,
1814
+ "grad_norm": 0.15637050569057465,
1815
+ "learning_rate": 0.00024086216964561236,
1816
+ "loss": 0.2896,
1817
+ "step": 1275
1818
+ },
1819
+ {
1820
+ "epoch": 1.0265664160401002,
1821
+ "grad_norm": 0.1684030145406723,
1822
+ "learning_rate": 0.00023928757560673808,
1823
+ "loss": 0.272,
1824
+ "step": 1280
1825
+ },
1826
+ {
1827
+ "epoch": 1.030576441102757,
1828
+ "grad_norm": 0.1560041755437851,
1829
+ "learning_rate": 0.00023771340719568688,
1830
+ "loss": 0.2795,
1831
+ "step": 1285
1832
+ },
1833
+ {
1834
+ "epoch": 1.0345864661654136,
1835
+ "grad_norm": 0.15775898098945618,
1836
+ "learning_rate": 0.00023613972695757919,
1837
+ "loss": 0.2721,
1838
+ "step": 1290
1839
+ },
1840
+ {
1841
+ "epoch": 1.03859649122807,
1842
+ "grad_norm": 0.17277134954929352,
1843
+ "learning_rate": 0.00023456659741813944,
1844
+ "loss": 0.2726,
1845
+ "step": 1295
1846
+ },
1847
+ {
1848
+ "epoch": 1.0426065162907268,
1849
+ "grad_norm": 0.15520408749580383,
1850
+ "learning_rate": 0.00023299408108121134,
1851
+ "loss": 0.2681,
1852
+ "step": 1300
1853
+ },
1854
+ {
1855
+ "epoch": 1.0466165413533834,
1856
+ "grad_norm": 0.16784396767616272,
1857
+ "learning_rate": 0.00023142224042627495,
1858
+ "loss": 0.2817,
1859
+ "step": 1305
1860
+ },
1861
+ {
1862
+ "epoch": 1.0506265664160401,
1863
+ "grad_norm": 0.16616085171699524,
1864
+ "learning_rate": 0.00022985113790596393,
1865
+ "loss": 0.2863,
1866
+ "step": 1310
1867
+ },
1868
+ {
1869
+ "epoch": 1.0546365914786968,
1870
+ "grad_norm": 0.15373535454273224,
1871
+ "learning_rate": 0.00022828083594358416,
1872
+ "loss": 0.2837,
1873
+ "step": 1315
1874
+ },
1875
+ {
1876
+ "epoch": 1.0586466165413533,
1877
+ "grad_norm": 0.15861855447292328,
1878
+ "learning_rate": 0.00022671139693063386,
1879
+ "loss": 0.2878,
1880
+ "step": 1320
1881
+ },
1882
+ {
1883
+ "epoch": 1.06265664160401,
1884
+ "grad_norm": 0.15624883770942688,
1885
+ "learning_rate": 0.00022514288322432414,
1886
+ "loss": 0.2952,
1887
+ "step": 1325
1888
+ },
1889
+ {
1890
+ "epoch": 1.0666666666666667,
1891
+ "grad_norm": 0.17166998982429504,
1892
+ "learning_rate": 0.0002235753571451018,
1893
+ "loss": 0.2957,
1894
+ "step": 1330
1895
+ },
1896
+ {
1897
+ "epoch": 1.0706766917293233,
1898
+ "grad_norm": 0.15910623967647552,
1899
+ "learning_rate": 0.00022200888097417305,
1900
+ "loss": 0.2954,
1901
+ "step": 1335
1902
+ },
1903
+ {
1904
+ "epoch": 1.07468671679198,
1905
+ "grad_norm": 0.154972106218338,
1906
+ "learning_rate": 0.00022044351695102907,
1907
+ "loss": 0.2624,
1908
+ "step": 1340
1909
+ },
1910
+ {
1911
+ "epoch": 1.0786967418546367,
1912
+ "grad_norm": 0.16736608743667603,
1913
+ "learning_rate": 0.00021887932727097278,
1914
+ "loss": 0.2677,
1915
+ "step": 1345
1916
+ },
1917
+ {
1918
+ "epoch": 1.0827067669172932,
1919
+ "grad_norm": 0.17113475501537323,
1920
+ "learning_rate": 0.00021731637408264822,
1921
+ "loss": 0.2613,
1922
+ "step": 1350
1923
+ },
1924
+ {
1925
+ "epoch": 1.0867167919799499,
1926
+ "grad_norm": 0.17451037466526031,
1927
+ "learning_rate": 0.00021575471948557062,
1928
+ "loss": 0.291,
1929
+ "step": 1355
1930
+ },
1931
+ {
1932
+ "epoch": 1.0907268170426065,
1933
+ "grad_norm": 0.15798042714595795,
1934
+ "learning_rate": 0.00021419442552765948,
1935
+ "loss": 0.2628,
1936
+ "step": 1360
1937
+ },
1938
+ {
1939
+ "epoch": 1.0947368421052632,
1940
+ "grad_norm": 0.17537885904312134,
1941
+ "learning_rate": 0.00021263555420277335,
1942
+ "loss": 0.2764,
1943
+ "step": 1365
1944
+ },
1945
+ {
1946
+ "epoch": 1.09874686716792,
1947
+ "grad_norm": 0.14623847603797913,
1948
+ "learning_rate": 0.00021107816744824617,
1949
+ "loss": 0.29,
1950
+ "step": 1370
1951
+ },
1952
+ {
1953
+ "epoch": 1.1027568922305764,
1954
+ "grad_norm": 0.17818230390548706,
1955
+ "learning_rate": 0.00020952232714242685,
1956
+ "loss": 0.2866,
1957
+ "step": 1375
1958
+ },
1959
+ {
1960
+ "epoch": 1.106766917293233,
1961
+ "grad_norm": 0.16421560943126678,
1962
+ "learning_rate": 0.00020796809510222048,
1963
+ "loss": 0.2718,
1964
+ "step": 1380
1965
+ },
1966
+ {
1967
+ "epoch": 1.1107769423558898,
1968
+ "grad_norm": 0.16824981570243835,
1969
+ "learning_rate": 0.00020641553308063247,
1970
+ "loss": 0.2976,
1971
+ "step": 1385
1972
+ },
1973
+ {
1974
+ "epoch": 1.1147869674185464,
1975
+ "grad_norm": 0.15799076855182648,
1976
+ "learning_rate": 0.00020486470276431446,
1977
+ "loss": 0.2934,
1978
+ "step": 1390
1979
+ },
1980
+ {
1981
+ "epoch": 1.1187969924812031,
1982
+ "grad_norm": 0.18710538744926453,
1983
+ "learning_rate": 0.000203315665771114,
1984
+ "loss": 0.2792,
1985
+ "step": 1395
1986
+ },
1987
+ {
1988
+ "epoch": 1.1228070175438596,
1989
+ "grad_norm": 0.18664434552192688,
1990
+ "learning_rate": 0.00020176848364762578,
1991
+ "loss": 0.3125,
1992
+ "step": 1400
1993
+ },
1994
+ {
1995
+ "epoch": 1.1268170426065163,
1996
+ "grad_norm": 0.14843712747097015,
1997
+ "learning_rate": 0.00020022321786674664,
1998
+ "loss": 0.2636,
1999
+ "step": 1405
2000
+ },
2001
+ {
2002
+ "epoch": 1.130827067669173,
2003
+ "grad_norm": 0.18187515437602997,
2004
+ "learning_rate": 0.000198679929825233,
2005
+ "loss": 0.3186,
2006
+ "step": 1410
2007
+ },
2008
+ {
2009
+ "epoch": 1.1348370927318296,
2010
+ "grad_norm": 0.15874765813350677,
2011
+ "learning_rate": 0.0001971386808412612,
2012
+ "loss": 0.2578,
2013
+ "step": 1415
2014
+ },
2015
+ {
2016
+ "epoch": 1.1388471177944863,
2017
+ "grad_norm": 0.17650403082370758,
2018
+ "learning_rate": 0.00019559953215199168,
2019
+ "loss": 0.3012,
2020
+ "step": 1420
2021
+ },
2022
+ {
2023
+ "epoch": 1.1428571428571428,
2024
+ "grad_norm": 0.17228610813617706,
2025
+ "learning_rate": 0.0001940625449111354,
2026
+ "loss": 0.2666,
2027
+ "step": 1425
2028
+ },
2029
+ {
2030
+ "epoch": 1.1468671679197995,
2031
+ "grad_norm": 0.15302354097366333,
2032
+ "learning_rate": 0.00019252778018652447,
2033
+ "loss": 0.272,
2034
+ "step": 1430
2035
+ },
2036
+ {
2037
+ "epoch": 1.1508771929824562,
2038
+ "grad_norm": 0.17536306381225586,
2039
+ "learning_rate": 0.0001909952989576855,
2040
+ "loss": 0.3183,
2041
+ "step": 1435
2042
+ },
2043
+ {
2044
+ "epoch": 1.1548872180451129,
2045
+ "grad_norm": 0.15911608934402466,
2046
+ "learning_rate": 0.00018946516211341695,
2047
+ "loss": 0.3022,
2048
+ "step": 1440
2049
+ },
2050
+ {
2051
+ "epoch": 1.1588972431077695,
2052
+ "grad_norm": 0.15123997628688812,
2053
+ "learning_rate": 0.00018793743044936972,
2054
+ "loss": 0.289,
2055
+ "step": 1445
2056
+ },
2057
+ {
2058
+ "epoch": 1.162907268170426,
2059
+ "grad_norm": 0.16768620908260345,
2060
+ "learning_rate": 0.00018641216466563183,
2061
+ "loss": 0.2694,
2062
+ "step": 1450
2063
+ },
2064
+ {
2065
+ "epoch": 1.1669172932330827,
2066
+ "grad_norm": 0.16061028838157654,
2067
+ "learning_rate": 0.00018488942536431618,
2068
+ "loss": 0.2824,
2069
+ "step": 1455
2070
+ },
2071
+ {
2072
+ "epoch": 1.1709273182957394,
2073
+ "grad_norm": 0.15412503480911255,
2074
+ "learning_rate": 0.00018336927304715356,
2075
+ "loss": 0.3025,
2076
+ "step": 1460
2077
+ },
2078
+ {
2079
+ "epoch": 1.174937343358396,
2080
+ "grad_norm": 0.17830166220664978,
2081
+ "learning_rate": 0.0001818517681130879,
2082
+ "loss": 0.3046,
2083
+ "step": 1465
2084
+ },
2085
+ {
2086
+ "epoch": 1.1789473684210527,
2087
+ "grad_norm": 0.17978624999523163,
2088
+ "learning_rate": 0.00018033697085587696,
2089
+ "loss": 0.2966,
2090
+ "step": 1470
2091
+ },
2092
+ {
2093
+ "epoch": 1.1829573934837092,
2094
+ "grad_norm": 0.1743180751800537,
2095
+ "learning_rate": 0.00017882494146169678,
2096
+ "loss": 0.3072,
2097
+ "step": 1475
2098
+ },
2099
+ {
2100
+ "epoch": 1.186967418546366,
2101
+ "grad_norm": 0.16470114886760712,
2102
+ "learning_rate": 0.00017731574000674996,
2103
+ "loss": 0.2797,
2104
+ "step": 1480
2105
+ },
2106
+ {
2107
+ "epoch": 1.1909774436090226,
2108
+ "grad_norm": 0.18040384352207184,
2109
+ "learning_rate": 0.0001758094264548792,
2110
+ "loss": 0.3093,
2111
+ "step": 1485
2112
+ },
2113
+ {
2114
+ "epoch": 1.1949874686716793,
2115
+ "grad_norm": 0.17426797747612,
2116
+ "learning_rate": 0.00017430606065518435,
2117
+ "loss": 0.318,
2118
+ "step": 1490
2119
+ },
2120
+ {
2121
+ "epoch": 1.198997493734336,
2122
+ "grad_norm": 0.1632205694913864,
2123
+ "learning_rate": 0.00017280570233964485,
2124
+ "loss": 0.2691,
2125
+ "step": 1495
2126
+ },
2127
+ {
2128
+ "epoch": 1.2030075187969924,
2129
+ "grad_norm": 0.1813742071390152,
2130
+ "learning_rate": 0.00017130841112074602,
2131
+ "loss": 0.2769,
2132
+ "step": 1500
2133
+ },
2134
+ {
2135
+ "epoch": 1.207017543859649,
2136
+ "grad_norm": 0.17400313913822174,
2137
+ "learning_rate": 0.00016981424648911112,
2138
+ "loss": 0.2723,
2139
+ "step": 1505
2140
+ },
2141
+ {
2142
+ "epoch": 1.2110275689223058,
2143
+ "grad_norm": 0.15530717372894287,
2144
+ "learning_rate": 0.0001683232678111371,
2145
+ "loss": 0.2971,
2146
+ "step": 1510
2147
+ },
2148
+ {
2149
+ "epoch": 1.2150375939849625,
2150
+ "grad_norm": 0.17954862117767334,
2151
+ "learning_rate": 0.00016683553432663616,
2152
+ "loss": 0.2866,
2153
+ "step": 1515
2154
+ },
2155
+ {
2156
+ "epoch": 1.2190476190476192,
2157
+ "grad_norm": 0.16163484752178192,
2158
+ "learning_rate": 0.0001653511051464819,
2159
+ "loss": 0.2557,
2160
+ "step": 1520
2161
+ },
2162
+ {
2163
+ "epoch": 1.2230576441102756,
2164
+ "grad_norm": 0.16374574601650238,
2165
+ "learning_rate": 0.00016387003925026077,
2166
+ "loss": 0.2956,
2167
+ "step": 1525
2168
+ },
2169
+ {
2170
+ "epoch": 1.2270676691729323,
2171
+ "grad_norm": 0.17792537808418274,
2172
+ "learning_rate": 0.0001623923954839287,
2173
+ "loss": 0.2777,
2174
+ "step": 1530
2175
+ },
2176
+ {
2177
+ "epoch": 1.231077694235589,
2178
+ "grad_norm": 0.18563567101955414,
2179
+ "learning_rate": 0.00016091823255747292,
2180
+ "loss": 0.301,
2181
+ "step": 1535
2182
+ },
2183
+ {
2184
+ "epoch": 1.2350877192982457,
2185
+ "grad_norm": 0.15728415548801422,
2186
+ "learning_rate": 0.00015944760904257942,
2187
+ "loss": 0.2784,
2188
+ "step": 1540
2189
+ },
2190
+ {
2191
+ "epoch": 1.2390977443609024,
2192
+ "grad_norm": 0.15651676058769226,
2193
+ "learning_rate": 0.00015798058337030551,
2194
+ "loss": 0.2876,
2195
+ "step": 1545
2196
+ },
2197
+ {
2198
+ "epoch": 1.2431077694235588,
2199
+ "grad_norm": 0.1799081265926361,
2200
+ "learning_rate": 0.00015651721382875874,
2201
+ "loss": 0.2919,
2202
+ "step": 1550
2203
+ },
2204
+ {
2205
+ "epoch": 1.2471177944862155,
2206
+ "grad_norm": 0.18436437845230103,
2207
+ "learning_rate": 0.00015505755856078048,
2208
+ "loss": 0.2934,
2209
+ "step": 1555
2210
+ },
2211
+ {
2212
+ "epoch": 1.2511278195488722,
2213
+ "grad_norm": 0.16269451379776,
2214
+ "learning_rate": 0.00015360167556163583,
2215
+ "loss": 0.2719,
2216
+ "step": 1560
2217
+ },
2218
+ {
2219
+ "epoch": 1.2551378446115289,
2220
+ "grad_norm": 0.15247991681098938,
2221
+ "learning_rate": 0.0001521496226767098,
2222
+ "loss": 0.2678,
2223
+ "step": 1565
2224
+ },
2225
+ {
2226
+ "epoch": 1.2591478696741856,
2227
+ "grad_norm": 0.1753372848033905,
2228
+ "learning_rate": 0.0001507014575992085,
2229
+ "loss": 0.3065,
2230
+ "step": 1570
2231
+ },
2232
+ {
2233
+ "epoch": 1.263157894736842,
2234
+ "grad_norm": 0.16919946670532227,
2235
+ "learning_rate": 0.0001492572378678669,
2236
+ "loss": 0.2659,
2237
+ "step": 1575
2238
+ },
2239
+ {
2240
+ "epoch": 1.2671679197994987,
2241
+ "grad_norm": 0.17600032687187195,
2242
+ "learning_rate": 0.00014781702086466314,
2243
+ "loss": 0.2987,
2244
+ "step": 1580
2245
+ },
2246
+ {
2247
+ "epoch": 1.2711779448621554,
2248
+ "grad_norm": 0.15909601747989655,
2249
+ "learning_rate": 0.000146380863812538,
2250
+ "loss": 0.2811,
2251
+ "step": 1585
2252
+ },
2253
+ {
2254
+ "epoch": 1.275187969924812,
2255
+ "grad_norm": 0.165226012468338,
2256
+ "learning_rate": 0.00014494882377312168,
2257
+ "loss": 0.2682,
2258
+ "step": 1590
2259
+ },
2260
+ {
2261
+ "epoch": 1.2791979949874688,
2262
+ "grad_norm": 0.17594917118549347,
2263
+ "learning_rate": 0.00014352095764446675,
2264
+ "loss": 0.2602,
2265
+ "step": 1595
2266
+ },
2267
+ {
2268
+ "epoch": 1.2832080200501252,
2269
+ "grad_norm": 0.154309943318367,
2270
+ "learning_rate": 0.0001420973221587869,
2271
+ "loss": 0.2579,
2272
+ "step": 1600
2273
+ },
2274
+ {
2275
+ "epoch": 1.287218045112782,
2276
+ "grad_norm": 0.16517868638038635,
2277
+ "learning_rate": 0.00014067797388020353,
2278
+ "loss": 0.2929,
2279
+ "step": 1605
2280
+ },
2281
+ {
2282
+ "epoch": 1.2912280701754386,
2283
+ "grad_norm": 0.1717553734779358,
2284
+ "learning_rate": 0.00013926296920249796,
2285
+ "loss": 0.2849,
2286
+ "step": 1610
2287
+ },
2288
+ {
2289
+ "epoch": 1.2952380952380953,
2290
+ "grad_norm": 0.16944153606891632,
2291
+ "learning_rate": 0.0001378523643468708,
2292
+ "loss": 0.2527,
2293
+ "step": 1615
2294
+ },
2295
+ {
2296
+ "epoch": 1.299248120300752,
2297
+ "grad_norm": 0.16444195806980133,
2298
+ "learning_rate": 0.00013644621535970804,
2299
+ "loss": 0.2665,
2300
+ "step": 1620
2301
+ },
2302
+ {
2303
+ "epoch": 1.3032581453634084,
2304
+ "grad_norm": 0.17226529121398926,
2305
+ "learning_rate": 0.0001350445781103547,
2306
+ "loss": 0.2758,
2307
+ "step": 1625
2308
+ },
2309
+ {
2310
+ "epoch": 1.3072681704260651,
2311
+ "grad_norm": 0.18174055218696594,
2312
+ "learning_rate": 0.0001336475082888943,
2313
+ "loss": 0.2831,
2314
+ "step": 1630
2315
+ },
2316
+ {
2317
+ "epoch": 1.3112781954887218,
2318
+ "grad_norm": 0.16900789737701416,
2319
+ "learning_rate": 0.00013225506140393696,
2320
+ "loss": 0.2882,
2321
+ "step": 1635
2322
+ },
2323
+ {
2324
+ "epoch": 1.3152882205513785,
2325
+ "grad_norm": 0.16686789691448212,
2326
+ "learning_rate": 0.00013086729278041304,
2327
+ "loss": 0.2556,
2328
+ "step": 1640
2329
+ },
2330
+ {
2331
+ "epoch": 1.3192982456140352,
2332
+ "grad_norm": 0.16731151938438416,
2333
+ "learning_rate": 0.00012948425755737592,
2334
+ "loss": 0.2665,
2335
+ "step": 1645
2336
+ },
2337
+ {
2338
+ "epoch": 1.3233082706766917,
2339
+ "grad_norm": 0.17180107533931732,
2340
+ "learning_rate": 0.00012810601068581056,
2341
+ "loss": 0.3001,
2342
+ "step": 1650
2343
+ },
2344
+ {
2345
+ "epoch": 1.3273182957393483,
2346
+ "grad_norm": 0.1701911836862564,
2347
+ "learning_rate": 0.0001267326069264501,
2348
+ "loss": 0.2977,
2349
+ "step": 1655
2350
+ },
2351
+ {
2352
+ "epoch": 1.331328320802005,
2353
+ "grad_norm": 0.19208161532878876,
2354
+ "learning_rate": 0.0001253641008476007,
2355
+ "loss": 0.2752,
2356
+ "step": 1660
2357
+ },
2358
+ {
2359
+ "epoch": 1.3353383458646617,
2360
+ "grad_norm": 0.15200825035572052,
2361
+ "learning_rate": 0.00012400054682297298,
2362
+ "loss": 0.2875,
2363
+ "step": 1665
2364
+ },
2365
+ {
2366
+ "epoch": 1.3393483709273184,
2367
+ "grad_norm": 0.17044006288051605,
2368
+ "learning_rate": 0.00012264199902952154,
2369
+ "loss": 0.2501,
2370
+ "step": 1670
2371
+ },
2372
+ {
2373
+ "epoch": 1.3433583959899749,
2374
+ "grad_norm": 0.16576853394508362,
2375
+ "learning_rate": 0.00012128851144529257,
2376
+ "loss": 0.2758,
2377
+ "step": 1675
2378
+ },
2379
+ {
2380
+ "epoch": 1.3473684210526315,
2381
+ "grad_norm": 0.17262569069862366,
2382
+ "learning_rate": 0.00011994013784727947,
2383
+ "loss": 0.2661,
2384
+ "step": 1680
2385
+ },
2386
+ {
2387
+ "epoch": 1.3513784461152882,
2388
+ "grad_norm": 0.161615252494812,
2389
+ "learning_rate": 0.00011859693180928574,
2390
+ "loss": 0.2689,
2391
+ "step": 1685
2392
+ },
2393
+ {
2394
+ "epoch": 1.355388471177945,
2395
+ "grad_norm": 0.16010525822639465,
2396
+ "learning_rate": 0.00011725894669979639,
2397
+ "loss": 0.2623,
2398
+ "step": 1690
2399
+ },
2400
+ {
2401
+ "epoch": 1.3593984962406016,
2402
+ "grad_norm": 0.1819092184305191,
2403
+ "learning_rate": 0.00011592623567985783,
2404
+ "loss": 0.2667,
2405
+ "step": 1695
2406
+ },
2407
+ {
2408
+ "epoch": 1.363408521303258,
2409
+ "grad_norm": 0.16817572712898254,
2410
+ "learning_rate": 0.00011459885170096537,
2411
+ "loss": 0.2756,
2412
+ "step": 1700
2413
+ },
2414
+ {
2415
+ "epoch": 1.3674185463659148,
2416
+ "grad_norm": 0.17827191948890686,
2417
+ "learning_rate": 0.00011327684750295958,
2418
+ "loss": 0.3166,
2419
+ "step": 1705
2420
+ },
2421
+ {
2422
+ "epoch": 1.3714285714285714,
2423
+ "grad_norm": 0.15747743844985962,
2424
+ "learning_rate": 0.00011196027561193045,
2425
+ "loss": 0.2952,
2426
+ "step": 1710
2427
+ },
2428
+ {
2429
+ "epoch": 1.3754385964912281,
2430
+ "grad_norm": 0.17462944984436035,
2431
+ "learning_rate": 0.00011064918833813073,
2432
+ "loss": 0.2754,
2433
+ "step": 1715
2434
+ },
2435
+ {
2436
+ "epoch": 1.3794486215538848,
2437
+ "grad_norm": 0.16550135612487793,
2438
+ "learning_rate": 0.00010934363777389752,
2439
+ "loss": 0.2658,
2440
+ "step": 1720
2441
+ },
2442
+ {
2443
+ "epoch": 1.3834586466165413,
2444
+ "grad_norm": 0.19006794691085815,
2445
+ "learning_rate": 0.00010804367579158256,
2446
+ "loss": 0.2679,
2447
+ "step": 1725
2448
+ },
2449
+ {
2450
+ "epoch": 1.387468671679198,
2451
+ "grad_norm": 0.2023632973432541,
2452
+ "learning_rate": 0.00010674935404149075,
2453
+ "loss": 0.2739,
2454
+ "step": 1730
2455
+ },
2456
+ {
2457
+ "epoch": 1.3914786967418546,
2458
+ "grad_norm": 0.17994622886180878,
2459
+ "learning_rate": 0.00010546072394982872,
2460
+ "loss": 0.2585,
2461
+ "step": 1735
2462
+ },
2463
+ {
2464
+ "epoch": 1.3954887218045113,
2465
+ "grad_norm": 0.1834658533334732,
2466
+ "learning_rate": 0.00010417783671666114,
2467
+ "loss": 0.2567,
2468
+ "step": 1740
2469
+ },
2470
+ {
2471
+ "epoch": 1.399498746867168,
2472
+ "grad_norm": 0.16949954628944397,
2473
+ "learning_rate": 0.00010290074331387617,
2474
+ "loss": 0.2462,
2475
+ "step": 1745
2476
+ },
2477
+ {
2478
+ "epoch": 1.4035087719298245,
2479
+ "grad_norm": 0.17096513509750366,
2480
+ "learning_rate": 0.00010162949448316089,
2481
+ "loss": 0.2818,
2482
+ "step": 1750
2483
+ },
2484
+ {
2485
+ "epoch": 1.4075187969924812,
2486
+ "grad_norm": 0.16146983206272125,
2487
+ "learning_rate": 0.00010036414073398479,
2488
+ "loss": 0.2691,
2489
+ "step": 1755
2490
+ },
2491
+ {
2492
+ "epoch": 1.4115288220551379,
2493
+ "grad_norm": 0.15868982672691345,
2494
+ "learning_rate": 9.910473234159286e-05,
2495
+ "loss": 0.2857,
2496
+ "step": 1760
2497
+ },
2498
+ {
2499
+ "epoch": 1.4155388471177945,
2500
+ "grad_norm": 0.1619461625814438,
2501
+ "learning_rate": 9.785131934500818e-05,
2502
+ "loss": 0.2807,
2503
+ "step": 1765
2504
+ },
2505
+ {
2506
+ "epoch": 1.4195488721804512,
2507
+ "grad_norm": 0.1557190865278244,
2508
+ "learning_rate": 9.660395154504401e-05,
2509
+ "loss": 0.2548,
2510
+ "step": 1770
2511
+ },
2512
+ {
2513
+ "epoch": 1.4235588972431077,
2514
+ "grad_norm": 0.17061957716941833,
2515
+ "learning_rate": 9.536267850232472e-05,
2516
+ "loss": 0.2801,
2517
+ "step": 1775
2518
+ },
2519
+ {
2520
+ "epoch": 1.4275689223057644,
2521
+ "grad_norm": 0.17641028761863708,
2522
+ "learning_rate": 9.412754953531663e-05,
2523
+ "loss": 0.2924,
2524
+ "step": 1780
2525
+ },
2526
+ {
2527
+ "epoch": 1.431578947368421,
2528
+ "grad_norm": 0.15920333564281464,
2529
+ "learning_rate": 9.289861371836885e-05,
2530
+ "loss": 0.2563,
2531
+ "step": 1785
2532
+ },
2533
+ {
2534
+ "epoch": 1.4355889724310777,
2535
+ "grad_norm": 0.15198518335819244,
2536
+ "learning_rate": 9.167591987976312e-05,
2537
+ "loss": 0.2357,
2538
+ "step": 1790
2539
+ },
2540
+ {
2541
+ "epoch": 1.4395989974937344,
2542
+ "grad_norm": 0.1758808046579361,
2543
+ "learning_rate": 9.045951659977397e-05,
2544
+ "loss": 0.2535,
2545
+ "step": 1795
2546
+ },
2547
+ {
2548
+ "epoch": 1.443609022556391,
2549
+ "grad_norm": 0.18127872049808502,
2550
+ "learning_rate": 8.924945220873823e-05,
2551
+ "loss": 0.2888,
2552
+ "step": 1800
2553
+ },
2554
+ {
2555
+ "epoch": 1.4476190476190476,
2556
+ "grad_norm": 0.1601109355688095,
2557
+ "learning_rate": 8.804577478513492e-05,
2558
+ "loss": 0.2528,
2559
+ "step": 1805
2560
+ },
2561
+ {
2562
+ "epoch": 1.4516290726817043,
2563
+ "grad_norm": 0.16406309604644775,
2564
+ "learning_rate": 8.684853215367522e-05,
2565
+ "loss": 0.2766,
2566
+ "step": 1810
2567
+ },
2568
+ {
2569
+ "epoch": 1.455639097744361,
2570
+ "grad_norm": 0.158805251121521,
2571
+ "learning_rate": 8.565777188340207e-05,
2572
+ "loss": 0.2747,
2573
+ "step": 1815
2574
+ },
2575
+ {
2576
+ "epoch": 1.4596491228070176,
2577
+ "grad_norm": 0.17480885982513428,
2578
+ "learning_rate": 8.44735412857999e-05,
2579
+ "loss": 0.3079,
2580
+ "step": 1820
2581
+ },
2582
+ {
2583
+ "epoch": 1.463659147869674,
2584
+ "grad_norm": 0.1617252379655838,
2585
+ "learning_rate": 8.329588741291535e-05,
2586
+ "loss": 0.2701,
2587
+ "step": 1825
2588
+ },
2589
+ {
2590
+ "epoch": 1.4676691729323308,
2591
+ "grad_norm": 0.1652277261018753,
2592
+ "learning_rate": 8.212485705548756e-05,
2593
+ "loss": 0.25,
2594
+ "step": 1830
2595
+ },
2596
+ {
2597
+ "epoch": 1.4716791979949875,
2598
+ "grad_norm": 0.16213206946849823,
2599
+ "learning_rate": 8.096049674108877e-05,
2600
+ "loss": 0.2683,
2601
+ "step": 1835
2602
+ },
2603
+ {
2604
+ "epoch": 1.4756892230576442,
2605
+ "grad_norm": 0.167341947555542,
2606
+ "learning_rate": 7.980285273227633e-05,
2607
+ "loss": 0.2724,
2608
+ "step": 1840
2609
+ },
2610
+ {
2611
+ "epoch": 1.4796992481203008,
2612
+ "grad_norm": 0.1590610146522522,
2613
+ "learning_rate": 7.865197102475388e-05,
2614
+ "loss": 0.2518,
2615
+ "step": 1845
2616
+ },
2617
+ {
2618
+ "epoch": 1.4837092731829573,
2619
+ "grad_norm": 0.16797657310962677,
2620
+ "learning_rate": 7.75078973455445e-05,
2621
+ "loss": 0.2651,
2622
+ "step": 1850
2623
+ },
2624
+ {
2625
+ "epoch": 1.487719298245614,
2626
+ "grad_norm": 0.17504721879959106,
2627
+ "learning_rate": 7.637067715117327e-05,
2628
+ "loss": 0.3017,
2629
+ "step": 1855
2630
+ },
2631
+ {
2632
+ "epoch": 1.4917293233082707,
2633
+ "grad_norm": 0.16186365485191345,
2634
+ "learning_rate": 7.52403556258617e-05,
2635
+ "loss": 0.2344,
2636
+ "step": 1860
2637
+ },
2638
+ {
2639
+ "epoch": 1.4957393483709274,
2640
+ "grad_norm": 0.17528776824474335,
2641
+ "learning_rate": 7.41169776797322e-05,
2642
+ "loss": 0.264,
2643
+ "step": 1865
2644
+ },
2645
+ {
2646
+ "epoch": 1.4989473684210526,
2647
+ "eval_loss": 0.2417936623096466,
2648
+ "eval_runtime": 8.3922,
2649
+ "eval_samples_per_second": 6.554,
2650
+ "eval_steps_per_second": 0.834,
2651
+ "step": 1869
2652
+ },
2653
+ {
2654
+ "epoch": 1.499749373433584,
2655
+ "grad_norm": 0.1840500384569168,
2656
+ "learning_rate": 7.300058794702352e-05,
2657
+ "loss": 0.27,
2658
+ "step": 1870
2659
+ },
2660
+ {
2661
+ "epoch": 1.5037593984962405,
2662
+ "grad_norm": 0.1910168081521988,
2663
+ "learning_rate": 7.189123078431784e-05,
2664
+ "loss": 0.2823,
2665
+ "step": 1875
2666
+ },
2667
+ {
2668
+ "epoch": 1.5077694235588972,
2669
+ "grad_norm": 0.16170190274715424,
2670
+ "learning_rate": 7.078895026877804e-05,
2671
+ "loss": 0.253,
2672
+ "step": 1880
2673
+ },
2674
+ {
2675
+ "epoch": 1.511779448621554,
2676
+ "grad_norm": 0.17806147038936615,
2677
+ "learning_rate": 6.969379019639635e-05,
2678
+ "loss": 0.2836,
2679
+ "step": 1885
2680
+ },
2681
+ {
2682
+ "epoch": 1.5157894736842106,
2683
+ "grad_norm": 0.15123490989208221,
2684
+ "learning_rate": 6.860579408025436e-05,
2685
+ "loss": 0.2495,
2686
+ "step": 1890
2687
+ },
2688
+ {
2689
+ "epoch": 1.5197994987468673,
2690
+ "grad_norm": 0.16695557534694672,
2691
+ "learning_rate": 6.752500514879437e-05,
2692
+ "loss": 0.2773,
2693
+ "step": 1895
2694
+ },
2695
+ {
2696
+ "epoch": 1.5238095238095237,
2697
+ "grad_norm": 0.16708271205425262,
2698
+ "learning_rate": 6.645146634410151e-05,
2699
+ "loss": 0.252,
2700
+ "step": 1900
2701
+ },
2702
+ {
2703
+ "epoch": 1.5278195488721804,
2704
+ "grad_norm": 0.1510598361492157,
2705
+ "learning_rate": 6.538522032019759e-05,
2706
+ "loss": 0.2373,
2707
+ "step": 1905
2708
+ },
2709
+ {
2710
+ "epoch": 1.531829573934837,
2711
+ "grad_norm": 0.1686723679304123,
2712
+ "learning_rate": 6.432630944134654e-05,
2713
+ "loss": 0.2743,
2714
+ "step": 1910
2715
+ },
2716
+ {
2717
+ "epoch": 1.5358395989974938,
2718
+ "grad_norm": 0.16884025931358337,
2719
+ "learning_rate": 6.327477578037106e-05,
2720
+ "loss": 0.2673,
2721
+ "step": 1915
2722
+ },
2723
+ {
2724
+ "epoch": 1.5398496240601505,
2725
+ "grad_norm": 0.16477200388908386,
2726
+ "learning_rate": 6.223066111698111e-05,
2727
+ "loss": 0.2713,
2728
+ "step": 1920
2729
+ },
2730
+ {
2731
+ "epoch": 1.543859649122807,
2732
+ "grad_norm": 0.18342123925685883,
2733
+ "learning_rate": 6.119400693611357e-05,
2734
+ "loss": 0.2791,
2735
+ "step": 1925
2736
+ },
2737
+ {
2738
+ "epoch": 1.5478696741854636,
2739
+ "grad_norm": 0.16829492151737213,
2740
+ "learning_rate": 6.0164854426284447e-05,
2741
+ "loss": 0.2702,
2742
+ "step": 1930
2743
+ },
2744
+ {
2745
+ "epoch": 1.5518796992481203,
2746
+ "grad_norm": 0.16608929634094238,
2747
+ "learning_rate": 5.914324447795186e-05,
2748
+ "loss": 0.2741,
2749
+ "step": 1935
2750
+ },
2751
+ {
2752
+ "epoch": 1.555889724310777,
2753
+ "grad_norm": 0.16408754885196686,
2754
+ "learning_rate": 5.8129217681891886e-05,
2755
+ "loss": 0.2661,
2756
+ "step": 1940
2757
+ },
2758
+ {
2759
+ "epoch": 1.5598997493734337,
2760
+ "grad_norm": 0.1709819734096527,
2761
+ "learning_rate": 5.7122814327585316e-05,
2762
+ "loss": 0.2557,
2763
+ "step": 1945
2764
+ },
2765
+ {
2766
+ "epoch": 1.5639097744360901,
2767
+ "grad_norm": 0.187583327293396,
2768
+ "learning_rate": 5.612407440161721e-05,
2769
+ "loss": 0.2623,
2770
+ "step": 1950
2771
+ },
2772
+ {
2773
+ "epoch": 1.5679197994987468,
2774
+ "grad_norm": 0.16979658603668213,
2775
+ "learning_rate": 5.513303758608804e-05,
2776
+ "loss": 0.2615,
2777
+ "step": 1955
2778
+ },
2779
+ {
2780
+ "epoch": 1.5719298245614035,
2781
+ "grad_norm": 0.13367925584316254,
2782
+ "learning_rate": 5.414974325703686e-05,
2783
+ "loss": 0.2276,
2784
+ "step": 1960
2785
+ },
2786
+ {
2787
+ "epoch": 1.5759398496240602,
2788
+ "grad_norm": 0.17686474323272705,
2789
+ "learning_rate": 5.317423048287717e-05,
2790
+ "loss": 0.2444,
2791
+ "step": 1965
2792
+ },
2793
+ {
2794
+ "epoch": 1.5799498746867169,
2795
+ "grad_norm": 0.17005467414855957,
2796
+ "learning_rate": 5.220653802284439e-05,
2797
+ "loss": 0.2581,
2798
+ "step": 1970
2799
+ },
2800
+ {
2801
+ "epoch": 1.5839598997493733,
2802
+ "grad_norm": 0.1664769947528839,
2803
+ "learning_rate": 5.124670432545578e-05,
2804
+ "loss": 0.2628,
2805
+ "step": 1975
2806
+ },
2807
+ {
2808
+ "epoch": 1.58796992481203,
2809
+ "grad_norm": 0.17945070564746857,
2810
+ "learning_rate": 5.0294767526983006e-05,
2811
+ "loss": 0.276,
2812
+ "step": 1980
2813
+ },
2814
+ {
2815
+ "epoch": 1.5919799498746867,
2816
+ "grad_norm": 0.1758703887462616,
2817
+ "learning_rate": 4.9350765449936915e-05,
2818
+ "loss": 0.2744,
2819
+ "step": 1985
2820
+ },
2821
+ {
2822
+ "epoch": 1.5959899749373434,
2823
+ "grad_norm": 0.1651277393102646,
2824
+ "learning_rate": 4.84147356015647e-05,
2825
+ "loss": 0.2872,
2826
+ "step": 1990
2827
+ },
2828
+ {
2829
+ "epoch": 1.6,
2830
+ "grad_norm": 0.16701501607894897,
2831
+ "learning_rate": 4.748671517235948e-05,
2832
+ "loss": 0.2676,
2833
+ "step": 1995
2834
+ },
2835
+ {
2836
+ "epoch": 1.6040100250626566,
2837
+ "grad_norm": 0.16929472982883453,
2838
+ "learning_rate": 4.656674103458291e-05,
2839
+ "loss": 0.2498,
2840
+ "step": 2000
2841
+ },
2842
+ {
2843
+ "epoch": 1.6080200501253132,
2844
+ "grad_norm": 0.15207117795944214,
2845
+ "learning_rate": 4.5654849740800145e-05,
2846
+ "loss": 0.26,
2847
+ "step": 2005
2848
+ },
2849
+ {
2850
+ "epoch": 1.61203007518797,
2851
+ "grad_norm": 0.15770703554153442,
2852
+ "learning_rate": 4.47510775224273e-05,
2853
+ "loss": 0.2644,
2854
+ "step": 2010
2855
+ },
2856
+ {
2857
+ "epoch": 1.6160401002506266,
2858
+ "grad_norm": 0.16916294395923615,
2859
+ "learning_rate": 4.38554602882921e-05,
2860
+ "loss": 0.3026,
2861
+ "step": 2015
2862
+ },
2863
+ {
2864
+ "epoch": 1.6200501253132833,
2865
+ "grad_norm": 0.16087712347507477,
2866
+ "learning_rate": 4.2968033623206974e-05,
2867
+ "loss": 0.2632,
2868
+ "step": 2020
2869
+ },
2870
+ {
2871
+ "epoch": 1.6240601503759398,
2872
+ "grad_norm": 0.18064051866531372,
2873
+ "learning_rate": 4.2088832786555456e-05,
2874
+ "loss": 0.2654,
2875
+ "step": 2025
2876
+ },
2877
+ {
2878
+ "epoch": 1.6280701754385964,
2879
+ "grad_norm": 0.17459240555763245,
2880
+ "learning_rate": 4.121789271089113e-05,
2881
+ "loss": 0.276,
2882
+ "step": 2030
2883
+ },
2884
+ {
2885
+ "epoch": 1.6320802005012531,
2886
+ "grad_norm": 0.15657363831996918,
2887
+ "learning_rate": 4.0355248000549434e-05,
2888
+ "loss": 0.241,
2889
+ "step": 2035
2890
+ },
2891
+ {
2892
+ "epoch": 1.6360902255639098,
2893
+ "grad_norm": 0.1620418131351471,
2894
+ "learning_rate": 3.950093293027318e-05,
2895
+ "loss": 0.2821,
2896
+ "step": 2040
2897
+ },
2898
+ {
2899
+ "epoch": 1.6401002506265665,
2900
+ "grad_norm": 0.18404340744018555,
2901
+ "learning_rate": 3.865498144385049e-05,
2902
+ "loss": 0.2935,
2903
+ "step": 2045
2904
+ },
2905
+ {
2906
+ "epoch": 1.644110275689223,
2907
+ "grad_norm": 0.16540312767028809,
2908
+ "learning_rate": 3.7817427152766094e-05,
2909
+ "loss": 0.2583,
2910
+ "step": 2050
2911
+ },
2912
+ {
2913
+ "epoch": 1.6481203007518797,
2914
+ "grad_norm": 0.16649490594863892,
2915
+ "learning_rate": 3.6988303334866054e-05,
2916
+ "loss": 0.2774,
2917
+ "step": 2055
2918
+ },
2919
+ {
2920
+ "epoch": 1.6521303258145363,
2921
+ "grad_norm": 0.1626511514186859,
2922
+ "learning_rate": 3.6167642933035486e-05,
2923
+ "loss": 0.2467,
2924
+ "step": 2060
2925
+ },
2926
+ {
2927
+ "epoch": 1.656140350877193,
2928
+ "grad_norm": 0.16354456543922424,
2929
+ "learning_rate": 3.535547855388963e-05,
2930
+ "loss": 0.2544,
2931
+ "step": 2065
2932
+ },
2933
+ {
2934
+ "epoch": 1.6601503759398497,
2935
+ "grad_norm": 0.16961799561977386,
2936
+ "learning_rate": 3.455184246647822e-05,
2937
+ "loss": 0.2389,
2938
+ "step": 2070
2939
+ },
2940
+ {
2941
+ "epoch": 1.6641604010025062,
2942
+ "grad_norm": 0.17093317210674286,
2943
+ "learning_rate": 3.375676660100366e-05,
2944
+ "loss": 0.2767,
2945
+ "step": 2075
2946
+ },
2947
+ {
2948
+ "epoch": 1.6681704260651629,
2949
+ "grad_norm": 0.1904112696647644,
2950
+ "learning_rate": 3.297028254755221e-05,
2951
+ "loss": 0.29,
2952
+ "step": 2080
2953
+ },
2954
+ {
2955
+ "epoch": 1.6721804511278195,
2956
+ "grad_norm": 0.18005013465881348,
2957
+ "learning_rate": 3.219242155483868e-05,
2958
+ "loss": 0.249,
2959
+ "step": 2085
2960
+ },
2961
+ {
2962
+ "epoch": 1.6761904761904762,
2963
+ "grad_norm": 0.1755589246749878,
2964
+ "learning_rate": 3.142321452896504e-05,
2965
+ "loss": 0.2956,
2966
+ "step": 2090
2967
+ },
2968
+ {
2969
+ "epoch": 1.680200501253133,
2970
+ "grad_norm": 0.15832673013210297,
2971
+ "learning_rate": 3.0662692032192516e-05,
2972
+ "loss": 0.2561,
2973
+ "step": 2095
2974
+ },
2975
+ {
2976
+ "epoch": 1.6842105263157894,
2977
+ "grad_norm": 0.15485481917858124,
2978
+ "learning_rate": 2.9910884281727225e-05,
2979
+ "loss": 0.2502,
2980
+ "step": 2100
2981
+ },
2982
+ {
2983
+ "epoch": 1.688220551378446,
2984
+ "grad_norm": 0.16627748310565948,
2985
+ "learning_rate": 2.916782114851918e-05,
2986
+ "loss": 0.2939,
2987
+ "step": 2105
2988
+ },
2989
+ {
2990
+ "epoch": 1.6922305764411028,
2991
+ "grad_norm": 0.17444783449172974,
2992
+ "learning_rate": 2.843353215607619e-05,
2993
+ "loss": 0.2731,
2994
+ "step": 2110
2995
+ },
2996
+ {
2997
+ "epoch": 1.6962406015037594,
2998
+ "grad_norm": 0.17445623874664307,
2999
+ "learning_rate": 2.7708046479290316e-05,
3000
+ "loss": 0.2752,
3001
+ "step": 2115
3002
+ },
3003
+ {
3004
+ "epoch": 1.7002506265664161,
3005
+ "grad_norm": 0.17704740166664124,
3006
+ "learning_rate": 2.6991392943278874e-05,
3007
+ "loss": 0.2423,
3008
+ "step": 2120
3009
+ },
3010
+ {
3011
+ "epoch": 1.7042606516290726,
3012
+ "grad_norm": 0.16555817425251007,
3013
+ "learning_rate": 2.6283600022238925e-05,
3014
+ "loss": 0.2811,
3015
+ "step": 2125
3016
+ },
3017
+ {
3018
+ "epoch": 1.7082706766917293,
3019
+ "grad_norm": 0.1633770912885666,
3020
+ "learning_rate": 2.5584695838316323e-05,
3021
+ "loss": 0.2463,
3022
+ "step": 2130
3023
+ },
3024
+ {
3025
+ "epoch": 1.712280701754386,
3026
+ "grad_norm": 0.17787782847881317,
3027
+ "learning_rate": 2.4894708160488057e-05,
3028
+ "loss": 0.266,
3029
+ "step": 2135
3030
+ },
3031
+ {
3032
+ "epoch": 1.7162907268170426,
3033
+ "grad_norm": 0.15796466171741486,
3034
+ "learning_rate": 2.4213664403458903e-05,
3035
+ "loss": 0.2574,
3036
+ "step": 2140
3037
+ },
3038
+ {
3039
+ "epoch": 1.7203007518796993,
3040
+ "grad_norm": 0.1675783395767212,
3041
+ "learning_rate": 2.3541591626572518e-05,
3042
+ "loss": 0.251,
3043
+ "step": 2145
3044
+ },
3045
+ {
3046
+ "epoch": 1.7243107769423558,
3047
+ "grad_norm": 0.17418669164180756,
3048
+ "learning_rate": 2.287851653273587e-05,
3049
+ "loss": 0.2552,
3050
+ "step": 2150
3051
+ },
3052
+ {
3053
+ "epoch": 1.7283208020050125,
3054
+ "grad_norm": 0.17587542533874512,
3055
+ "learning_rate": 2.222446546735868e-05,
3056
+ "loss": 0.272,
3057
+ "step": 2155
3058
+ },
3059
+ {
3060
+ "epoch": 1.7323308270676692,
3061
+ "grad_norm": 0.17269235849380493,
3062
+ "learning_rate": 2.1579464417306266e-05,
3063
+ "loss": 0.2586,
3064
+ "step": 2160
3065
+ },
3066
+ {
3067
+ "epoch": 1.7363408521303259,
3068
+ "grad_norm": 0.1612161546945572,
3069
+ "learning_rate": 2.0943539009867423e-05,
3070
+ "loss": 0.2783,
3071
+ "step": 2165
3072
+ },
3073
+ {
3074
+ "epoch": 1.7403508771929825,
3075
+ "grad_norm": 0.15821614861488342,
3076
+ "learning_rate": 2.0316714511736002e-05,
3077
+ "loss": 0.2634,
3078
+ "step": 2170
3079
+ },
3080
+ {
3081
+ "epoch": 1.744360902255639,
3082
+ "grad_norm": 0.17940925061702728,
3083
+ "learning_rate": 1.9699015828006788e-05,
3084
+ "loss": 0.2632,
3085
+ "step": 2175
3086
+ },
3087
+ {
3088
+ "epoch": 1.7483709273182957,
3089
+ "grad_norm": 0.1658666729927063,
3090
+ "learning_rate": 1.909046750118648e-05,
3091
+ "loss": 0.2666,
3092
+ "step": 2180
3093
+ },
3094
+ {
3095
+ "epoch": 1.7523809523809524,
3096
+ "grad_norm": 0.16111963987350464,
3097
+ "learning_rate": 1.849109371021815e-05,
3098
+ "loss": 0.2561,
3099
+ "step": 2185
3100
+ },
3101
+ {
3102
+ "epoch": 1.756390977443609,
3103
+ "grad_norm": 0.17400680482387543,
3104
+ "learning_rate": 1.7900918269520672e-05,
3105
+ "loss": 0.2499,
3106
+ "step": 2190
3107
+ },
3108
+ {
3109
+ "epoch": 1.7604010025062657,
3110
+ "grad_norm": 0.16988424956798553,
3111
+ "learning_rate": 1.73199646280425e-05,
3112
+ "loss": 0.2719,
3113
+ "step": 2195
3114
+ },
3115
+ {
3116
+ "epoch": 1.7644110275689222,
3117
+ "grad_norm": 0.16524524986743927,
3118
+ "learning_rate": 1.6748255868330148e-05,
3119
+ "loss": 0.2296,
3120
+ "step": 2200
3121
+ },
3122
+ {
3123
+ "epoch": 1.768421052631579,
3124
+ "grad_norm": 0.18039652705192566,
3125
+ "learning_rate": 1.6185814705610925e-05,
3126
+ "loss": 0.2677,
3127
+ "step": 2205
3128
+ },
3129
+ {
3130
+ "epoch": 1.7724310776942356,
3131
+ "grad_norm": 0.1674271821975708,
3132
+ "learning_rate": 1.5632663486890407e-05,
3133
+ "loss": 0.2644,
3134
+ "step": 2210
3135
+ },
3136
+ {
3137
+ "epoch": 1.7764411027568923,
3138
+ "grad_norm": 0.1731635481119156,
3139
+ "learning_rate": 1.5088824190064521e-05,
3140
+ "loss": 0.2676,
3141
+ "step": 2215
3142
+ },
3143
+ {
3144
+ "epoch": 1.780451127819549,
3145
+ "grad_norm": 0.1482301503419876,
3146
+ "learning_rate": 1.455431842304647e-05,
3147
+ "loss": 0.2497,
3148
+ "step": 2220
3149
+ },
3150
+ {
3151
+ "epoch": 1.7844611528822054,
3152
+ "grad_norm": 0.16372230648994446,
3153
+ "learning_rate": 1.4029167422908107e-05,
3154
+ "loss": 0.266,
3155
+ "step": 2225
3156
+ },
3157
+ {
3158
+ "epoch": 1.788471177944862,
3159
+ "grad_norm": 0.17107130587100983,
3160
+ "learning_rate": 1.3513392055036072e-05,
3161
+ "loss": 0.279,
3162
+ "step": 2230
3163
+ },
3164
+ {
3165
+ "epoch": 1.7924812030075188,
3166
+ "grad_norm": 0.15426160395145416,
3167
+ "learning_rate": 1.3007012812302737e-05,
3168
+ "loss": 0.2512,
3169
+ "step": 2235
3170
+ },
3171
+ {
3172
+ "epoch": 1.7964912280701755,
3173
+ "grad_norm": 0.16106005012989044,
3174
+ "learning_rate": 1.25100498142523e-05,
3175
+ "loss": 0.2639,
3176
+ "step": 2240
3177
+ },
3178
+ {
3179
+ "epoch": 1.8005012531328322,
3180
+ "grad_norm": 0.16801631450653076,
3181
+ "learning_rate": 1.2022522806301005e-05,
3182
+ "loss": 0.2504,
3183
+ "step": 2245
3184
+ },
3185
+ {
3186
+ "epoch": 1.8045112781954886,
3187
+ "grad_norm": 0.15076345205307007,
3188
+ "learning_rate": 1.1544451158952807e-05,
3189
+ "loss": 0.2516,
3190
+ "step": 2250
3191
+ },
3192
+ {
3193
+ "epoch": 1.8085213032581455,
3194
+ "grad_norm": 0.16535955667495728,
3195
+ "learning_rate": 1.1075853867029694e-05,
3196
+ "loss": 0.2541,
3197
+ "step": 2255
3198
+ },
3199
+ {
3200
+ "epoch": 1.812531328320802,
3201
+ "grad_norm": 0.14483940601348877,
3202
+ "learning_rate": 1.0616749548917059e-05,
3203
+ "loss": 0.2392,
3204
+ "step": 2260
3205
+ },
3206
+ {
3207
+ "epoch": 1.8165413533834587,
3208
+ "grad_norm": 0.1692323386669159,
3209
+ "learning_rate": 1.0167156445823777e-05,
3210
+ "loss": 0.2535,
3211
+ "step": 2265
3212
+ },
3213
+ {
3214
+ "epoch": 1.8205513784461154,
3215
+ "grad_norm": 0.15716001391410828,
3216
+ "learning_rate": 9.727092421057627e-06,
3217
+ "loss": 0.2369,
3218
+ "step": 2270
3219
+ },
3220
+ {
3221
+ "epoch": 1.8245614035087718,
3222
+ "grad_norm": 0.14877931773662567,
3223
+ "learning_rate": 9.296574959315463e-06,
3224
+ "loss": 0.2565,
3225
+ "step": 2275
3226
+ },
3227
+ {
3228
+ "epoch": 1.8285714285714287,
3229
+ "grad_norm": 0.1587458699941635,
3230
+ "learning_rate": 8.875621165988474e-06,
3231
+ "loss": 0.269,
3232
+ "step": 2280
3233
+ },
3234
+ {
3235
+ "epoch": 1.8325814536340852,
3236
+ "grad_norm": 0.17435844242572784,
3237
+ "learning_rate": 8.46424776648258e-06,
3238
+ "loss": 0.2456,
3239
+ "step": 2285
3240
+ },
3241
+ {
3242
+ "epoch": 1.8365914786967419,
3243
+ "grad_norm": 0.16262808442115784,
3244
+ "learning_rate": 8.06247110555397e-06,
3245
+ "loss": 0.2582,
3246
+ "step": 2290
3247
+ },
3248
+ {
3249
+ "epoch": 1.8406015037593986,
3250
+ "grad_norm": 0.15774986147880554,
3251
+ "learning_rate": 7.670307146659588e-06,
3252
+ "loss": 0.2713,
3253
+ "step": 2295
3254
+ },
3255
+ {
3256
+ "epoch": 1.844611528822055,
3257
+ "grad_norm": 0.16883234679698944,
3258
+ "learning_rate": 7.287771471322951e-06,
3259
+ "loss": 0.2732,
3260
+ "step": 2300
3261
+ },
3262
+ {
3263
+ "epoch": 1.848621553884712,
3264
+ "grad_norm": 0.16868174076080322,
3265
+ "learning_rate": 6.91487927851489e-06,
3266
+ "loss": 0.2495,
3267
+ "step": 2305
3268
+ },
3269
+ {
3270
+ "epoch": 1.8526315789473684,
3271
+ "grad_norm": 0.16309338808059692,
3272
+ "learning_rate": 6.551645384049898e-06,
3273
+ "loss": 0.2684,
3274
+ "step": 2310
3275
+ },
3276
+ {
3277
+ "epoch": 1.856641604010025,
3278
+ "grad_norm": 0.1636061668395996,
3279
+ "learning_rate": 6.198084219997374e-06,
3280
+ "loss": 0.2668,
3281
+ "step": 2315
3282
+ },
3283
+ {
3284
+ "epoch": 1.8606516290726818,
3285
+ "grad_norm": 0.17537201941013336,
3286
+ "learning_rate": 5.854209834108087e-06,
3287
+ "loss": 0.2743,
3288
+ "step": 2320
3289
+ },
3290
+ {
3291
+ "epoch": 1.8646616541353382,
3292
+ "grad_norm": 0.18073910474777222,
3293
+ "learning_rate": 5.5200358892561755e-06,
3294
+ "loss": 0.2738,
3295
+ "step": 2325
3296
+ },
3297
+ {
3298
+ "epoch": 1.8686716791979952,
3299
+ "grad_norm": 0.16718195378780365,
3300
+ "learning_rate": 5.195575662896301e-06,
3301
+ "loss": 0.2668,
3302
+ "step": 2330
3303
+ },
3304
+ {
3305
+ "epoch": 1.8726817042606516,
3306
+ "grad_norm": 0.15906399488449097,
3307
+ "learning_rate": 4.880842046536021e-06,
3308
+ "loss": 0.2522,
3309
+ "step": 2335
3310
+ },
3311
+ {
3312
+ "epoch": 1.8766917293233083,
3313
+ "grad_norm": 0.1543634831905365,
3314
+ "learning_rate": 4.575847545223499e-06,
3315
+ "loss": 0.2325,
3316
+ "step": 2340
3317
+ },
3318
+ {
3319
+ "epoch": 1.880701754385965,
3320
+ "grad_norm": 0.15531331300735474,
3321
+ "learning_rate": 4.2806042770509316e-06,
3322
+ "loss": 0.2503,
3323
+ "step": 2345
3324
+ },
3325
+ {
3326
+ "epoch": 1.8847117794486214,
3327
+ "grad_norm": 0.17484238743782043,
3328
+ "learning_rate": 3.9951239726728485e-06,
3329
+ "loss": 0.2491,
3330
+ "step": 2350
3331
+ },
3332
+ {
3333
+ "epoch": 1.8887218045112784,
3334
+ "grad_norm": 0.15897777676582336,
3335
+ "learning_rate": 3.719417974839989e-06,
3336
+ "loss": 0.2708,
3337
+ "step": 2355
3338
+ },
3339
+ {
3340
+ "epoch": 1.8927318295739348,
3341
+ "grad_norm": 0.16040709614753723,
3342
+ "learning_rate": 3.453497237948855e-06,
3343
+ "loss": 0.2655,
3344
+ "step": 2360
3345
+ },
3346
+ {
3347
+ "epoch": 1.8967418546365915,
3348
+ "grad_norm": 0.14991337060928345,
3349
+ "learning_rate": 3.1973723276062517e-06,
3350
+ "loss": 0.2275,
3351
+ "step": 2365
3352
+ },
3353
+ {
3354
+ "epoch": 1.9007518796992482,
3355
+ "grad_norm": 0.1545797735452652,
3356
+ "learning_rate": 2.9510534202096263e-06,
3357
+ "loss": 0.2576,
3358
+ "step": 2370
3359
+ },
3360
+ {
3361
+ "epoch": 1.9047619047619047,
3362
+ "grad_norm": 0.16641472280025482,
3363
+ "learning_rate": 2.71455030254264e-06,
3364
+ "loss": 0.2607,
3365
+ "step": 2375
3366
+ },
3367
+ {
3368
+ "epoch": 1.9087719298245616,
3369
+ "grad_norm": 0.1749178171157837,
3370
+ "learning_rate": 2.487872371386424e-06,
3371
+ "loss": 0.2679,
3372
+ "step": 2380
3373
+ },
3374
+ {
3375
+ "epoch": 1.912781954887218,
3376
+ "grad_norm": 0.1886933445930481,
3377
+ "learning_rate": 2.271028633146127e-06,
3378
+ "loss": 0.2631,
3379
+ "step": 2385
3380
+ },
3381
+ {
3382
+ "epoch": 1.9167919799498747,
3383
+ "grad_norm": 0.15673983097076416,
3384
+ "learning_rate": 2.064027703493149e-06,
3385
+ "loss": 0.2502,
3386
+ "step": 2390
3387
+ },
3388
+ {
3389
+ "epoch": 1.9208020050125314,
3390
+ "grad_norm": 0.16062475740909576,
3391
+ "learning_rate": 1.866877807022771e-06,
3392
+ "loss": 0.2295,
3393
+ "step": 2395
3394
+ },
3395
+ {
3396
+ "epoch": 1.9248120300751879,
3397
+ "grad_norm": 0.16452881693840027,
3398
+ "learning_rate": 1.6795867769273665e-06,
3399
+ "loss": 0.2585,
3400
+ "step": 2400
3401
+ },
3402
+ {
3403
+ "epoch": 1.9288220551378448,
3404
+ "grad_norm": 0.17597217857837677,
3405
+ "learning_rate": 1.50216205468523e-06,
3406
+ "loss": 0.2586,
3407
+ "step": 2405
3408
+ },
3409
+ {
3410
+ "epoch": 1.9328320802005012,
3411
+ "grad_norm": 0.1579117476940155,
3412
+ "learning_rate": 1.3346106897648424e-06,
3413
+ "loss": 0.2442,
3414
+ "step": 2410
3415
+ },
3416
+ {
3417
+ "epoch": 1.936842105263158,
3418
+ "grad_norm": 0.16751398146152496,
3419
+ "learning_rate": 1.1769393393448457e-06,
3420
+ "loss": 0.2649,
3421
+ "step": 2415
3422
+ },
3423
+ {
3424
+ "epoch": 1.9408521303258146,
3425
+ "grad_norm": 0.17506803572177887,
3426
+ "learning_rate": 1.0291542680494758e-06,
3427
+ "loss": 0.2709,
3428
+ "step": 2420
3429
+ },
3430
+ {
3431
+ "epoch": 1.944862155388471,
3432
+ "grad_norm": 0.17089371383190155,
3433
+ "learning_rate": 8.912613476997067e-07,
3434
+ "loss": 0.2739,
3435
+ "step": 2425
3436
+ },
3437
+ {
3438
+ "epoch": 1.948872180451128,
3439
+ "grad_norm": 0.16731411218643188,
3440
+ "learning_rate": 7.632660570799366e-07,
3441
+ "loss": 0.2617,
3442
+ "step": 2430
3443
+ },
3444
+ {
3445
+ "epoch": 1.9528822055137844,
3446
+ "grad_norm": 0.15917718410491943,
3447
+ "learning_rate": 6.451734817202736e-07,
3448
+ "loss": 0.2783,
3449
+ "step": 2435
3450
+ },
3451
+ {
3452
+ "epoch": 1.9568922305764411,
3453
+ "grad_norm": 0.17604759335517883,
3454
+ "learning_rate": 5.369883136945309e-07,
3455
+ "loss": 0.2538,
3456
+ "step": 2440
3457
+ },
3458
+ {
3459
+ "epoch": 1.9609022556390978,
3460
+ "grad_norm": 0.1530042290687561,
3461
+ "learning_rate": 4.387148514337358e-07,
3462
+ "loss": 0.2652,
3463
+ "step": 2445
3464
+ },
3465
+ {
3466
+ "epoch": 1.9649122807017543,
3467
+ "grad_norm": 0.15754002332687378,
3468
+ "learning_rate": 3.503569995554068e-07,
3469
+ "loss": 0.2615,
3470
+ "step": 2450
3471
+ },
3472
+ {
3473
+ "epoch": 1.9689223057644112,
3474
+ "grad_norm": 0.1827680766582489,
3475
+ "learning_rate": 2.7191826870834325e-07,
3476
+ "loss": 0.2742,
3477
+ "step": 2455
3478
+ },
3479
+ {
3480
+ "epoch": 1.9729323308270676,
3481
+ "grad_norm": 0.15967601537704468,
3482
+ "learning_rate": 2.034017754332651e-07,
3483
+ "loss": 0.2466,
3484
+ "step": 2460
3485
+ },
3486
+ {
3487
+ "epoch": 1.9769423558897243,
3488
+ "grad_norm": 0.17333175241947174,
3489
+ "learning_rate": 1.4481024203877313e-07,
3490
+ "loss": 0.2764,
3491
+ "step": 2465
3492
+ },
3493
+ {
3494
+ "epoch": 1.980952380952381,
3495
+ "grad_norm": 0.16165874898433685,
3496
+ "learning_rate": 9.6145996493463e-08,
3497
+ "loss": 0.2568,
3498
+ "step": 2470
3499
+ },
3500
+ {
3501
+ "epoch": 1.9849624060150375,
3502
+ "grad_norm": 0.16772541403770447,
3503
+ "learning_rate": 5.7410972333193924e-08,
3504
+ "loss": 0.2407,
3505
+ "step": 2475
3506
+ },
3507
+ {
3508
+ "epoch": 1.9889724310776944,
3509
+ "grad_norm": 0.14310236275196075,
3510
+ "learning_rate": 2.8606708584344445e-08,
3511
+ "loss": 0.2468,
3512
+ "step": 2480
3513
+ },
3514
+ {
3515
+ "epoch": 1.9929824561403509,
3516
+ "grad_norm": 0.1455429494380951,
3517
+ "learning_rate": 9.734349702722467e-09,
3518
+ "loss": 0.2635,
3519
+ "step": 2485
3520
+ },
3521
+ {
3522
+ "epoch": 1.9969924812030075,
3523
+ "grad_norm": 0.16766951978206635,
3524
+ "learning_rate": 7.94645528018334e-10,
3525
+ "loss": 0.2535,
3526
+ "step": 2490
3527
+ },
3528
+ {
3529
+ "epoch": 1.9985964912280703,
3530
+ "eval_loss": 0.22910664975643158,
3531
+ "eval_runtime": 8.4374,
3532
+ "eval_samples_per_second": 6.519,
3533
+ "eval_steps_per_second": 0.83,
3534
+ "step": 2492
3535
+ },
3536
+ {
3537
+ "epoch": 1.9985964912280703,
3538
+ "step": 2492,
3539
+ "total_flos": 8.025299762167153e+17,
3540
+ "train_loss": 0.37913749282088366,
3541
+ "train_runtime": 28381.1385,
3542
+ "train_samples_per_second": 2.812,
3543
+ "train_steps_per_second": 0.088
3544
+ },
3545
+ {
3546
+ "epoch": 1.9985964912280703,
3547
+ "eval_loss": 0.22910664975643158,
3548
+ "eval_runtime": 8.378,
3549
+ "eval_samples_per_second": 6.565,
3550
+ "eval_steps_per_second": 0.836,
3551
+ "step": 2492
3552
+ }
3553
+ ],
3554
+ "logging_steps": 5,
3555
+ "max_steps": 2492,
3556
+ "num_input_tokens_seen": 0,
3557
+ "num_train_epochs": 2,
3558
+ "save_steps": 500,
3559
+ "stateful_callbacks": {
3560
+ "TrainerControl": {
3561
+ "args": {
3562
+ "should_epoch_stop": false,
3563
+ "should_evaluate": false,
3564
+ "should_log": false,
3565
+ "should_save": false,
3566
+ "should_training_stop": false
3567
+ },
3568
+ "attributes": {}
3569
+ }
3570
+ },
3571
+ "total_flos": 8.025299762167153e+17,
3572
+ "train_batch_size": 2,
3573
+ "trial_name": null,
3574
+ "trial_params": null
3575
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a817357f263a1bc6bd2f6b0a6a3b250ba364a4585866c89a1431fb091d8ee37e
3
+ size 5624