aixk commited on
Commit
be9e9c8
·
1 Parent(s): 54e9ced

FastPlus Backup checkpoint-2200 at global step 2200

Browse files
checkpoint-2200/config.json ADDED
@@ -0,0 +1,19 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "FastPlusForCausalLM"
4
+ ],
5
+ "dtype": "float32",
6
+ "hidden_size": 544,
7
+ "initializer_range": 0.02,
8
+ "intermediate_size": 1632,
9
+ "kd_alpha": 0.4,
10
+ "kd_temperature": 2.5,
11
+ "max_position_embeddings": 512,
12
+ "model_type": "fastplus",
13
+ "num_attention_heads": 8,
14
+ "num_hidden_layers": 12,
15
+ "tie_word_embeddings": true,
16
+ "transformers_version": "5.12.0",
17
+ "use_cache": false,
18
+ "vocab_size": 15968
19
+ }
checkpoint-2200/generation_config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "output_attentions": false,
4
+ "output_hidden_states": false,
5
+ "transformers_version": "5.12.0"
6
+ }
checkpoint-2200/trainer_state.json ADDED
@@ -0,0 +1,1794 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": null,
3
+ "best_metric": null,
4
+ "best_model_checkpoint": null,
5
+ "epoch": 0.7333333333333333,
6
+ "eval_steps": 500,
7
+ "global_step": 2200,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.0003333333333333333,
14
+ "grad_norm": 193.30125427246094,
15
+ "learning_rate": 1.9833333333333332e-05,
16
+ "loss": 154.99522705078124,
17
+ "original_ce_loss": 9.6865,
18
+ "step": 10
19
+ },
20
+ {
21
+ "epoch": 0.0006666666666666666,
22
+ "grad_norm": 207.8564453125,
23
+ "learning_rate": 4.816666666666666e-05,
24
+ "loss": 154.4616943359375,
25
+ "original_ce_loss": 9.6532,
26
+ "step": 20
27
+ },
28
+ {
29
+ "epoch": 0.001,
30
+ "grad_norm": 280.3179931640625,
31
+ "learning_rate": 7.649999999999999e-05,
32
+ "loss": 152.58868408203125,
33
+ "original_ce_loss": 9.5361,
34
+ "step": 30
35
+ },
36
+ {
37
+ "epoch": 0.0013333333333333333,
38
+ "grad_norm": 359.151611328125,
39
+ "learning_rate": 9.916666666666666e-05,
40
+ "loss": 145.5450927734375,
41
+ "original_ce_loss": 9.0959,
42
+ "step": 40
43
+ },
44
+ {
45
+ "epoch": 0.0016666666666666668,
46
+ "grad_norm": 104.84541320800781,
47
+ "learning_rate": 0.00012749999999999998,
48
+ "loss": 129.752197265625,
49
+ "original_ce_loss": 8.1088,
50
+ "step": 50
51
+ },
52
+ {
53
+ "epoch": 0.002,
54
+ "grad_norm": 42.41929244995117,
55
+ "learning_rate": 0.00015583333333333332,
56
+ "loss": 123.40166015625,
57
+ "original_ce_loss": 7.7119,
58
+ "step": 60
59
+ },
60
+ {
61
+ "epoch": 0.0023333333333333335,
62
+ "grad_norm": 43.07599639892578,
63
+ "learning_rate": 0.00018416666666666665,
64
+ "loss": 116.051904296875,
65
+ "original_ce_loss": 7.2526,
66
+ "step": 70
67
+ },
68
+ {
69
+ "epoch": 0.0026666666666666666,
70
+ "grad_norm": 15.110007286071777,
71
+ "learning_rate": 0.0002125,
72
+ "loss": 107.8390625,
73
+ "original_ce_loss": 6.7393,
74
+ "step": 80
75
+ },
76
+ {
77
+ "epoch": 0.003,
78
+ "grad_norm": 19.066268920898438,
79
+ "learning_rate": 0.00024083333333333332,
80
+ "loss": 104.07568359375,
81
+ "original_ce_loss": 6.504,
82
+ "step": 90
83
+ },
84
+ {
85
+ "epoch": 0.0033333333333333335,
86
+ "grad_norm": 15.286686897277832,
87
+ "learning_rate": 0.00026916666666666663,
88
+ "loss": 102.61002197265626,
89
+ "original_ce_loss": 6.4124,
90
+ "step": 100
91
+ },
92
+ {
93
+ "epoch": 0.0036666666666666666,
94
+ "grad_norm": 15.667778015136719,
95
+ "learning_rate": 0.00029749999999999997,
96
+ "loss": 101.6726806640625,
97
+ "original_ce_loss": 6.3539,
98
+ "step": 110
99
+ },
100
+ {
101
+ "epoch": 0.004,
102
+ "grad_norm": 20.178363800048828,
103
+ "learning_rate": 0.00032583333333333336,
104
+ "loss": 101.5388427734375,
105
+ "original_ce_loss": 6.3455,
106
+ "step": 120
107
+ },
108
+ {
109
+ "epoch": 0.004333333333333333,
110
+ "grad_norm": 127.03045654296875,
111
+ "learning_rate": 0.00035416666666666664,
112
+ "loss": 101.36513061523438,
113
+ "original_ce_loss": 6.3346,
114
+ "step": 130
115
+ },
116
+ {
117
+ "epoch": 0.004666666666666667,
118
+ "grad_norm": 21.85209846496582,
119
+ "learning_rate": 0.0003825,
120
+ "loss": 100.66131591796875,
121
+ "original_ce_loss": 6.2907,
122
+ "step": 140
123
+ },
124
+ {
125
+ "epoch": 0.005,
126
+ "grad_norm": 28.871206283569336,
127
+ "learning_rate": 0.00040799999999999994,
128
+ "loss": 100.21246337890625,
129
+ "original_ce_loss": 6.2626,
130
+ "step": 150
131
+ },
132
+ {
133
+ "epoch": 0.005333333333333333,
134
+ "grad_norm": 8.257862091064453,
135
+ "learning_rate": 0.0004249999811695807,
136
+ "loss": 99.4580810546875,
137
+ "original_ce_loss": 6.2155,
138
+ "step": 160
139
+ },
140
+ {
141
+ "epoch": 0.005666666666666667,
142
+ "grad_norm": 16.51659393310547,
143
+ "learning_rate": 0.0004249997693274025,
144
+ "loss": 98.74091796875,
145
+ "original_ce_loss": 6.1707,
146
+ "step": 170
147
+ },
148
+ {
149
+ "epoch": 0.006,
150
+ "grad_norm": NaN,
151
+ "learning_rate": 0.0004249993774195584,
152
+ "loss": 98.07858276367188,
153
+ "original_ce_loss": 6.1293,
154
+ "step": 180
155
+ },
156
+ {
157
+ "epoch": 0.006333333333333333,
158
+ "grad_norm": 29.44127082824707,
159
+ "learning_rate": 0.0004249987948542895,
160
+ "loss": 97.93662719726562,
161
+ "original_ce_loss": 6.1204,
162
+ "step": 190
163
+ },
164
+ {
165
+ "epoch": 0.006666666666666667,
166
+ "grad_norm": 14.971574783325195,
167
+ "learning_rate": 0.0004249979239496277,
168
+ "loss": 97.34913940429688,
169
+ "original_ce_loss": 6.0837,
170
+ "step": 200
171
+ },
172
+ {
173
+ "epoch": 0.007,
174
+ "grad_norm": 12.689688682556152,
175
+ "learning_rate": 0.0004249968176670431,
176
+ "loss": 96.178271484375,
177
+ "original_ce_loss": 6.0105,
178
+ "step": 210
179
+ },
180
+ {
181
+ "epoch": 0.007333333333333333,
182
+ "grad_norm": 20.04000473022461,
183
+ "learning_rate": 0.0004249954760077612,
184
+ "loss": 94.8289306640625,
185
+ "original_ce_loss": 5.9262,
186
+ "step": 220
187
+ },
188
+ {
189
+ "epoch": 0.007666666666666666,
190
+ "grad_norm": 11.919169425964355,
191
+ "learning_rate": 0.000424993898973268,
192
+ "loss": 93.77874755859375,
193
+ "original_ce_loss": 5.8605,
194
+ "step": 230
195
+ },
196
+ {
197
+ "epoch": 0.008,
198
+ "grad_norm": 21.34636688232422,
199
+ "learning_rate": 0.00042499208656531043,
200
+ "loss": 92.63297729492187,
201
+ "original_ce_loss": 5.7889,
202
+ "step": 240
203
+ },
204
+ {
205
+ "epoch": 0.008333333333333333,
206
+ "grad_norm": 14.039680480957031,
207
+ "learning_rate": 0.000424990038785896,
208
+ "loss": 91.2647705078125,
209
+ "original_ce_loss": 5.7034,
210
+ "step": 250
211
+ },
212
+ {
213
+ "epoch": 0.008666666666666666,
214
+ "grad_norm": 16.5980224609375,
215
+ "learning_rate": 0.00042498775563729296,
216
+ "loss": 89.99480590820312,
217
+ "original_ce_loss": 5.6241,
218
+ "step": 260
219
+ },
220
+ {
221
+ "epoch": 0.009,
222
+ "grad_norm": 35.983943939208984,
223
+ "learning_rate": 0.0004249852371220303,
224
+ "loss": 88.72568359375,
225
+ "original_ce_loss": 5.5447,
226
+ "step": 270
227
+ },
228
+ {
229
+ "epoch": 0.009333333333333334,
230
+ "grad_norm": 10.545525550842285,
231
+ "learning_rate": 0.00042498248324289776,
232
+ "loss": 87.27744750976562,
233
+ "original_ce_loss": 5.4542,
234
+ "step": 280
235
+ },
236
+ {
237
+ "epoch": 0.009666666666666667,
238
+ "grad_norm": 14.494406700134277,
239
+ "learning_rate": 0.0004249794940029456,
240
+ "loss": 85.4427490234375,
241
+ "original_ce_loss": 5.3396,
242
+ "step": 290
243
+ },
244
+ {
245
+ "epoch": 0.01,
246
+ "grad_norm": 46.0245361328125,
247
+ "learning_rate": 0.00042497626940548515,
248
+ "loss": 84.02860107421876,
249
+ "original_ce_loss": 5.2512,
250
+ "step": 300
251
+ },
252
+ {
253
+ "epoch": 0.010333333333333333,
254
+ "grad_norm": 14.768983840942383,
255
+ "learning_rate": 0.000424972809454088,
256
+ "loss": 82.96371459960938,
257
+ "original_ce_loss": 5.1846,
258
+ "step": 310
259
+ },
260
+ {
261
+ "epoch": 0.010666666666666666,
262
+ "grad_norm": 16.24750328063965,
263
+ "learning_rate": 0.00042496911415258666,
264
+ "loss": 82.49393310546876,
265
+ "original_ce_loss": 5.1553,
266
+ "step": 320
267
+ },
268
+ {
269
+ "epoch": 0.011,
270
+ "grad_norm": 14.52138900756836,
271
+ "learning_rate": 0.0004249655871602741,
272
+ "loss": 80.85582275390625,
273
+ "original_ce_loss": 5.0529,
274
+ "step": 330
275
+ },
276
+ {
277
+ "epoch": 0.011333333333333334,
278
+ "grad_norm": 19.26217269897461,
279
+ "learning_rate": 0.00042496144470506705,
280
+ "loss": 79.52462158203124,
281
+ "original_ce_loss": 4.9697,
282
+ "step": 340
283
+ },
284
+ {
285
+ "epoch": 0.011666666666666667,
286
+ "grad_norm": 20.684001922607422,
287
+ "learning_rate": 0.00042495706691234427,
288
+ "loss": 77.98438110351563,
289
+ "original_ce_loss": 4.8734,
290
+ "step": 350
291
+ },
292
+ {
293
+ "epoch": 0.012,
294
+ "grad_norm": 23.948087692260742,
295
+ "learning_rate": 0.000424952453786955,
296
+ "loss": 76.44223022460938,
297
+ "original_ce_loss": 4.777,
298
+ "step": 360
299
+ },
300
+ {
301
+ "epoch": 0.012333333333333333,
302
+ "grad_norm": 36.791988372802734,
303
+ "learning_rate": 0.0004249476053340089,
304
+ "loss": 75.355859375,
305
+ "original_ce_loss": 4.7092,
306
+ "step": 370
307
+ },
308
+ {
309
+ "epoch": 0.012666666666666666,
310
+ "grad_norm": 21.555706024169922,
311
+ "learning_rate": 0.0004249425215588765,
312
+ "loss": 73.73348999023438,
313
+ "original_ce_loss": 4.6078,
314
+ "step": 380
315
+ },
316
+ {
317
+ "epoch": 0.013,
318
+ "grad_norm": 33.586387634277344,
319
+ "learning_rate": 0.0004249377449654369,
320
+ "loss": 72.61731567382813,
321
+ "original_ce_loss": 4.538,
322
+ "step": 390
323
+ },
324
+ {
325
+ "epoch": 0.013333333333333334,
326
+ "grad_norm": 27.996273040771484,
327
+ "learning_rate": 0.00042493221409387993,
328
+ "loss": 71.43023681640625,
329
+ "original_ce_loss": 4.4638,
330
+ "step": 400
331
+ },
332
+ {
333
+ "epoch": 0.013666666666666667,
334
+ "grad_norm": 45.84962463378906,
335
+ "learning_rate": 0.0004249264479171851,
336
+ "loss": 70.55713500976563,
337
+ "original_ce_loss": 4.4092,
338
+ "step": 410
339
+ },
340
+ {
341
+ "epoch": 0.014,
342
+ "grad_norm": 48.37245178222656,
343
+ "learning_rate": 0.00042492044644173955,
344
+ "loss": 69.7059326171875,
345
+ "original_ce_loss": 4.356,
346
+ "step": 420
347
+ },
348
+ {
349
+ "epoch": 0.014333333333333333,
350
+ "grad_norm": 26.593931198120117,
351
+ "learning_rate": 0.0004249142096741908,
352
+ "loss": 68.96209716796875,
353
+ "original_ce_loss": 4.3096,
354
+ "step": 430
355
+ },
356
+ {
357
+ "epoch": 0.014666666666666666,
358
+ "grad_norm": 25.2656307220459,
359
+ "learning_rate": 0.00042490773762144724,
360
+ "loss": 67.66499633789063,
361
+ "original_ce_loss": 4.2285,
362
+ "step": 440
363
+ },
364
+ {
365
+ "epoch": 0.015,
366
+ "grad_norm": 87.45381927490234,
367
+ "learning_rate": 0.0004249010302906778,
368
+ "loss": 66.64647827148437,
369
+ "original_ce_loss": 4.1648,
370
+ "step": 450
371
+ },
372
+ {
373
+ "epoch": 0.015333333333333332,
374
+ "grad_norm": 26.007844924926758,
375
+ "learning_rate": 0.0004248940876893119,
376
+ "loss": 66.23974609375,
377
+ "original_ce_loss": 4.1394,
378
+ "step": 460
379
+ },
380
+ {
381
+ "epoch": 0.015666666666666666,
382
+ "grad_norm": 38.981483459472656,
383
+ "learning_rate": 0.0004248869098250397,
384
+ "loss": 65.3707763671875,
385
+ "original_ce_loss": 4.0851,
386
+ "step": 470
387
+ },
388
+ {
389
+ "epoch": 0.016,
390
+ "grad_norm": 30.139528274536133,
391
+ "learning_rate": 0.00042487949670581203,
392
+ "loss": 64.82785034179688,
393
+ "original_ce_loss": 4.0512,
394
+ "step": 480
395
+ },
396
+ {
397
+ "epoch": 0.01633333333333333,
398
+ "grad_norm": 22.18630599975586,
399
+ "learning_rate": 0.00042487184833984,
400
+ "loss": 63.92879028320313,
401
+ "original_ce_loss": 3.995,
402
+ "step": 490
403
+ },
404
+ {
405
+ "epoch": 0.016666666666666666,
406
+ "grad_norm": 20.91753578186035,
407
+ "learning_rate": 0.00042486396473559565,
408
+ "loss": 62.890411376953125,
409
+ "original_ce_loss": 3.9301,
410
+ "step": 500
411
+ },
412
+ {
413
+ "epoch": 0.017,
414
+ "grad_norm": 16.906227111816406,
415
+ "learning_rate": 0.00042485584590181135,
416
+ "loss": 61.85081176757812,
417
+ "original_ce_loss": 3.8651,
418
+ "step": 510
419
+ },
420
+ {
421
+ "epoch": 0.017333333333333333,
422
+ "grad_norm": 20.301300048828125,
423
+ "learning_rate": 0.00042484749184748007,
424
+ "loss": 60.9402099609375,
425
+ "original_ce_loss": 3.8082,
426
+ "step": 520
427
+ },
428
+ {
429
+ "epoch": 0.017666666666666667,
430
+ "grad_norm": 15.232793807983398,
431
+ "learning_rate": 0.0004248389025818554,
432
+ "loss": 60.15031127929687,
433
+ "original_ce_loss": 3.7589,
434
+ "step": 530
435
+ },
436
+ {
437
+ "epoch": 0.018,
438
+ "grad_norm": 25.332082748413086,
439
+ "learning_rate": 0.0004248300781144515,
440
+ "loss": 59.50396728515625,
441
+ "original_ce_loss": 3.7185,
442
+ "step": 540
443
+ },
444
+ {
445
+ "epoch": 0.018333333333333333,
446
+ "grad_norm": 18.957500457763672,
447
+ "learning_rate": 0.0004248210184550428,
448
+ "loss": 58.9510986328125,
449
+ "original_ce_loss": 3.6839,
450
+ "step": 550
451
+ },
452
+ {
453
+ "epoch": 0.018666666666666668,
454
+ "grad_norm": 17.083209991455078,
455
+ "learning_rate": 0.00042481172361366463,
456
+ "loss": 58.551019287109376,
457
+ "original_ce_loss": 3.6589,
458
+ "step": 560
459
+ },
460
+ {
461
+ "epoch": 0.019,
462
+ "grad_norm": 20.623079299926758,
463
+ "learning_rate": 0.00042480219360061243,
464
+ "loss": 57.89994506835937,
465
+ "original_ce_loss": 3.6182,
466
+ "step": 570
467
+ },
468
+ {
469
+ "epoch": 0.019333333333333334,
470
+ "grad_norm": 20.007261276245117,
471
+ "learning_rate": 0.0004247924284264425,
472
+ "loss": 57.207183837890625,
473
+ "original_ce_loss": 3.5749,
474
+ "step": 580
475
+ },
476
+ {
477
+ "epoch": 0.019666666666666666,
478
+ "grad_norm": 24.606914520263672,
479
+ "learning_rate": 0.00042478242810197137,
480
+ "loss": 56.6140380859375,
481
+ "original_ce_loss": 3.5379,
482
+ "step": 590
483
+ },
484
+ {
485
+ "epoch": 0.02,
486
+ "grad_norm": 23.800609588623047,
487
+ "learning_rate": 0.00042477219263827606,
488
+ "loss": 56.085272216796874,
489
+ "original_ce_loss": 3.5048,
490
+ "step": 600
491
+ },
492
+ {
493
+ "epoch": 0.02033333333333333,
494
+ "grad_norm": 18.29131507873535,
495
+ "learning_rate": 0.0004247617220466942,
496
+ "loss": 55.73380737304687,
497
+ "original_ce_loss": 3.4828,
498
+ "step": 610
499
+ },
500
+ {
501
+ "epoch": 0.020666666666666667,
502
+ "grad_norm": 20.64620018005371,
503
+ "learning_rate": 0.00042475101633882375,
504
+ "loss": 55.267041015625,
505
+ "original_ce_loss": 3.4537,
506
+ "step": 620
507
+ },
508
+ {
509
+ "epoch": 0.021,
510
+ "grad_norm": 16.878942489624023,
511
+ "learning_rate": 0.0004247400755265231,
512
+ "loss": 54.697265625,
513
+ "original_ce_loss": 3.4181,
514
+ "step": 630
515
+ },
516
+ {
517
+ "epoch": 0.021333333333333333,
518
+ "grad_norm": 24.191560745239258,
519
+ "learning_rate": 0.00042472889962191107,
520
+ "loss": 54.2244140625,
521
+ "original_ce_loss": 3.3885,
522
+ "step": 640
523
+ },
524
+ {
525
+ "epoch": 0.021666666666666667,
526
+ "grad_norm": 19.806337356567383,
527
+ "learning_rate": 0.00042471748863736686,
528
+ "loss": 53.91731567382813,
529
+ "original_ce_loss": 3.3693,
530
+ "step": 650
531
+ },
532
+ {
533
+ "epoch": 0.022,
534
+ "grad_norm": 19.804443359375,
535
+ "learning_rate": 0.0004247058425855301,
536
+ "loss": 53.446173095703124,
537
+ "original_ce_loss": 3.3399,
538
+ "step": 660
539
+ },
540
+ {
541
+ "epoch": 0.022333333333333334,
542
+ "grad_norm": 20.795433044433594,
543
+ "learning_rate": 0.0004246939614793009,
544
+ "loss": 53.202099609375,
545
+ "original_ce_loss": 3.3246,
546
+ "step": 670
547
+ },
548
+ {
549
+ "epoch": 0.02266666666666667,
550
+ "grad_norm": 18.797666549682617,
551
+ "learning_rate": 0.0004246818453318394,
552
+ "loss": 52.8059814453125,
553
+ "original_ce_loss": 3.2999,
554
+ "step": 680
555
+ },
556
+ {
557
+ "epoch": 0.023,
558
+ "grad_norm": 15.52590274810791,
559
+ "learning_rate": 0.0004246694941565666,
560
+ "loss": 52.476416015625,
561
+ "original_ce_loss": 3.2793,
562
+ "step": 690
563
+ },
564
+ {
565
+ "epoch": 0.023333333333333334,
566
+ "grad_norm": 20.646650314331055,
567
+ "learning_rate": 0.0004246569079671633,
568
+ "loss": 52.04948120117187,
569
+ "original_ce_loss": 3.2526,
570
+ "step": 700
571
+ },
572
+ {
573
+ "epoch": 0.023666666666666666,
574
+ "grad_norm": 20.110410690307617,
575
+ "learning_rate": 0.00042464408677757103,
576
+ "loss": 51.823065185546874,
577
+ "original_ce_loss": 3.2384,
578
+ "step": 710
579
+ },
580
+ {
581
+ "epoch": 0.024,
582
+ "grad_norm": 16.53462028503418,
583
+ "learning_rate": 0.00042463103060199145,
584
+ "loss": 51.42784423828125,
585
+ "original_ce_loss": 3.2137,
586
+ "step": 720
587
+ },
588
+ {
589
+ "epoch": 0.024333333333333332,
590
+ "grad_norm": 18.70224952697754,
591
+ "learning_rate": 0.0004246177394548864,
592
+ "loss": 51.2402587890625,
593
+ "original_ce_loss": 3.202,
594
+ "step": 730
595
+ },
596
+ {
597
+ "epoch": 0.024666666666666667,
598
+ "grad_norm": 17.058368682861328,
599
+ "learning_rate": 0.0004246042133509782,
600
+ "loss": 50.905398559570315,
601
+ "original_ce_loss": 3.1811,
602
+ "step": 740
603
+ },
604
+ {
605
+ "epoch": 0.025,
606
+ "grad_norm": 18.16584587097168,
607
+ "learning_rate": 0.0004245904523052492,
608
+ "loss": 50.543515014648435,
609
+ "original_ce_loss": 3.1585,
610
+ "step": 750
611
+ },
612
+ {
613
+ "epoch": 0.025333333333333333,
614
+ "grad_norm": 18.601837158203125,
615
+ "learning_rate": 0.0004245764563329423,
616
+ "loss": 50.39247131347656,
617
+ "original_ce_loss": 3.149,
618
+ "step": 760
619
+ },
620
+ {
621
+ "epoch": 0.025666666666666667,
622
+ "grad_norm": 20.248645782470703,
623
+ "learning_rate": 0.00042456222544956035,
624
+ "loss": 50.04454040527344,
625
+ "original_ce_loss": 3.1273,
626
+ "step": 770
627
+ },
628
+ {
629
+ "epoch": 0.026,
630
+ "grad_norm": 19.146419525146484,
631
+ "learning_rate": 0.0004245477596708665,
632
+ "loss": 49.74447937011719,
633
+ "original_ce_loss": 3.1086,
634
+ "step": 780
635
+ },
636
+ {
637
+ "epoch": 0.026333333333333334,
638
+ "grad_norm": 17.926576614379883,
639
+ "learning_rate": 0.0004245330590128841,
640
+ "loss": 49.5018310546875,
641
+ "original_ce_loss": 3.0934,
642
+ "step": 790
643
+ },
644
+ {
645
+ "epoch": 0.02666666666666667,
646
+ "grad_norm": 15.49186897277832,
647
+ "learning_rate": 0.0004245181234918967,
648
+ "loss": 49.32894287109375,
649
+ "original_ce_loss": 3.0826,
650
+ "step": 800
651
+ },
652
+ {
653
+ "epoch": 0.027,
654
+ "grad_norm": 16.708791732788086,
655
+ "learning_rate": 0.0004245029531244478,
656
+ "loss": 49.1858642578125,
657
+ "original_ce_loss": 3.0736,
658
+ "step": 810
659
+ },
660
+ {
661
+ "epoch": 0.027333333333333334,
662
+ "grad_norm": 16.17323875427246,
663
+ "learning_rate": 0.00042448754792734133,
664
+ "loss": 48.92313842773437,
665
+ "original_ce_loss": 3.0572,
666
+ "step": 820
667
+ },
668
+ {
669
+ "epoch": 0.027666666666666666,
670
+ "grad_norm": 14.645228385925293,
671
+ "learning_rate": 0.00042447190791764113,
672
+ "loss": 48.708493041992185,
673
+ "original_ce_loss": 3.0438,
674
+ "step": 830
675
+ },
676
+ {
677
+ "epoch": 0.028,
678
+ "grad_norm": 16.37765121459961,
679
+ "learning_rate": 0.0004244560331126712,
680
+ "loss": 48.501834106445315,
681
+ "original_ce_loss": 3.0309,
682
+ "step": 840
683
+ },
684
+ {
685
+ "epoch": 0.028333333333333332,
686
+ "grad_norm": 20.280181884765625,
687
+ "learning_rate": 0.0004244399235300156,
688
+ "loss": 48.502603149414064,
689
+ "original_ce_loss": 3.0309,
690
+ "step": 850
691
+ },
692
+ {
693
+ "epoch": 0.028666666666666667,
694
+ "grad_norm": 18.538236618041992,
695
+ "learning_rate": 0.00042442357918751853,
696
+ "loss": 48.18049926757813,
697
+ "original_ce_loss": 3.0108,
698
+ "step": 860
699
+ },
700
+ {
701
+ "epoch": 0.029,
702
+ "grad_norm": 19.755647659301758,
703
+ "learning_rate": 0.00042440700010328404,
704
+ "loss": 48.11741333007812,
705
+ "original_ce_loss": 3.0069,
706
+ "step": 870
707
+ },
708
+ {
709
+ "epoch": 0.029333333333333333,
710
+ "grad_norm": 17.37371253967285,
711
+ "learning_rate": 0.0004243901862956764,
712
+ "loss": 47.78751220703125,
713
+ "original_ce_loss": 2.9863,
714
+ "step": 880
715
+ },
716
+ {
717
+ "epoch": 0.029666666666666668,
718
+ "grad_norm": 20.684240341186523,
719
+ "learning_rate": 0.0004243731377833197,
720
+ "loss": 47.599853515625,
721
+ "original_ce_loss": 2.9745,
722
+ "step": 890
723
+ },
724
+ {
725
+ "epoch": 0.03,
726
+ "grad_norm": 20.71816062927246,
727
+ "learning_rate": 0.00042435585458509823,
728
+ "loss": 47.446356201171874,
729
+ "original_ce_loss": 2.9649,
730
+ "step": 900
731
+ },
732
+ {
733
+ "epoch": 0.030333333333333334,
734
+ "grad_norm": 19.639667510986328,
735
+ "learning_rate": 0.00042433833672015606,
736
+ "loss": 47.269107055664065,
737
+ "original_ce_loss": 2.9539,
738
+ "step": 910
739
+ },
740
+ {
741
+ "epoch": 0.030666666666666665,
742
+ "grad_norm": 13.578326225280762,
743
+ "learning_rate": 0.0004243205842078971,
744
+ "loss": 46.974429321289065,
745
+ "original_ce_loss": 2.9355,
746
+ "step": 920
747
+ },
748
+ {
749
+ "epoch": 0.031,
750
+ "grad_norm": 23.431640625,
751
+ "learning_rate": 0.00042430259706798543,
752
+ "loss": 46.828652954101564,
753
+ "original_ce_loss": 2.9263,
754
+ "step": 930
755
+ },
756
+ {
757
+ "epoch": 0.03133333333333333,
758
+ "grad_norm": 15.45804214477539,
759
+ "learning_rate": 0.0004242843753203448,
760
+ "loss": 46.75359191894531,
761
+ "original_ce_loss": 2.9217,
762
+ "step": 940
763
+ },
764
+ {
765
+ "epoch": 0.03166666666666667,
766
+ "grad_norm": 21.198925018310547,
767
+ "learning_rate": 0.0004242659189851591,
768
+ "loss": 46.800146484375,
769
+ "original_ce_loss": 2.9246,
770
+ "step": 950
771
+ },
772
+ {
773
+ "epoch": 0.032,
774
+ "grad_norm": 16.371259689331055,
775
+ "learning_rate": 0.0004242472280828717,
776
+ "loss": 46.56090393066406,
777
+ "original_ce_loss": 2.9096,
778
+ "step": 960
779
+ },
780
+ {
781
+ "epoch": 0.03233333333333333,
782
+ "grad_norm": 16.652050018310547,
783
+ "learning_rate": 0.00042422830263418607,
784
+ "loss": 46.34129638671875,
785
+ "original_ce_loss": 2.8959,
786
+ "step": 970
787
+ },
788
+ {
789
+ "epoch": 0.03266666666666666,
790
+ "grad_norm": 15.668427467346191,
791
+ "learning_rate": 0.00042420914266006534,
792
+ "loss": 46.112457275390625,
793
+ "original_ce_loss": 2.8816,
794
+ "step": 980
795
+ },
796
+ {
797
+ "epoch": 0.033,
798
+ "grad_norm": 19.35259437561035,
799
+ "learning_rate": 0.0004241897481817326,
800
+ "loss": 45.83723754882813,
801
+ "original_ce_loss": 2.8644,
802
+ "step": 990
803
+ },
804
+ {
805
+ "epoch": 0.03333333333333333,
806
+ "grad_norm": 19.012178421020508,
807
+ "learning_rate": 0.00042417011922067036,
808
+ "loss": 45.88760986328125,
809
+ "original_ce_loss": 2.8675,
810
+ "step": 1000
811
+ },
812
+ {
813
+ "epoch": 0.33666666666666667,
814
+ "grad_norm": 12.40669059753418,
815
+ "learning_rate": 0.0003383499911913083,
816
+ "loss": 45.56795654296875,
817
+ "original_ce_loss": 2.8476,
818
+ "step": 1010
819
+ },
820
+ {
821
+ "epoch": 0.34,
822
+ "grad_norm": 11.26506519317627,
823
+ "learning_rate": 0.0003364549467776501,
824
+ "loss": 45.49089050292969,
825
+ "original_ce_loss": 2.8427,
826
+ "step": 1020
827
+ },
828
+ {
829
+ "epoch": 0.3433333333333333,
830
+ "grad_norm": 16.84862518310547,
831
+ "learning_rate": 0.0003345448408201255,
832
+ "loss": 45.356015014648435,
833
+ "original_ce_loss": 2.8343,
834
+ "step": 1030
835
+ },
836
+ {
837
+ "epoch": 0.3466666666666667,
838
+ "grad_norm": 13.147734642028809,
839
+ "learning_rate": 0.00033261990541229276,
840
+ "loss": 45.2113037109375,
841
+ "original_ce_loss": 2.8253,
842
+ "step": 1040
843
+ },
844
+ {
845
+ "epoch": 0.35,
846
+ "grad_norm": 15.466135025024414,
847
+ "learning_rate": 0.00033068037444961007,
848
+ "loss": 44.94834594726562,
849
+ "original_ce_loss": 2.8088,
850
+ "step": 1050
851
+ },
852
+ {
853
+ "epoch": 0.35333333333333333,
854
+ "grad_norm": 14.858617782592773,
855
+ "learning_rate": 0.00032872648360101573,
856
+ "loss": 44.842855834960936,
857
+ "original_ce_loss": 2.8022,
858
+ "step": 1060
859
+ },
860
+ {
861
+ "epoch": 0.3566666666666667,
862
+ "grad_norm": 12.897237777709961,
863
+ "learning_rate": 0.0003267584702802916,
864
+ "loss": 44.86846008300781,
865
+ "original_ce_loss": 2.8039,
866
+ "step": 1070
867
+ },
868
+ {
869
+ "epoch": 0.36,
870
+ "grad_norm": 14.901575088500977,
871
+ "learning_rate": 0.00032477657361721626,
872
+ "loss": 44.76924438476563,
873
+ "original_ce_loss": 2.7977,
874
+ "step": 1080
875
+ },
876
+ {
877
+ "epoch": 0.36333333333333334,
878
+ "grad_norm": 11.741254806518555,
879
+ "learning_rate": 0.00032278103442850823,
880
+ "loss": 44.71358642578125,
881
+ "original_ce_loss": 2.7942,
882
+ "step": 1090
883
+ },
884
+ {
885
+ "epoch": 0.36666666666666664,
886
+ "grad_norm": 15.501832008361816,
887
+ "learning_rate": 0.00032077209518856486,
888
+ "loss": 44.47730407714844,
889
+ "original_ce_loss": 2.7794,
890
+ "step": 1100
891
+ },
892
+ {
893
+ "epoch": 0.37,
894
+ "grad_norm": 11.20630931854248,
895
+ "learning_rate": 0.00031874999999999997,
896
+ "loss": 44.381414794921874,
897
+ "original_ce_loss": 2.7734,
898
+ "step": 1110
899
+ },
900
+ {
901
+ "epoch": 0.37333333333333335,
902
+ "grad_norm": 12.469181060791016,
903
+ "learning_rate": 0.000316714994563983,
904
+ "loss": 44.42494201660156,
905
+ "original_ce_loss": 2.7761,
906
+ "step": 1120
907
+ },
908
+ {
909
+ "epoch": 0.37666666666666665,
910
+ "grad_norm": 11.791640281677246,
911
+ "learning_rate": 0.00031466732615038434,
912
+ "loss": 44.274844360351565,
913
+ "original_ce_loss": 2.7668,
914
+ "step": 1130
915
+ },
916
+ {
917
+ "epoch": 0.38,
918
+ "grad_norm": 13.211021423339844,
919
+ "learning_rate": 0.0003126072435677305,
920
+ "loss": 44.124505615234376,
921
+ "original_ce_loss": 2.7574,
922
+ "step": 1140
923
+ },
924
+ {
925
+ "epoch": 0.38333333333333336,
926
+ "grad_norm": 14.31765079498291,
927
+ "learning_rate": 0.00031053499713297114,
928
+ "loss": 43.99041748046875,
929
+ "original_ce_loss": 2.749,
930
+ "step": 1150
931
+ },
932
+ {
933
+ "epoch": 0.38666666666666666,
934
+ "grad_norm": 15.122718811035156,
935
+ "learning_rate": 0.00030845083864106397,
936
+ "loss": 43.92890930175781,
937
+ "original_ce_loss": 2.7451,
938
+ "step": 1160
939
+ },
940
+ {
941
+ "epoch": 0.39,
942
+ "grad_norm": 13.994558334350586,
943
+ "learning_rate": 0.0003063550213343795,
944
+ "loss": 43.74768981933594,
945
+ "original_ce_loss": 2.7338,
946
+ "step": 1170
947
+ },
948
+ {
949
+ "epoch": 0.3933333333333333,
950
+ "grad_norm": 11.93791389465332,
951
+ "learning_rate": 0.0003042477998719297,
952
+ "loss": 43.84468994140625,
953
+ "original_ce_loss": 2.7399,
954
+ "step": 1180
955
+ },
956
+ {
957
+ "epoch": 0.39666666666666667,
958
+ "grad_norm": 12.416786193847656,
959
+ "learning_rate": 0.0003021294302984256,
960
+ "loss": 43.70210266113281,
961
+ "original_ce_loss": 2.731,
962
+ "step": 1190
963
+ },
964
+ {
965
+ "epoch": 0.4,
966
+ "grad_norm": 11.777953147888184,
967
+ "learning_rate": 0.0003000001700131648,
968
+ "loss": 43.617486572265626,
969
+ "original_ce_loss": 2.7257,
970
+ "step": 1200
971
+ },
972
+ {
973
+ "epoch": 0.4033333333333333,
974
+ "grad_norm": 12.980205535888672,
975
+ "learning_rate": 0.00029786027773875604,
976
+ "loss": 43.557089233398436,
977
+ "original_ce_loss": 2.7219,
978
+ "step": 1210
979
+ },
980
+ {
981
+ "epoch": 0.4066666666666667,
982
+ "grad_norm": 12.5612211227417,
983
+ "learning_rate": 0.00029571001348968195,
984
+ "loss": 43.4889892578125,
985
+ "original_ce_loss": 2.7177,
986
+ "step": 1220
987
+ },
988
+ {
989
+ "epoch": 0.41,
990
+ "grad_norm": 16.189455032348633,
991
+ "learning_rate": 0.0002935496385407053,
992
+ "loss": 43.246743774414064,
993
+ "original_ce_loss": 2.7025,
994
+ "step": 1230
995
+ },
996
+ {
997
+ "epoch": 0.41333333333333333,
998
+ "grad_norm": 11.432961463928223,
999
+ "learning_rate": 0.00029137941539512187,
1000
+ "loss": 43.24491882324219,
1001
+ "original_ce_loss": 2.7024,
1002
+ "step": 1240
1003
+ },
1004
+ {
1005
+ "epoch": 0.4166666666666667,
1006
+ "grad_norm": 12.180628776550293,
1007
+ "learning_rate": 0.0002891996077528644,
1008
+ "loss": 43.221884155273436,
1009
+ "original_ce_loss": 2.701,
1010
+ "step": 1250
1011
+ },
1012
+ {
1013
+ "epoch": 0.42,
1014
+ "grad_norm": 12.448768615722656,
1015
+ "learning_rate": 0.00028701048047846033,
1016
+ "loss": 43.094137573242186,
1017
+ "original_ce_loss": 2.693,
1018
+ "step": 1260
1019
+ },
1020
+ {
1021
+ "epoch": 0.42333333333333334,
1022
+ "grad_norm": 11.567203521728516,
1023
+ "learning_rate": 0.0002848122995688491,
1024
+ "loss": 43.016519165039064,
1025
+ "original_ce_loss": 2.6881,
1026
+ "step": 1270
1027
+ },
1028
+ {
1029
+ "epoch": 0.4266666666666667,
1030
+ "grad_norm": 13.275468826293945,
1031
+ "learning_rate": 0.00028260533212106135,
1032
+ "loss": 42.92235412597656,
1033
+ "original_ce_loss": 2.6822,
1034
+ "step": 1280
1035
+ },
1036
+ {
1037
+ "epoch": 0.43,
1038
+ "grad_norm": 10.33851146697998,
1039
+ "learning_rate": 0.00028038984629976397,
1040
+ "loss": 42.876287841796874,
1041
+ "original_ce_loss": 2.6794,
1042
+ "step": 1290
1043
+ },
1044
+ {
1045
+ "epoch": 0.43333333333333335,
1046
+ "grad_norm": 14.586567878723145,
1047
+ "learning_rate": 0.0002781661113046763,
1048
+ "loss": 42.8263671875,
1049
+ "original_ce_loss": 2.6762,
1050
+ "step": 1300
1051
+ },
1052
+ {
1053
+ "epoch": 0.43666666666666665,
1054
+ "grad_norm": 12.394359588623047,
1055
+ "learning_rate": 0.0002759343973378601,
1056
+ "loss": 42.7820068359375,
1057
+ "original_ce_loss": 2.6735,
1058
+ "step": 1310
1059
+ },
1060
+ {
1061
+ "epoch": 0.44,
1062
+ "grad_norm": 10.222810745239258,
1063
+ "learning_rate": 0.00027369497557088753,
1064
+ "loss": 42.73019714355469,
1065
+ "original_ce_loss": 2.6702,
1066
+ "step": 1320
1067
+ },
1068
+ {
1069
+ "epoch": 0.44333333333333336,
1070
+ "grad_norm": 11.414692878723145,
1071
+ "learning_rate": 0.00027144811811189194,
1072
+ "loss": 42.600067138671875,
1073
+ "original_ce_loss": 2.6621,
1074
+ "step": 1330
1075
+ },
1076
+ {
1077
+ "epoch": 0.44666666666666666,
1078
+ "grad_norm": 12.681991577148438,
1079
+ "learning_rate": 0.0002691940979725043,
1080
+ "loss": 42.56636352539063,
1081
+ "original_ce_loss": 2.66,
1082
+ "step": 1340
1083
+ },
1084
+ {
1085
+ "epoch": 0.45,
1086
+ "grad_norm": 11.895796775817871,
1087
+ "learning_rate": 0.0002669331890346799,
1088
+ "loss": 42.446875,
1089
+ "original_ce_loss": 2.6525,
1090
+ "step": 1350
1091
+ },
1092
+ {
1093
+ "epoch": 0.4533333333333333,
1094
+ "grad_norm": 12.874837875366211,
1095
+ "learning_rate": 0.0002646656660174198,
1096
+ "loss": 42.47828979492188,
1097
+ "original_ce_loss": 2.6545,
1098
+ "step": 1360
1099
+ },
1100
+ {
1101
+ "epoch": 0.45666666666666667,
1102
+ "grad_norm": 13.898730278015137,
1103
+ "learning_rate": 0.00026239180444338994,
1104
+ "loss": 42.523861694335935,
1105
+ "original_ce_loss": 2.6573,
1106
+ "step": 1370
1107
+ },
1108
+ {
1109
+ "epoch": 0.46,
1110
+ "grad_norm": 11.172188758850098,
1111
+ "learning_rate": 0.0002601118806054429,
1112
+ "loss": 42.32704467773438,
1113
+ "original_ce_loss": 2.645,
1114
+ "step": 1380
1115
+ },
1116
+ {
1117
+ "epoch": 0.4633333333333333,
1118
+ "grad_norm": 10.018525123596191,
1119
+ "learning_rate": 0.0002578261715330462,
1120
+ "loss": 42.28916931152344,
1121
+ "original_ce_loss": 2.6427,
1122
+ "step": 1390
1123
+ },
1124
+ {
1125
+ "epoch": 0.4666666666666667,
1126
+ "grad_norm": 11.347637176513672,
1127
+ "learning_rate": 0.00025553495495862083,
1128
+ "loss": 42.21034545898438,
1129
+ "original_ce_loss": 2.6378,
1130
+ "step": 1400
1131
+ },
1132
+ {
1133
+ "epoch": 0.47,
1134
+ "grad_norm": 11.695727348327637,
1135
+ "learning_rate": 0.0002532385092837944,
1136
+ "loss": 42.206451416015625,
1137
+ "original_ce_loss": 2.6375,
1138
+ "step": 1410
1139
+ },
1140
+ {
1141
+ "epoch": 0.47333333333333333,
1142
+ "grad_norm": 12.01218032836914,
1143
+ "learning_rate": 0.00025093711354557335,
1144
+ "loss": 42.03828430175781,
1145
+ "original_ce_loss": 2.627,
1146
+ "step": 1420
1147
+ },
1148
+ {
1149
+ "epoch": 0.4766666666666667,
1150
+ "grad_norm": 13.935858726501465,
1151
+ "learning_rate": 0.00024863104738243725,
1152
+ "loss": 41.985330200195314,
1153
+ "original_ce_loss": 2.6237,
1154
+ "step": 1430
1155
+ },
1156
+ {
1157
+ "epoch": 0.48,
1158
+ "grad_norm": 11.189215660095215,
1159
+ "learning_rate": 0.00024632059100036086,
1160
+ "loss": 41.950033569335936,
1161
+ "original_ce_loss": 2.6215,
1162
+ "step": 1440
1163
+ },
1164
+ {
1165
+ "epoch": 0.48333333333333334,
1166
+ "grad_norm": 10.566532135009766,
1167
+ "learning_rate": 0.0002440060251387664,
1168
+ "loss": 41.87472839355469,
1169
+ "original_ce_loss": 2.6168,
1170
+ "step": 1450
1171
+ },
1172
+ {
1173
+ "epoch": 0.4866666666666667,
1174
+ "grad_norm": 11.969350814819336,
1175
+ "learning_rate": 0.00024168763103641171,
1176
+ "loss": 41.94146728515625,
1177
+ "original_ce_loss": 2.6209,
1178
+ "step": 1460
1179
+ },
1180
+ {
1181
+ "epoch": 0.49,
1182
+ "grad_norm": 10.838825225830078,
1183
+ "learning_rate": 0.00023936569039721732,
1184
+ "loss": 41.90030517578125,
1185
+ "original_ce_loss": 2.6184,
1186
+ "step": 1470
1187
+ },
1188
+ {
1189
+ "epoch": 0.49333333333333335,
1190
+ "grad_norm": 8.70041275024414,
1191
+ "learning_rate": 0.0002370404853560371,
1192
+ "loss": 41.783303833007814,
1193
+ "original_ce_loss": 2.6111,
1194
+ "step": 1480
1195
+ },
1196
+ {
1197
+ "epoch": 0.49666666666666665,
1198
+ "grad_norm": 11.917825698852539,
1199
+ "learning_rate": 0.00023471229844437637,
1200
+ "loss": 41.73698120117187,
1201
+ "original_ce_loss": 2.6082,
1202
+ "step": 1490
1203
+ },
1204
+ {
1205
+ "epoch": 0.5,
1206
+ "grad_norm": 14.329609870910645,
1207
+ "learning_rate": 0.00023238141255606254,
1208
+ "loss": 41.66865844726563,
1209
+ "original_ce_loss": 2.6039,
1210
+ "step": 1500
1211
+ },
1212
+ {
1213
+ "epoch": 0.5033333333333333,
1214
+ "grad_norm": 12.779980659484863,
1215
+ "learning_rate": 0.00023004811091287063,
1216
+ "loss": 41.554812622070315,
1217
+ "original_ce_loss": 2.5968,
1218
+ "step": 1510
1219
+ },
1220
+ {
1221
+ "epoch": 0.5066666666666667,
1222
+ "grad_norm": 13.428671836853027,
1223
+ "learning_rate": 0.00022771267703010974,
1224
+ "loss": 41.5691650390625,
1225
+ "original_ce_loss": 2.5977,
1226
+ "step": 1520
1227
+ },
1228
+ {
1229
+ "epoch": 0.51,
1230
+ "grad_norm": 11.918360710144043,
1231
+ "learning_rate": 0.00022537539468217365,
1232
+ "loss": 41.67054138183594,
1233
+ "original_ce_loss": 2.604,
1234
+ "step": 1530
1235
+ },
1236
+ {
1237
+ "epoch": 0.5133333333333333,
1238
+ "grad_norm": 10.47590160369873,
1239
+ "learning_rate": 0.00022303654786805973,
1240
+ "loss": 41.43465576171875,
1241
+ "original_ce_loss": 2.5893,
1242
+ "step": 1540
1243
+ },
1244
+ {
1245
+ "epoch": 0.5166666666666667,
1246
+ "grad_norm": 11.461536407470703,
1247
+ "learning_rate": 0.00022069642077686093,
1248
+ "loss": 41.446713256835935,
1249
+ "original_ce_loss": 2.59,
1250
+ "step": 1550
1251
+ },
1252
+ {
1253
+ "epoch": 0.52,
1254
+ "grad_norm": 9.24561595916748,
1255
+ "learning_rate": 0.00021835529775323444,
1256
+ "loss": 41.314047241210936,
1257
+ "original_ce_loss": 2.5817,
1258
+ "step": 1560
1259
+ },
1260
+ {
1261
+ "epoch": 0.5233333333333333,
1262
+ "grad_norm": 11.406410217285156,
1263
+ "learning_rate": 0.00021601346326285118,
1264
+ "loss": 41.320367431640626,
1265
+ "original_ce_loss": 2.5821,
1266
+ "step": 1570
1267
+ },
1268
+ {
1269
+ "epoch": 0.5266666666666666,
1270
+ "grad_norm": 12.614730834960938,
1271
+ "learning_rate": 0.00021367120185783136,
1272
+ "loss": 41.229287719726564,
1273
+ "original_ce_loss": 2.5764,
1274
+ "step": 1580
1275
+ },
1276
+ {
1277
+ "epoch": 0.53,
1278
+ "grad_norm": 10.465003967285156,
1279
+ "learning_rate": 0.00021132879814216864,
1280
+ "loss": 41.22291870117188,
1281
+ "original_ce_loss": 2.576,
1282
+ "step": 1590
1283
+ },
1284
+ {
1285
+ "epoch": 0.5333333333333333,
1286
+ "grad_norm": 10.220480918884277,
1287
+ "learning_rate": 0.00020898653673714882,
1288
+ "loss": 41.216635131835936,
1289
+ "original_ce_loss": 2.5757,
1290
+ "step": 1600
1291
+ },
1292
+ {
1293
+ "epoch": 0.5366666666666666,
1294
+ "grad_norm": 11.79033088684082,
1295
+ "learning_rate": 0.0002066447022467656,
1296
+ "loss": 41.119195556640626,
1297
+ "original_ce_loss": 2.5696,
1298
+ "step": 1610
1299
+ },
1300
+ {
1301
+ "epoch": 0.54,
1302
+ "grad_norm": 12.365918159484863,
1303
+ "learning_rate": 0.000204303579223139,
1304
+ "loss": 41.012420654296875,
1305
+ "original_ce_loss": 2.5629,
1306
+ "step": 1620
1307
+ },
1308
+ {
1309
+ "epoch": 0.5433333333333333,
1310
+ "grad_norm": 9.81035327911377,
1311
+ "learning_rate": 0.00020196345213194022,
1312
+ "loss": 40.986734008789064,
1313
+ "original_ce_loss": 2.5613,
1314
+ "step": 1630
1315
+ },
1316
+ {
1317
+ "epoch": 0.5466666666666666,
1318
+ "grad_norm": 10.371267318725586,
1319
+ "learning_rate": 0.00019962460531782638,
1320
+ "loss": 41.023834228515625,
1321
+ "original_ce_loss": 2.5636,
1322
+ "step": 1640
1323
+ },
1324
+ {
1325
+ "epoch": 0.55,
1326
+ "grad_norm": 9.000577926635742,
1327
+ "learning_rate": 0.00019728732296989032,
1328
+ "loss": 40.93628845214844,
1329
+ "original_ce_loss": 2.5581,
1330
+ "step": 1650
1331
+ },
1332
+ {
1333
+ "epoch": 0.5533333333333333,
1334
+ "grad_norm": 10.659809112548828,
1335
+ "learning_rate": 0.0001949518890871294,
1336
+ "loss": 40.941802978515625,
1337
+ "original_ce_loss": 2.5585,
1338
+ "step": 1660
1339
+ },
1340
+ {
1341
+ "epoch": 0.5566666666666666,
1342
+ "grad_norm": 9.251291275024414,
1343
+ "learning_rate": 0.00019261858744393747,
1344
+ "loss": 40.82298889160156,
1345
+ "original_ce_loss": 2.5511,
1346
+ "step": 1670
1347
+ },
1348
+ {
1349
+ "epoch": 0.56,
1350
+ "grad_norm": 10.543051719665527,
1351
+ "learning_rate": 0.00019028770155562366,
1352
+ "loss": 40.922186279296874,
1353
+ "original_ce_loss": 2.5573,
1354
+ "step": 1680
1355
+ },
1356
+ {
1357
+ "epoch": 0.5633333333333334,
1358
+ "grad_norm": 10.208642959594727,
1359
+ "learning_rate": 0.00018795951464396294,
1360
+ "loss": 40.73258972167969,
1361
+ "original_ce_loss": 2.5454,
1362
+ "step": 1690
1363
+ },
1364
+ {
1365
+ "epoch": 0.5666666666666667,
1366
+ "grad_norm": 14.32315731048584,
1367
+ "learning_rate": 0.00018563430960278265,
1368
+ "loss": 40.719366455078124,
1369
+ "original_ce_loss": 2.5446,
1370
+ "step": 1700
1371
+ },
1372
+ {
1373
+ "epoch": 0.57,
1374
+ "grad_norm": 13.02042007446289,
1375
+ "learning_rate": 0.00018331236896358826,
1376
+ "loss": 40.71995239257812,
1377
+ "original_ce_loss": 2.5446,
1378
+ "step": 1710
1379
+ },
1380
+ {
1381
+ "epoch": 0.5733333333333334,
1382
+ "grad_norm": 11.142119407653809,
1383
+ "learning_rate": 0.00018099397486123355,
1384
+ "loss": 40.743798828125,
1385
+ "original_ce_loss": 2.5461,
1386
+ "step": 1720
1387
+ },
1388
+ {
1389
+ "epoch": 0.5766666666666667,
1390
+ "grad_norm": 9.898249626159668,
1391
+ "learning_rate": 0.0001786794089996391,
1392
+ "loss": 40.69387512207031,
1393
+ "original_ce_loss": 2.543,
1394
+ "step": 1730
1395
+ },
1396
+ {
1397
+ "epoch": 0.58,
1398
+ "grad_norm": 30.856658935546875,
1399
+ "learning_rate": 0.00017636895261756276,
1400
+ "loss": 40.60739440917969,
1401
+ "original_ce_loss": 2.5376,
1402
+ "step": 1740
1403
+ },
1404
+ {
1405
+ "epoch": 0.5833333333333334,
1406
+ "grad_norm": 10.264257431030273,
1407
+ "learning_rate": 0.0001740628864544267,
1408
+ "loss": 40.628298950195315,
1409
+ "original_ce_loss": 2.5389,
1410
+ "step": 1750
1411
+ },
1412
+ {
1413
+ "epoch": 0.5866666666666667,
1414
+ "grad_norm": 11.025504112243652,
1415
+ "learning_rate": 0.00017176149071620564,
1416
+ "loss": 40.60066528320313,
1417
+ "original_ce_loss": 2.5372,
1418
+ "step": 1760
1419
+ },
1420
+ {
1421
+ "epoch": 0.59,
1422
+ "grad_norm": 12.942453384399414,
1423
+ "learning_rate": 0.0001694650450413792,
1424
+ "loss": 40.47138671875,
1425
+ "original_ce_loss": 2.5291,
1426
+ "step": 1770
1427
+ },
1428
+ {
1429
+ "epoch": 0.5933333333333334,
1430
+ "grad_norm": 11.431750297546387,
1431
+ "learning_rate": 0.00016717382846695382,
1432
+ "loss": 40.45237426757812,
1433
+ "original_ce_loss": 2.5279,
1434
+ "step": 1780
1435
+ },
1436
+ {
1437
+ "epoch": 0.5966666666666667,
1438
+ "grad_norm": 9.413339614868164,
1439
+ "learning_rate": 0.00016488811939455712,
1440
+ "loss": 40.36336669921875,
1441
+ "original_ce_loss": 2.5223,
1442
+ "step": 1790
1443
+ },
1444
+ {
1445
+ "epoch": 0.6,
1446
+ "grad_norm": 8.911304473876953,
1447
+ "learning_rate": 0.00016260819555661006,
1448
+ "loss": 40.387020874023435,
1449
+ "original_ce_loss": 2.5238,
1450
+ "step": 1800
1451
+ },
1452
+ {
1453
+ "epoch": 0.6033333333333334,
1454
+ "grad_norm": 8.465132713317871,
1455
+ "learning_rate": 0.00016033433398258019,
1456
+ "loss": 40.344757080078125,
1457
+ "original_ce_loss": 2.5212,
1458
+ "step": 1810
1459
+ },
1460
+ {
1461
+ "epoch": 0.6066666666666667,
1462
+ "grad_norm": 10.04110336303711,
1463
+ "learning_rate": 0.00015806681096532002,
1464
+ "loss": 40.456539916992185,
1465
+ "original_ce_loss": 2.5282,
1466
+ "step": 1820
1467
+ },
1468
+ {
1469
+ "epoch": 0.61,
1470
+ "grad_norm": 9.178019523620605,
1471
+ "learning_rate": 0.00015580590202749568,
1472
+ "loss": 40.34690551757812,
1473
+ "original_ce_loss": 2.5213,
1474
+ "step": 1830
1475
+ },
1476
+ {
1477
+ "epoch": 0.6133333333333333,
1478
+ "grad_norm": 7.764488697052002,
1479
+ "learning_rate": 0.00015355188188810807,
1480
+ "loss": 40.279901123046876,
1481
+ "original_ce_loss": 2.5171,
1482
+ "step": 1840
1483
+ },
1484
+ {
1485
+ "epoch": 0.6166666666666667,
1486
+ "grad_norm": 8.292529106140137,
1487
+ "learning_rate": 0.00015130502442911248,
1488
+ "loss": 40.32528076171875,
1489
+ "original_ce_loss": 2.52,
1490
+ "step": 1850
1491
+ },
1492
+ {
1493
+ "epoch": 0.62,
1494
+ "grad_norm": 8.208005905151367,
1495
+ "learning_rate": 0.00014906560266213996,
1496
+ "loss": 40.189996337890626,
1497
+ "original_ce_loss": 2.5115,
1498
+ "step": 1860
1499
+ },
1500
+ {
1501
+ "epoch": 0.6233333333333333,
1502
+ "grad_norm": 9.50411605834961,
1503
+ "learning_rate": 0.00014683388869532368,
1504
+ "loss": 40.22713928222656,
1505
+ "original_ce_loss": 2.5138,
1506
+ "step": 1870
1507
+ },
1508
+ {
1509
+ "epoch": 0.6266666666666667,
1510
+ "grad_norm": 10.043655395507812,
1511
+ "learning_rate": 0.00014461015370023604,
1512
+ "loss": 40.089666748046874,
1513
+ "original_ce_loss": 2.5052,
1514
+ "step": 1880
1515
+ },
1516
+ {
1517
+ "epoch": 0.63,
1518
+ "grad_norm": 8.17435073852539,
1519
+ "learning_rate": 0.00014239466787893866,
1520
+ "loss": 40.06712951660156,
1521
+ "original_ce_loss": 2.5038,
1522
+ "step": 1890
1523
+ },
1524
+ {
1525
+ "epoch": 0.6333333333333333,
1526
+ "grad_norm": 8.872373580932617,
1527
+ "learning_rate": 0.00014018770043115083,
1528
+ "loss": 40.13961486816406,
1529
+ "original_ce_loss": 2.5084,
1530
+ "step": 1900
1531
+ },
1532
+ {
1533
+ "epoch": 0.6366666666666667,
1534
+ "grad_norm": 9.705024719238281,
1535
+ "learning_rate": 0.0001379895195215397,
1536
+ "loss": 40.03070068359375,
1537
+ "original_ce_loss": 2.5015,
1538
+ "step": 1910
1539
+ },
1540
+ {
1541
+ "epoch": 0.64,
1542
+ "grad_norm": 8.770875930786133,
1543
+ "learning_rate": 0.00013580039224713565,
1544
+ "loss": 40.00947570800781,
1545
+ "original_ce_loss": 2.5002,
1546
+ "step": 1920
1547
+ },
1548
+ {
1549
+ "epoch": 0.6433333333333333,
1550
+ "grad_norm": 8.644168853759766,
1551
+ "learning_rate": 0.00013362058460487805,
1552
+ "loss": 40.012994384765626,
1553
+ "original_ce_loss": 2.5004,
1554
+ "step": 1930
1555
+ },
1556
+ {
1557
+ "epoch": 0.6466666666666666,
1558
+ "grad_norm": 7.846497058868408,
1559
+ "learning_rate": 0.0001314503614592947,
1560
+ "loss": 40.023431396484376,
1561
+ "original_ce_loss": 2.5011,
1562
+ "step": 1940
1563
+ },
1564
+ {
1565
+ "epoch": 0.65,
1566
+ "grad_norm": 8.981230735778809,
1567
+ "learning_rate": 0.0001292899865103181,
1568
+ "loss": 39.95662231445313,
1569
+ "original_ce_loss": 2.4969,
1570
+ "step": 1950
1571
+ },
1572
+ {
1573
+ "epoch": 0.6533333333333333,
1574
+ "grad_norm": 9.10230541229248,
1575
+ "learning_rate": 0.00012713972226124402,
1576
+ "loss": 40.002069091796876,
1577
+ "original_ce_loss": 2.4998,
1578
+ "step": 1960
1579
+ },
1580
+ {
1581
+ "epoch": 0.6566666666666666,
1582
+ "grad_norm": 8.652543067932129,
1583
+ "learning_rate": 0.00012499982998683521,
1584
+ "loss": 39.91124572753906,
1585
+ "original_ce_loss": 2.4941,
1586
+ "step": 1970
1587
+ },
1588
+ {
1589
+ "epoch": 0.66,
1590
+ "grad_norm": 8.03935432434082,
1591
+ "learning_rate": 0.00012287056970157446,
1592
+ "loss": 39.8054443359375,
1593
+ "original_ce_loss": 2.4875,
1594
+ "step": 1980
1595
+ },
1596
+ {
1597
+ "epoch": 0.6633333333333333,
1598
+ "grad_norm": 9.71660041809082,
1599
+ "learning_rate": 0.00012075220012807027,
1600
+ "loss": 39.81572570800781,
1601
+ "original_ce_loss": 2.4881,
1602
+ "step": 1990
1603
+ },
1604
+ {
1605
+ "epoch": 0.6666666666666666,
1606
+ "grad_norm": 8.720709800720215,
1607
+ "learning_rate": 0.00011864497866562052,
1608
+ "loss": 39.940530395507814,
1609
+ "original_ce_loss": 2.4959,
1610
+ "step": 2000
1611
+ },
1612
+ {
1613
+ "epoch": 0.67,
1614
+ "grad_norm": 8.757256507873535,
1615
+ "learning_rate": 0.00011654916135893604,
1616
+ "loss": 39.902182006835936,
1617
+ "original_ce_loss": 2.4935,
1618
+ "step": 2010
1619
+ },
1620
+ {
1621
+ "epoch": 0.6733333333333333,
1622
+ "grad_norm": 9.392760276794434,
1623
+ "learning_rate": 0.00011446500286702886,
1624
+ "loss": 39.86787109375,
1625
+ "original_ce_loss": 2.4914,
1626
+ "step": 2020
1627
+ },
1628
+ {
1629
+ "epoch": 0.6766666666666666,
1630
+ "grad_norm": 9.689042091369629,
1631
+ "learning_rate": 0.00011239275643226945,
1632
+ "loss": 39.822994995117185,
1633
+ "original_ce_loss": 2.4886,
1634
+ "step": 2030
1635
+ },
1636
+ {
1637
+ "epoch": 0.68,
1638
+ "grad_norm": 9.171027183532715,
1639
+ "learning_rate": 0.00011033267384961554,
1640
+ "loss": 39.860556030273436,
1641
+ "original_ce_loss": 2.4909,
1642
+ "step": 2040
1643
+ },
1644
+ {
1645
+ "epoch": 0.6833333333333333,
1646
+ "grad_norm": 7.839738368988037,
1647
+ "learning_rate": 0.00010828500543601709,
1648
+ "loss": 39.73720092773438,
1649
+ "original_ce_loss": 2.4832,
1650
+ "step": 2050
1651
+ },
1652
+ {
1653
+ "epoch": 0.6866666666666666,
1654
+ "grad_norm": 8.569633483886719,
1655
+ "learning_rate": 0.00010625000000000003,
1656
+ "loss": 39.617706298828125,
1657
+ "original_ce_loss": 2.4757,
1658
+ "step": 2060
1659
+ },
1660
+ {
1661
+ "epoch": 0.69,
1662
+ "grad_norm": 8.060338973999023,
1663
+ "learning_rate": 0.0001042279048114351,
1664
+ "loss": 39.69352416992187,
1665
+ "original_ce_loss": 2.4805,
1666
+ "step": 2070
1667
+ },
1668
+ {
1669
+ "epoch": 0.6933333333333334,
1670
+ "grad_norm": 8.348586082458496,
1671
+ "learning_rate": 0.00010221896557149182,
1672
+ "loss": 39.686151123046876,
1673
+ "original_ce_loss": 2.48,
1674
+ "step": 2080
1675
+ },
1676
+ {
1677
+ "epoch": 0.6966666666666667,
1678
+ "grad_norm": 8.033924102783203,
1679
+ "learning_rate": 0.00010022342638278375,
1680
+ "loss": 39.68394165039062,
1681
+ "original_ce_loss": 2.4799,
1682
+ "step": 2090
1683
+ },
1684
+ {
1685
+ "epoch": 0.7,
1686
+ "grad_norm": 8.12784194946289,
1687
+ "learning_rate": 9.824152971970839e-05,
1688
+ "loss": 39.73549194335938,
1689
+ "original_ce_loss": 2.4831,
1690
+ "step": 2100
1691
+ },
1692
+ {
1693
+ "epoch": 0.7033333333333334,
1694
+ "grad_norm": 9.852293968200684,
1695
+ "learning_rate": 9.627351639898432e-05,
1696
+ "loss": 39.60615539550781,
1697
+ "original_ce_loss": 2.475,
1698
+ "step": 2110
1699
+ },
1700
+ {
1701
+ "epoch": 0.7066666666666667,
1702
+ "grad_norm": 8.127728462219238,
1703
+ "learning_rate": 9.431962555038987e-05,
1704
+ "loss": 39.702090454101565,
1705
+ "original_ce_loss": 2.481,
1706
+ "step": 2120
1707
+ },
1708
+ {
1709
+ "epoch": 0.71,
1710
+ "grad_norm": 7.37929630279541,
1711
+ "learning_rate": 9.238009458770722e-05,
1712
+ "loss": 39.58073425292969,
1713
+ "original_ce_loss": 2.4734,
1714
+ "step": 2130
1715
+ },
1716
+ {
1717
+ "epoch": 0.7133333333333334,
1718
+ "grad_norm": 8.563313484191895,
1719
+ "learning_rate": 9.045515917987448e-05,
1720
+ "loss": 39.58157043457031,
1721
+ "original_ce_loss": 2.4735,
1722
+ "step": 2140
1723
+ },
1724
+ {
1725
+ "epoch": 0.7166666666666667,
1726
+ "grad_norm": 7.394179821014404,
1727
+ "learning_rate": 8.854505322234993e-05,
1728
+ "loss": 39.54279479980469,
1729
+ "original_ce_loss": 2.4711,
1730
+ "step": 2150
1731
+ },
1732
+ {
1733
+ "epoch": 0.72,
1734
+ "grad_norm": 7.087237358093262,
1735
+ "learning_rate": 8.665000880869176e-05,
1736
+ "loss": 39.50851745605469,
1737
+ "original_ce_loss": 2.4689,
1738
+ "step": 2160
1739
+ },
1740
+ {
1741
+ "epoch": 0.7233333333333334,
1742
+ "grad_norm": 7.820181846618652,
1743
+ "learning_rate": 8.477025620235717e-05,
1744
+ "loss": 39.505514526367186,
1745
+ "original_ce_loss": 2.4687,
1746
+ "step": 2170
1747
+ },
1748
+ {
1749
+ "epoch": 0.7266666666666667,
1750
+ "grad_norm": 7.245079040527344,
1751
+ "learning_rate": 8.290602380872308e-05,
1752
+ "loss": 39.5278564453125,
1753
+ "original_ce_loss": 2.4701,
1754
+ "step": 2180
1755
+ },
1756
+ {
1757
+ "epoch": 0.73,
1758
+ "grad_norm": 8.576043128967285,
1759
+ "learning_rate": 8.105753814733303e-05,
1760
+ "loss": 39.471343994140625,
1761
+ "original_ce_loss": 2.4666,
1762
+ "step": 2190
1763
+ },
1764
+ {
1765
+ "epoch": 0.7333333333333333,
1766
+ "grad_norm": 8.827922821044922,
1767
+ "learning_rate": 7.922502382437337e-05,
1768
+ "loss": 39.40574645996094,
1769
+ "original_ce_loss": 2.4625,
1770
+ "step": 2200
1771
+ }
1772
+ ],
1773
+ "logging_steps": 10,
1774
+ "max_steps": 3000,
1775
+ "num_input_tokens_seen": 0,
1776
+ "num_train_epochs": 9223372036854775807,
1777
+ "save_steps": 200,
1778
+ "stateful_callbacks": {
1779
+ "TrainerControl": {
1780
+ "args": {
1781
+ "should_epoch_stop": false,
1782
+ "should_evaluate": false,
1783
+ "should_log": false,
1784
+ "should_save": true,
1785
+ "should_training_stop": false
1786
+ },
1787
+ "attributes": {}
1788
+ }
1789
+ },
1790
+ "total_flos": 8.18948456054784e+16,
1791
+ "train_batch_size": 16,
1792
+ "trial_name": null,
1793
+ "trial_params": null
1794
+ }