aixk commited on
Commit
c18409b
·
1 Parent(s): 445fe2b

FastPlus Backup checkpoint-1000 at global step 1000

Browse files
checkpoint-1000/config.json ADDED
@@ -0,0 +1,19 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "FastPlusForCausalLM"
4
+ ],
5
+ "dtype": "float32",
6
+ "hidden_size": 544,
7
+ "initializer_range": 0.02,
8
+ "intermediate_size": 1632,
9
+ "kd_alpha": 0.4,
10
+ "kd_temperature": 2.5,
11
+ "max_position_embeddings": 512,
12
+ "model_type": "fastplus",
13
+ "num_attention_heads": 8,
14
+ "num_hidden_layers": 12,
15
+ "tie_word_embeddings": true,
16
+ "transformers_version": "5.12.0",
17
+ "use_cache": false,
18
+ "vocab_size": 15968
19
+ }
checkpoint-1000/generation_config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "output_attentions": false,
4
+ "output_hidden_states": false,
5
+ "transformers_version": "5.12.0"
6
+ }
checkpoint-1000/trainer_state.json ADDED
@@ -0,0 +1,834 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": null,
3
+ "best_metric": null,
4
+ "best_model_checkpoint": null,
5
+ "epoch": 0.03333333333333333,
6
+ "eval_steps": 500,
7
+ "global_step": 1000,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.0003333333333333333,
14
+ "grad_norm": 193.30125427246094,
15
+ "learning_rate": 1.9833333333333332e-05,
16
+ "loss": 154.99522705078124,
17
+ "original_ce_loss": 9.6865,
18
+ "step": 10
19
+ },
20
+ {
21
+ "epoch": 0.0006666666666666666,
22
+ "grad_norm": 207.8564453125,
23
+ "learning_rate": 4.816666666666666e-05,
24
+ "loss": 154.4616943359375,
25
+ "original_ce_loss": 9.6532,
26
+ "step": 20
27
+ },
28
+ {
29
+ "epoch": 0.001,
30
+ "grad_norm": 280.3179931640625,
31
+ "learning_rate": 7.649999999999999e-05,
32
+ "loss": 152.58868408203125,
33
+ "original_ce_loss": 9.5361,
34
+ "step": 30
35
+ },
36
+ {
37
+ "epoch": 0.0013333333333333333,
38
+ "grad_norm": 359.151611328125,
39
+ "learning_rate": 9.916666666666666e-05,
40
+ "loss": 145.5450927734375,
41
+ "original_ce_loss": 9.0959,
42
+ "step": 40
43
+ },
44
+ {
45
+ "epoch": 0.0016666666666666668,
46
+ "grad_norm": 104.84541320800781,
47
+ "learning_rate": 0.00012749999999999998,
48
+ "loss": 129.752197265625,
49
+ "original_ce_loss": 8.1088,
50
+ "step": 50
51
+ },
52
+ {
53
+ "epoch": 0.002,
54
+ "grad_norm": 42.41929244995117,
55
+ "learning_rate": 0.00015583333333333332,
56
+ "loss": 123.40166015625,
57
+ "original_ce_loss": 7.7119,
58
+ "step": 60
59
+ },
60
+ {
61
+ "epoch": 0.0023333333333333335,
62
+ "grad_norm": 43.07599639892578,
63
+ "learning_rate": 0.00018416666666666665,
64
+ "loss": 116.051904296875,
65
+ "original_ce_loss": 7.2526,
66
+ "step": 70
67
+ },
68
+ {
69
+ "epoch": 0.0026666666666666666,
70
+ "grad_norm": 15.110007286071777,
71
+ "learning_rate": 0.0002125,
72
+ "loss": 107.8390625,
73
+ "original_ce_loss": 6.7393,
74
+ "step": 80
75
+ },
76
+ {
77
+ "epoch": 0.003,
78
+ "grad_norm": 19.066268920898438,
79
+ "learning_rate": 0.00024083333333333332,
80
+ "loss": 104.07568359375,
81
+ "original_ce_loss": 6.504,
82
+ "step": 90
83
+ },
84
+ {
85
+ "epoch": 0.0033333333333333335,
86
+ "grad_norm": 15.286686897277832,
87
+ "learning_rate": 0.00026916666666666663,
88
+ "loss": 102.61002197265626,
89
+ "original_ce_loss": 6.4124,
90
+ "step": 100
91
+ },
92
+ {
93
+ "epoch": 0.0036666666666666666,
94
+ "grad_norm": 15.667778015136719,
95
+ "learning_rate": 0.00029749999999999997,
96
+ "loss": 101.6726806640625,
97
+ "original_ce_loss": 6.3539,
98
+ "step": 110
99
+ },
100
+ {
101
+ "epoch": 0.004,
102
+ "grad_norm": 20.178363800048828,
103
+ "learning_rate": 0.00032583333333333336,
104
+ "loss": 101.5388427734375,
105
+ "original_ce_loss": 6.3455,
106
+ "step": 120
107
+ },
108
+ {
109
+ "epoch": 0.004333333333333333,
110
+ "grad_norm": 127.03045654296875,
111
+ "learning_rate": 0.00035416666666666664,
112
+ "loss": 101.36513061523438,
113
+ "original_ce_loss": 6.3346,
114
+ "step": 130
115
+ },
116
+ {
117
+ "epoch": 0.004666666666666667,
118
+ "grad_norm": 21.85209846496582,
119
+ "learning_rate": 0.0003825,
120
+ "loss": 100.66131591796875,
121
+ "original_ce_loss": 6.2907,
122
+ "step": 140
123
+ },
124
+ {
125
+ "epoch": 0.005,
126
+ "grad_norm": 28.871206283569336,
127
+ "learning_rate": 0.00040799999999999994,
128
+ "loss": 100.21246337890625,
129
+ "original_ce_loss": 6.2626,
130
+ "step": 150
131
+ },
132
+ {
133
+ "epoch": 0.005333333333333333,
134
+ "grad_norm": 8.257862091064453,
135
+ "learning_rate": 0.0004249999811695807,
136
+ "loss": 99.4580810546875,
137
+ "original_ce_loss": 6.2155,
138
+ "step": 160
139
+ },
140
+ {
141
+ "epoch": 0.005666666666666667,
142
+ "grad_norm": 16.51659393310547,
143
+ "learning_rate": 0.0004249997693274025,
144
+ "loss": 98.74091796875,
145
+ "original_ce_loss": 6.1707,
146
+ "step": 170
147
+ },
148
+ {
149
+ "epoch": 0.006,
150
+ "grad_norm": NaN,
151
+ "learning_rate": 0.0004249993774195584,
152
+ "loss": 98.07858276367188,
153
+ "original_ce_loss": 6.1293,
154
+ "step": 180
155
+ },
156
+ {
157
+ "epoch": 0.006333333333333333,
158
+ "grad_norm": 29.44127082824707,
159
+ "learning_rate": 0.0004249987948542895,
160
+ "loss": 97.93662719726562,
161
+ "original_ce_loss": 6.1204,
162
+ "step": 190
163
+ },
164
+ {
165
+ "epoch": 0.006666666666666667,
166
+ "grad_norm": 14.971574783325195,
167
+ "learning_rate": 0.0004249979239496277,
168
+ "loss": 97.34913940429688,
169
+ "original_ce_loss": 6.0837,
170
+ "step": 200
171
+ },
172
+ {
173
+ "epoch": 0.007,
174
+ "grad_norm": 12.689688682556152,
175
+ "learning_rate": 0.0004249968176670431,
176
+ "loss": 96.178271484375,
177
+ "original_ce_loss": 6.0105,
178
+ "step": 210
179
+ },
180
+ {
181
+ "epoch": 0.007333333333333333,
182
+ "grad_norm": 20.04000473022461,
183
+ "learning_rate": 0.0004249954760077612,
184
+ "loss": 94.8289306640625,
185
+ "original_ce_loss": 5.9262,
186
+ "step": 220
187
+ },
188
+ {
189
+ "epoch": 0.007666666666666666,
190
+ "grad_norm": 11.919169425964355,
191
+ "learning_rate": 0.000424993898973268,
192
+ "loss": 93.77874755859375,
193
+ "original_ce_loss": 5.8605,
194
+ "step": 230
195
+ },
196
+ {
197
+ "epoch": 0.008,
198
+ "grad_norm": 21.34636688232422,
199
+ "learning_rate": 0.00042499208656531043,
200
+ "loss": 92.63297729492187,
201
+ "original_ce_loss": 5.7889,
202
+ "step": 240
203
+ },
204
+ {
205
+ "epoch": 0.008333333333333333,
206
+ "grad_norm": 14.039680480957031,
207
+ "learning_rate": 0.000424990038785896,
208
+ "loss": 91.2647705078125,
209
+ "original_ce_loss": 5.7034,
210
+ "step": 250
211
+ },
212
+ {
213
+ "epoch": 0.008666666666666666,
214
+ "grad_norm": 16.5980224609375,
215
+ "learning_rate": 0.00042498775563729296,
216
+ "loss": 89.99480590820312,
217
+ "original_ce_loss": 5.6241,
218
+ "step": 260
219
+ },
220
+ {
221
+ "epoch": 0.009,
222
+ "grad_norm": 35.983943939208984,
223
+ "learning_rate": 0.0004249852371220303,
224
+ "loss": 88.72568359375,
225
+ "original_ce_loss": 5.5447,
226
+ "step": 270
227
+ },
228
+ {
229
+ "epoch": 0.009333333333333334,
230
+ "grad_norm": 10.545525550842285,
231
+ "learning_rate": 0.00042498248324289776,
232
+ "loss": 87.27744750976562,
233
+ "original_ce_loss": 5.4542,
234
+ "step": 280
235
+ },
236
+ {
237
+ "epoch": 0.009666666666666667,
238
+ "grad_norm": 14.494406700134277,
239
+ "learning_rate": 0.0004249794940029456,
240
+ "loss": 85.4427490234375,
241
+ "original_ce_loss": 5.3396,
242
+ "step": 290
243
+ },
244
+ {
245
+ "epoch": 0.01,
246
+ "grad_norm": 46.0245361328125,
247
+ "learning_rate": 0.00042497626940548515,
248
+ "loss": 84.02860107421876,
249
+ "original_ce_loss": 5.2512,
250
+ "step": 300
251
+ },
252
+ {
253
+ "epoch": 0.010333333333333333,
254
+ "grad_norm": 14.768983840942383,
255
+ "learning_rate": 0.000424972809454088,
256
+ "loss": 82.96371459960938,
257
+ "original_ce_loss": 5.1846,
258
+ "step": 310
259
+ },
260
+ {
261
+ "epoch": 0.010666666666666666,
262
+ "grad_norm": 16.24750328063965,
263
+ "learning_rate": 0.00042496911415258666,
264
+ "loss": 82.49393310546876,
265
+ "original_ce_loss": 5.1553,
266
+ "step": 320
267
+ },
268
+ {
269
+ "epoch": 0.011,
270
+ "grad_norm": 14.52138900756836,
271
+ "learning_rate": 0.0004249655871602741,
272
+ "loss": 80.85582275390625,
273
+ "original_ce_loss": 5.0529,
274
+ "step": 330
275
+ },
276
+ {
277
+ "epoch": 0.011333333333333334,
278
+ "grad_norm": 19.26217269897461,
279
+ "learning_rate": 0.00042496144470506705,
280
+ "loss": 79.52462158203124,
281
+ "original_ce_loss": 4.9697,
282
+ "step": 340
283
+ },
284
+ {
285
+ "epoch": 0.011666666666666667,
286
+ "grad_norm": 20.684001922607422,
287
+ "learning_rate": 0.00042495706691234427,
288
+ "loss": 77.98438110351563,
289
+ "original_ce_loss": 4.8734,
290
+ "step": 350
291
+ },
292
+ {
293
+ "epoch": 0.012,
294
+ "grad_norm": 23.948087692260742,
295
+ "learning_rate": 0.000424952453786955,
296
+ "loss": 76.44223022460938,
297
+ "original_ce_loss": 4.777,
298
+ "step": 360
299
+ },
300
+ {
301
+ "epoch": 0.012333333333333333,
302
+ "grad_norm": 36.791988372802734,
303
+ "learning_rate": 0.0004249476053340089,
304
+ "loss": 75.355859375,
305
+ "original_ce_loss": 4.7092,
306
+ "step": 370
307
+ },
308
+ {
309
+ "epoch": 0.012666666666666666,
310
+ "grad_norm": 21.555706024169922,
311
+ "learning_rate": 0.0004249425215588765,
312
+ "loss": 73.73348999023438,
313
+ "original_ce_loss": 4.6078,
314
+ "step": 380
315
+ },
316
+ {
317
+ "epoch": 0.013,
318
+ "grad_norm": 33.586387634277344,
319
+ "learning_rate": 0.0004249377449654369,
320
+ "loss": 72.61731567382813,
321
+ "original_ce_loss": 4.538,
322
+ "step": 390
323
+ },
324
+ {
325
+ "epoch": 0.013333333333333334,
326
+ "grad_norm": 27.996273040771484,
327
+ "learning_rate": 0.00042493221409387993,
328
+ "loss": 71.43023681640625,
329
+ "original_ce_loss": 4.4638,
330
+ "step": 400
331
+ },
332
+ {
333
+ "epoch": 0.013666666666666667,
334
+ "grad_norm": 45.84962463378906,
335
+ "learning_rate": 0.0004249264479171851,
336
+ "loss": 70.55713500976563,
337
+ "original_ce_loss": 4.4092,
338
+ "step": 410
339
+ },
340
+ {
341
+ "epoch": 0.014,
342
+ "grad_norm": 48.37245178222656,
343
+ "learning_rate": 0.00042492044644173955,
344
+ "loss": 69.7059326171875,
345
+ "original_ce_loss": 4.356,
346
+ "step": 420
347
+ },
348
+ {
349
+ "epoch": 0.014333333333333333,
350
+ "grad_norm": 26.593931198120117,
351
+ "learning_rate": 0.0004249142096741908,
352
+ "loss": 68.96209716796875,
353
+ "original_ce_loss": 4.3096,
354
+ "step": 430
355
+ },
356
+ {
357
+ "epoch": 0.014666666666666666,
358
+ "grad_norm": 25.2656307220459,
359
+ "learning_rate": 0.00042490773762144724,
360
+ "loss": 67.66499633789063,
361
+ "original_ce_loss": 4.2285,
362
+ "step": 440
363
+ },
364
+ {
365
+ "epoch": 0.015,
366
+ "grad_norm": 87.45381927490234,
367
+ "learning_rate": 0.0004249010302906778,
368
+ "loss": 66.64647827148437,
369
+ "original_ce_loss": 4.1648,
370
+ "step": 450
371
+ },
372
+ {
373
+ "epoch": 0.015333333333333332,
374
+ "grad_norm": 26.007844924926758,
375
+ "learning_rate": 0.0004248940876893119,
376
+ "loss": 66.23974609375,
377
+ "original_ce_loss": 4.1394,
378
+ "step": 460
379
+ },
380
+ {
381
+ "epoch": 0.015666666666666666,
382
+ "grad_norm": 38.981483459472656,
383
+ "learning_rate": 0.0004248869098250397,
384
+ "loss": 65.3707763671875,
385
+ "original_ce_loss": 4.0851,
386
+ "step": 470
387
+ },
388
+ {
389
+ "epoch": 0.016,
390
+ "grad_norm": 30.139528274536133,
391
+ "learning_rate": 0.00042487949670581203,
392
+ "loss": 64.82785034179688,
393
+ "original_ce_loss": 4.0512,
394
+ "step": 480
395
+ },
396
+ {
397
+ "epoch": 0.01633333333333333,
398
+ "grad_norm": 22.18630599975586,
399
+ "learning_rate": 0.00042487184833984,
400
+ "loss": 63.92879028320313,
401
+ "original_ce_loss": 3.995,
402
+ "step": 490
403
+ },
404
+ {
405
+ "epoch": 0.016666666666666666,
406
+ "grad_norm": 20.91753578186035,
407
+ "learning_rate": 0.00042486396473559565,
408
+ "loss": 62.890411376953125,
409
+ "original_ce_loss": 3.9301,
410
+ "step": 500
411
+ },
412
+ {
413
+ "epoch": 0.017,
414
+ "grad_norm": 16.906227111816406,
415
+ "learning_rate": 0.00042485584590181135,
416
+ "loss": 61.85081176757812,
417
+ "original_ce_loss": 3.8651,
418
+ "step": 510
419
+ },
420
+ {
421
+ "epoch": 0.017333333333333333,
422
+ "grad_norm": 20.301300048828125,
423
+ "learning_rate": 0.00042484749184748007,
424
+ "loss": 60.9402099609375,
425
+ "original_ce_loss": 3.8082,
426
+ "step": 520
427
+ },
428
+ {
429
+ "epoch": 0.017666666666666667,
430
+ "grad_norm": 15.232793807983398,
431
+ "learning_rate": 0.0004248389025818554,
432
+ "loss": 60.15031127929687,
433
+ "original_ce_loss": 3.7589,
434
+ "step": 530
435
+ },
436
+ {
437
+ "epoch": 0.018,
438
+ "grad_norm": 25.332082748413086,
439
+ "learning_rate": 0.0004248300781144515,
440
+ "loss": 59.50396728515625,
441
+ "original_ce_loss": 3.7185,
442
+ "step": 540
443
+ },
444
+ {
445
+ "epoch": 0.018333333333333333,
446
+ "grad_norm": 18.957500457763672,
447
+ "learning_rate": 0.0004248210184550428,
448
+ "loss": 58.9510986328125,
449
+ "original_ce_loss": 3.6839,
450
+ "step": 550
451
+ },
452
+ {
453
+ "epoch": 0.018666666666666668,
454
+ "grad_norm": 17.083209991455078,
455
+ "learning_rate": 0.00042481172361366463,
456
+ "loss": 58.551019287109376,
457
+ "original_ce_loss": 3.6589,
458
+ "step": 560
459
+ },
460
+ {
461
+ "epoch": 0.019,
462
+ "grad_norm": 20.623079299926758,
463
+ "learning_rate": 0.00042480219360061243,
464
+ "loss": 57.89994506835937,
465
+ "original_ce_loss": 3.6182,
466
+ "step": 570
467
+ },
468
+ {
469
+ "epoch": 0.019333333333333334,
470
+ "grad_norm": 20.007261276245117,
471
+ "learning_rate": 0.0004247924284264425,
472
+ "loss": 57.207183837890625,
473
+ "original_ce_loss": 3.5749,
474
+ "step": 580
475
+ },
476
+ {
477
+ "epoch": 0.019666666666666666,
478
+ "grad_norm": 24.606914520263672,
479
+ "learning_rate": 0.00042478242810197137,
480
+ "loss": 56.6140380859375,
481
+ "original_ce_loss": 3.5379,
482
+ "step": 590
483
+ },
484
+ {
485
+ "epoch": 0.02,
486
+ "grad_norm": 23.800609588623047,
487
+ "learning_rate": 0.00042477219263827606,
488
+ "loss": 56.085272216796874,
489
+ "original_ce_loss": 3.5048,
490
+ "step": 600
491
+ },
492
+ {
493
+ "epoch": 0.02033333333333333,
494
+ "grad_norm": 18.29131507873535,
495
+ "learning_rate": 0.0004247617220466942,
496
+ "loss": 55.73380737304687,
497
+ "original_ce_loss": 3.4828,
498
+ "step": 610
499
+ },
500
+ {
501
+ "epoch": 0.020666666666666667,
502
+ "grad_norm": 20.64620018005371,
503
+ "learning_rate": 0.00042475101633882375,
504
+ "loss": 55.267041015625,
505
+ "original_ce_loss": 3.4537,
506
+ "step": 620
507
+ },
508
+ {
509
+ "epoch": 0.021,
510
+ "grad_norm": 16.878942489624023,
511
+ "learning_rate": 0.0004247400755265231,
512
+ "loss": 54.697265625,
513
+ "original_ce_loss": 3.4181,
514
+ "step": 630
515
+ },
516
+ {
517
+ "epoch": 0.021333333333333333,
518
+ "grad_norm": 24.191560745239258,
519
+ "learning_rate": 0.00042472889962191107,
520
+ "loss": 54.2244140625,
521
+ "original_ce_loss": 3.3885,
522
+ "step": 640
523
+ },
524
+ {
525
+ "epoch": 0.021666666666666667,
526
+ "grad_norm": 19.806337356567383,
527
+ "learning_rate": 0.00042471748863736686,
528
+ "loss": 53.91731567382813,
529
+ "original_ce_loss": 3.3693,
530
+ "step": 650
531
+ },
532
+ {
533
+ "epoch": 0.022,
534
+ "grad_norm": 19.804443359375,
535
+ "learning_rate": 0.0004247058425855301,
536
+ "loss": 53.446173095703124,
537
+ "original_ce_loss": 3.3399,
538
+ "step": 660
539
+ },
540
+ {
541
+ "epoch": 0.022333333333333334,
542
+ "grad_norm": 20.795433044433594,
543
+ "learning_rate": 0.0004246939614793009,
544
+ "loss": 53.202099609375,
545
+ "original_ce_loss": 3.3246,
546
+ "step": 670
547
+ },
548
+ {
549
+ "epoch": 0.02266666666666667,
550
+ "grad_norm": 18.797666549682617,
551
+ "learning_rate": 0.0004246818453318394,
552
+ "loss": 52.8059814453125,
553
+ "original_ce_loss": 3.2999,
554
+ "step": 680
555
+ },
556
+ {
557
+ "epoch": 0.023,
558
+ "grad_norm": 15.52590274810791,
559
+ "learning_rate": 0.0004246694941565666,
560
+ "loss": 52.476416015625,
561
+ "original_ce_loss": 3.2793,
562
+ "step": 690
563
+ },
564
+ {
565
+ "epoch": 0.023333333333333334,
566
+ "grad_norm": 20.646650314331055,
567
+ "learning_rate": 0.0004246569079671633,
568
+ "loss": 52.04948120117187,
569
+ "original_ce_loss": 3.2526,
570
+ "step": 700
571
+ },
572
+ {
573
+ "epoch": 0.023666666666666666,
574
+ "grad_norm": 20.110410690307617,
575
+ "learning_rate": 0.00042464408677757103,
576
+ "loss": 51.823065185546874,
577
+ "original_ce_loss": 3.2384,
578
+ "step": 710
579
+ },
580
+ {
581
+ "epoch": 0.024,
582
+ "grad_norm": 16.53462028503418,
583
+ "learning_rate": 0.00042463103060199145,
584
+ "loss": 51.42784423828125,
585
+ "original_ce_loss": 3.2137,
586
+ "step": 720
587
+ },
588
+ {
589
+ "epoch": 0.024333333333333332,
590
+ "grad_norm": 18.70224952697754,
591
+ "learning_rate": 0.0004246177394548864,
592
+ "loss": 51.2402587890625,
593
+ "original_ce_loss": 3.202,
594
+ "step": 730
595
+ },
596
+ {
597
+ "epoch": 0.024666666666666667,
598
+ "grad_norm": 17.058368682861328,
599
+ "learning_rate": 0.0004246042133509782,
600
+ "loss": 50.905398559570315,
601
+ "original_ce_loss": 3.1811,
602
+ "step": 740
603
+ },
604
+ {
605
+ "epoch": 0.025,
606
+ "grad_norm": 18.16584587097168,
607
+ "learning_rate": 0.0004245904523052492,
608
+ "loss": 50.543515014648435,
609
+ "original_ce_loss": 3.1585,
610
+ "step": 750
611
+ },
612
+ {
613
+ "epoch": 0.025333333333333333,
614
+ "grad_norm": 18.601837158203125,
615
+ "learning_rate": 0.0004245764563329423,
616
+ "loss": 50.39247131347656,
617
+ "original_ce_loss": 3.149,
618
+ "step": 760
619
+ },
620
+ {
621
+ "epoch": 0.025666666666666667,
622
+ "grad_norm": 20.248645782470703,
623
+ "learning_rate": 0.00042456222544956035,
624
+ "loss": 50.04454040527344,
625
+ "original_ce_loss": 3.1273,
626
+ "step": 770
627
+ },
628
+ {
629
+ "epoch": 0.026,
630
+ "grad_norm": 19.146419525146484,
631
+ "learning_rate": 0.0004245477596708665,
632
+ "loss": 49.74447937011719,
633
+ "original_ce_loss": 3.1086,
634
+ "step": 780
635
+ },
636
+ {
637
+ "epoch": 0.026333333333333334,
638
+ "grad_norm": 17.926576614379883,
639
+ "learning_rate": 0.0004245330590128841,
640
+ "loss": 49.5018310546875,
641
+ "original_ce_loss": 3.0934,
642
+ "step": 790
643
+ },
644
+ {
645
+ "epoch": 0.02666666666666667,
646
+ "grad_norm": 15.49186897277832,
647
+ "learning_rate": 0.0004245181234918967,
648
+ "loss": 49.32894287109375,
649
+ "original_ce_loss": 3.0826,
650
+ "step": 800
651
+ },
652
+ {
653
+ "epoch": 0.027,
654
+ "grad_norm": 16.708791732788086,
655
+ "learning_rate": 0.0004245029531244478,
656
+ "loss": 49.1858642578125,
657
+ "original_ce_loss": 3.0736,
658
+ "step": 810
659
+ },
660
+ {
661
+ "epoch": 0.027333333333333334,
662
+ "grad_norm": 16.17323875427246,
663
+ "learning_rate": 0.00042448754792734133,
664
+ "loss": 48.92313842773437,
665
+ "original_ce_loss": 3.0572,
666
+ "step": 820
667
+ },
668
+ {
669
+ "epoch": 0.027666666666666666,
670
+ "grad_norm": 14.645228385925293,
671
+ "learning_rate": 0.00042447190791764113,
672
+ "loss": 48.708493041992185,
673
+ "original_ce_loss": 3.0438,
674
+ "step": 830
675
+ },
676
+ {
677
+ "epoch": 0.028,
678
+ "grad_norm": 16.37765121459961,
679
+ "learning_rate": 0.0004244560331126712,
680
+ "loss": 48.501834106445315,
681
+ "original_ce_loss": 3.0309,
682
+ "step": 840
683
+ },
684
+ {
685
+ "epoch": 0.028333333333333332,
686
+ "grad_norm": 20.280181884765625,
687
+ "learning_rate": 0.0004244399235300156,
688
+ "loss": 48.502603149414064,
689
+ "original_ce_loss": 3.0309,
690
+ "step": 850
691
+ },
692
+ {
693
+ "epoch": 0.028666666666666667,
694
+ "grad_norm": 18.538236618041992,
695
+ "learning_rate": 0.00042442357918751853,
696
+ "loss": 48.18049926757813,
697
+ "original_ce_loss": 3.0108,
698
+ "step": 860
699
+ },
700
+ {
701
+ "epoch": 0.029,
702
+ "grad_norm": 19.755647659301758,
703
+ "learning_rate": 0.00042440700010328404,
704
+ "loss": 48.11741333007812,
705
+ "original_ce_loss": 3.0069,
706
+ "step": 870
707
+ },
708
+ {
709
+ "epoch": 0.029333333333333333,
710
+ "grad_norm": 17.37371253967285,
711
+ "learning_rate": 0.0004243901862956764,
712
+ "loss": 47.78751220703125,
713
+ "original_ce_loss": 2.9863,
714
+ "step": 880
715
+ },
716
+ {
717
+ "epoch": 0.029666666666666668,
718
+ "grad_norm": 20.684240341186523,
719
+ "learning_rate": 0.0004243731377833197,
720
+ "loss": 47.599853515625,
721
+ "original_ce_loss": 2.9745,
722
+ "step": 890
723
+ },
724
+ {
725
+ "epoch": 0.03,
726
+ "grad_norm": 20.71816062927246,
727
+ "learning_rate": 0.00042435585458509823,
728
+ "loss": 47.446356201171874,
729
+ "original_ce_loss": 2.9649,
730
+ "step": 900
731
+ },
732
+ {
733
+ "epoch": 0.030333333333333334,
734
+ "grad_norm": 19.639667510986328,
735
+ "learning_rate": 0.00042433833672015606,
736
+ "loss": 47.269107055664065,
737
+ "original_ce_loss": 2.9539,
738
+ "step": 910
739
+ },
740
+ {
741
+ "epoch": 0.030666666666666665,
742
+ "grad_norm": 13.578326225280762,
743
+ "learning_rate": 0.0004243205842078971,
744
+ "loss": 46.974429321289065,
745
+ "original_ce_loss": 2.9355,
746
+ "step": 920
747
+ },
748
+ {
749
+ "epoch": 0.031,
750
+ "grad_norm": 23.431640625,
751
+ "learning_rate": 0.00042430259706798543,
752
+ "loss": 46.828652954101564,
753
+ "original_ce_loss": 2.9263,
754
+ "step": 930
755
+ },
756
+ {
757
+ "epoch": 0.03133333333333333,
758
+ "grad_norm": 15.45804214477539,
759
+ "learning_rate": 0.0004242843753203448,
760
+ "loss": 46.75359191894531,
761
+ "original_ce_loss": 2.9217,
762
+ "step": 940
763
+ },
764
+ {
765
+ "epoch": 0.03166666666666667,
766
+ "grad_norm": 21.198925018310547,
767
+ "learning_rate": 0.0004242659189851591,
768
+ "loss": 46.800146484375,
769
+ "original_ce_loss": 2.9246,
770
+ "step": 950
771
+ },
772
+ {
773
+ "epoch": 0.032,
774
+ "grad_norm": 16.371259689331055,
775
+ "learning_rate": 0.0004242472280828717,
776
+ "loss": 46.56090393066406,
777
+ "original_ce_loss": 2.9096,
778
+ "step": 960
779
+ },
780
+ {
781
+ "epoch": 0.03233333333333333,
782
+ "grad_norm": 16.652050018310547,
783
+ "learning_rate": 0.00042422830263418607,
784
+ "loss": 46.34129638671875,
785
+ "original_ce_loss": 2.8959,
786
+ "step": 970
787
+ },
788
+ {
789
+ "epoch": 0.03266666666666666,
790
+ "grad_norm": 15.668427467346191,
791
+ "learning_rate": 0.00042420914266006534,
792
+ "loss": 46.112457275390625,
793
+ "original_ce_loss": 2.8816,
794
+ "step": 980
795
+ },
796
+ {
797
+ "epoch": 0.033,
798
+ "grad_norm": 19.35259437561035,
799
+ "learning_rate": 0.0004241897481817326,
800
+ "loss": 45.83723754882813,
801
+ "original_ce_loss": 2.8644,
802
+ "step": 990
803
+ },
804
+ {
805
+ "epoch": 0.03333333333333333,
806
+ "grad_norm": 19.012178421020508,
807
+ "learning_rate": 0.00042417011922067036,
808
+ "loss": 45.88760986328125,
809
+ "original_ce_loss": 2.8675,
810
+ "step": 1000
811
+ }
812
+ ],
813
+ "logging_steps": 10,
814
+ "max_steps": 30000,
815
+ "num_input_tokens_seen": 0,
816
+ "num_train_epochs": 9223372036854775807,
817
+ "save_steps": 200,
818
+ "stateful_callbacks": {
819
+ "TrainerControl": {
820
+ "args": {
821
+ "should_epoch_stop": false,
822
+ "should_evaluate": false,
823
+ "should_log": false,
824
+ "should_save": true,
825
+ "should_training_stop": false
826
+ },
827
+ "attributes": {}
828
+ }
829
+ },
830
+ "total_flos": 3.7224929820672e+16,
831
+ "train_batch_size": 16,
832
+ "trial_name": null,
833
+ "trial_params": null
834
+ }