aixk commited on
Commit
37e9fde
·
1 Parent(s): 71d73f7

[mid-backup] slot 6 add checkpoint-1655

Browse files
slots/6/checkpoint-1655/config.json ADDED
@@ -0,0 +1,24 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "SsaiForCausalLM"
4
+ ],
5
+ "attention_dropout": 0.0,
6
+ "dtype": "float32",
7
+ "hidden_dropout": 0.0,
8
+ "hidden_size": 768,
9
+ "initializer_range": 0.02,
10
+ "intermediate_size": 3072,
11
+ "max_position_embeddings": 128,
12
+ "model_type": "ssai",
13
+ "neftune_alpha": 0.0,
14
+ "num_attention_heads": 12,
15
+ "num_hidden_layers": 8,
16
+ "num_key_value_heads": 3,
17
+ "qk_norm": true,
18
+ "rezero_init": 1.0,
19
+ "rms_norm_eps": 1e-06,
20
+ "rope_theta": 10000.0,
21
+ "transformers_version": "5.0.0",
22
+ "use_cache": false,
23
+ "vocab_size": 32000
24
+ }
slots/6/checkpoint-1655/trainer_state.json ADDED
@@ -0,0 +1,615 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": null,
3
+ "best_metric": null,
4
+ "best_model_checkpoint": null,
5
+ "epoch": 1.8207384996218112,
6
+ "eval_steps": 500,
7
+ "global_step": 1655,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.0003014535714397862,
14
+ "grad_norm": 206.31288146972656,
15
+ "learning_rate": 5e-05,
16
+ "loss": 1010.8499145507812,
17
+ "step": 1
18
+ },
19
+ {
20
+ "epoch": 0.006029071428795724,
21
+ "grad_norm": 99.19822692871094,
22
+ "learning_rate": 4.99957451770654e-05,
23
+ "loss": 924.0168585526316,
24
+ "step": 20
25
+ },
26
+ {
27
+ "epoch": 0.012058142857591448,
28
+ "grad_norm": 94.62701416015625,
29
+ "learning_rate": 4.9982023704636016e-05,
30
+ "loss": 842.09189453125,
31
+ "step": 40
32
+ },
33
+ {
34
+ "epoch": 0.01808721428638717,
35
+ "grad_norm": 147.43214416503906,
36
+ "learning_rate": 4.9957344506282405e-05,
37
+ "loss": 767.3501953125,
38
+ "step": 60
39
+ },
40
+ {
41
+ "epoch": 0.024116285715182897,
42
+ "grad_norm": 62.40895462036133,
43
+ "learning_rate": 4.9922177567165664e-05,
44
+ "loss": 727.4634765625,
45
+ "step": 80
46
+ },
47
+ {
48
+ "epoch": 0.030145357143978622,
49
+ "grad_norm": 106.17312622070312,
50
+ "learning_rate": 4.987653766537007e-05,
51
+ "loss": 704.256640625,
52
+ "step": 100
53
+ },
54
+ {
55
+ "epoch": 0.03617442857277434,
56
+ "grad_norm": 75.34104919433594,
57
+ "learning_rate": 4.982044397999775e-05,
58
+ "loss": 687.3732421875,
59
+ "step": 120
60
+ },
61
+ {
62
+ "epoch": 0.04220350000157007,
63
+ "grad_norm": 106.4477767944336,
64
+ "learning_rate": 4.975392008310903e-05,
65
+ "loss": 678.193115234375,
66
+ "step": 140
67
+ },
68
+ {
69
+ "epoch": 0.048232571430365793,
70
+ "grad_norm": 106.51051330566406,
71
+ "learning_rate": 4.967699392981687e-05,
72
+ "loss": 661.14794921875,
73
+ "step": 160
74
+ },
75
+ {
76
+ "epoch": 0.05426164285916152,
77
+ "grad_norm": 175.19284057617188,
78
+ "learning_rate": 4.959430838785266e-05,
79
+ "loss": 656.61201171875,
80
+ "step": 180
81
+ },
82
+ {
83
+ "epoch": 0.060290714287957244,
84
+ "grad_norm": 109.40715789794922,
85
+ "learning_rate": 4.9497194782671584e-05,
86
+ "loss": 645.3044921875,
87
+ "step": 200
88
+ },
89
+ {
90
+ "epoch": 0.06631978571675297,
91
+ "grad_norm": 156.1289520263672,
92
+ "learning_rate": 4.93897868038948e-05,
93
+ "loss": 627.503466796875,
94
+ "step": 220
95
+ },
96
+ {
97
+ "epoch": 0.07234885714554869,
98
+ "grad_norm": 110.90692901611328,
99
+ "learning_rate": 4.927212958721519e-05,
100
+ "loss": 617.85830078125,
101
+ "step": 240
102
+ },
103
+ {
104
+ "epoch": 0.07837792857434442,
105
+ "grad_norm": 175.68605041503906,
106
+ "learning_rate": 4.914427257532838e-05,
107
+ "loss": 604.1169921875,
108
+ "step": 260
109
+ },
110
+ {
111
+ "epoch": 0.08440700000314014,
112
+ "grad_norm": 303.0562438964844,
113
+ "learning_rate": 4.90062694971555e-05,
114
+ "loss": 590.85419921875,
115
+ "step": 280
116
+ },
117
+ {
118
+ "epoch": 0.09043607143193587,
119
+ "grad_norm": 212.9334716796875,
120
+ "learning_rate": 4.885817834526498e-05,
121
+ "loss": 581.892529296875,
122
+ "step": 300
123
+ },
124
+ {
125
+ "epoch": 0.09646514286073159,
126
+ "grad_norm": 433.5686340332031,
127
+ "learning_rate": 4.8700061351502435e-05,
128
+ "loss": 569.907177734375,
129
+ "step": 320
130
+ },
131
+ {
132
+ "epoch": 0.10249421428952732,
133
+ "grad_norm": 293.41888427734375,
134
+ "learning_rate": 4.853198496083921e-05,
135
+ "loss": 556.839599609375,
136
+ "step": 340
137
+ },
138
+ {
139
+ "epoch": 0.10852328571832304,
140
+ "grad_norm": 169.98141479492188,
141
+ "learning_rate": 4.835401980345045e-05,
142
+ "loss": 550.540380859375,
143
+ "step": 360
144
+ },
145
+ {
146
+ "epoch": 0.11455235714711877,
147
+ "grad_norm": 179.2845001220703,
148
+ "learning_rate": 4.816624066503442e-05,
149
+ "loss": 541.644921875,
150
+ "step": 380
151
+ },
152
+ {
153
+ "epoch": 0.12058142857591449,
154
+ "grad_norm": 302.744873046875,
155
+ "learning_rate": 4.796872645538555e-05,
156
+ "loss": 531.0845703125,
157
+ "step": 400
158
+ },
159
+ {
160
+ "epoch": 0.12661050000471022,
161
+ "grad_norm": 353.91253662109375,
162
+ "learning_rate": 4.776156017523444e-05,
163
+ "loss": 519.876318359375,
164
+ "step": 420
165
+ },
166
+ {
167
+ "epoch": 0.13263957143350594,
168
+ "grad_norm": 207.83502197265625,
169
+ "learning_rate": 4.754482888136873e-05,
170
+ "loss": 508.083056640625,
171
+ "step": 440
172
+ },
173
+ {
174
+ "epoch": 0.13866864286230166,
175
+ "grad_norm": 382.00372314453125,
176
+ "learning_rate": 4.7318623650049554e-05,
177
+ "loss": 494.359814453125,
178
+ "step": 460
179
+ },
180
+ {
181
+ "epoch": 0.14469771429109737,
182
+ "grad_norm": 419.9773864746094,
183
+ "learning_rate": 4.7083039538738856e-05,
184
+ "loss": 493.17060546875,
185
+ "step": 480
186
+ },
187
+ {
188
+ "epoch": 0.15072678571989312,
189
+ "grad_norm": 297.3657531738281,
190
+ "learning_rate": 4.6838175546153685e-05,
191
+ "loss": 483.667138671875,
192
+ "step": 500
193
+ },
194
+ {
195
+ "epoch": 0.15675585714868884,
196
+ "grad_norm": 331.5284729003906,
197
+ "learning_rate": 4.658413457066433e-05,
198
+ "loss": 474.58623046875,
199
+ "step": 520
200
+ },
201
+ {
202
+ "epoch": 0.16278492857748456,
203
+ "grad_norm": 500.018310546875,
204
+ "learning_rate": 4.632102336705367e-05,
205
+ "loss": 471.124365234375,
206
+ "step": 540
207
+ },
208
+ {
209
+ "epoch": 0.16881400000628027,
210
+ "grad_norm": 318.73284912109375,
211
+ "learning_rate": 4.604895250165601e-05,
212
+ "loss": 454.199365234375,
213
+ "step": 560
214
+ },
215
+ {
216
+ "epoch": 0.17484307143507602,
217
+ "grad_norm": 339.9811706542969,
218
+ "learning_rate": 4.576803630589407e-05,
219
+ "loss": 450.70244140625,
220
+ "step": 580
221
+ },
222
+ {
223
+ "epoch": 0.18087214286387174,
224
+ "grad_norm": 276.3477783203125,
225
+ "learning_rate": 4.547839282823397e-05,
226
+ "loss": 444.50556640625,
227
+ "step": 600
228
+ },
229
+ {
230
+ "epoch": 0.18690121429266746,
231
+ "grad_norm": 201.15711975097656,
232
+ "learning_rate": 4.518014378457811e-05,
233
+ "loss": 437.161279296875,
234
+ "step": 620
235
+ },
236
+ {
237
+ "epoch": 0.19293028572146317,
238
+ "grad_norm": 249.91278076171875,
239
+ "learning_rate": 4.487341450711683e-05,
240
+ "loss": 423.9720703125,
241
+ "step": 640
242
+ },
243
+ {
244
+ "epoch": 0.1989593571502589,
245
+ "grad_norm": 532.2981567382812,
246
+ "learning_rate": 4.455833389166057e-05,
247
+ "loss": 416.601416015625,
248
+ "step": 660
249
+ },
250
+ {
251
+ "epoch": 0.20498842857905464,
252
+ "grad_norm": 335.37701416015625,
253
+ "learning_rate": 4.423503434347439e-05,
254
+ "loss": 412.8583984375,
255
+ "step": 680
256
+ },
257
+ {
258
+ "epoch": 0.21101750000785036,
259
+ "grad_norm": 566.3150634765625,
260
+ "learning_rate": 4.390365172163775e-05,
261
+ "loss": 405.229150390625,
262
+ "step": 700
263
+ },
264
+ {
265
+ "epoch": 0.21704657143664607,
266
+ "grad_norm": 298.67242431640625,
267
+ "learning_rate": 4.356432528195289e-05,
268
+ "loss": 396.6594482421875,
269
+ "step": 720
270
+ },
271
+ {
272
+ "epoch": 0.2230756428654418,
273
+ "grad_norm": 361.9254150390625,
274
+ "learning_rate": 4.3217197618425865e-05,
275
+ "loss": 392.872412109375,
276
+ "step": 740
277
+ },
278
+ {
279
+ "epoch": 0.22910471429423754,
280
+ "grad_norm": 177.7735595703125,
281
+ "learning_rate": 4.2862414603344716e-05,
282
+ "loss": 386.9242919921875,
283
+ "step": 760
284
+ },
285
+ {
286
+ "epoch": 0.23513378572303326,
287
+ "grad_norm": 247.15731811523438,
288
+ "learning_rate": 4.250012532598007e-05,
289
+ "loss": 381.491650390625,
290
+ "step": 780
291
+ },
292
+ {
293
+ "epoch": 0.24116285715182897,
294
+ "grad_norm": 349.1239013671875,
295
+ "learning_rate": 4.213048202993388e-05,
296
+ "loss": 373.3170654296875,
297
+ "step": 800
298
+ },
299
+ {
300
+ "epoch": 0.2471919285806247,
301
+ "grad_norm": 549.3900146484375,
302
+ "learning_rate": 4.175364004916253e-05,
303
+ "loss": 366.6623291015625,
304
+ "step": 820
305
+ },
306
+ {
307
+ "epoch": 0.25322100000942044,
308
+ "grad_norm": 270.7138366699219,
309
+ "learning_rate": 4.136975774270149e-05,
310
+ "loss": 359.8990478515625,
311
+ "step": 840
312
+ },
313
+ {
314
+ "epoch": 0.25925007143821616,
315
+ "grad_norm": 575.645263671875,
316
+ "learning_rate": 4.0978996428118496e-05,
317
+ "loss": 357.672607421875,
318
+ "step": 860
319
+ },
320
+ {
321
+ "epoch": 0.2652791428670119,
322
+ "grad_norm": 314.4375305175781,
323
+ "learning_rate": 4.058152031372374e-05,
324
+ "loss": 349.75966796875,
325
+ "step": 880
326
+ },
327
+ {
328
+ "epoch": 0.2713082142958076,
329
+ "grad_norm": 293.1739196777344,
330
+ "learning_rate": 4.0177496429565056e-05,
331
+ "loss": 347.3219482421875,
332
+ "step": 900
333
+ },
334
+ {
335
+ "epoch": 0.2773372857246033,
336
+ "grad_norm": 478.0320739746094,
337
+ "learning_rate": 3.9767094557237536e-05,
338
+ "loss": 340.319775390625,
339
+ "step": 920
340
+ },
341
+ {
342
+ "epoch": 0.28336635715339903,
343
+ "grad_norm": 393.462158203125,
344
+ "learning_rate": 3.935048715853672e-05,
345
+ "loss": 337.8953369140625,
346
+ "step": 940
347
+ },
348
+ {
349
+ "epoch": 0.28939542858219475,
350
+ "grad_norm": 428.9572448730469,
351
+ "learning_rate": 3.892784930298561e-05,
352
+ "loss": 329.3065185546875,
353
+ "step": 960
354
+ },
355
+ {
356
+ "epoch": 0.2954245000109905,
357
+ "grad_norm": 347.5663757324219,
358
+ "learning_rate": 3.8499358594265717e-05,
359
+ "loss": 328.1809326171875,
360
+ "step": 980
361
+ },
362
+ {
363
+ "epoch": 0.30145357143978624,
364
+ "grad_norm": 422.7305603027344,
365
+ "learning_rate": 3.806519509558335e-05,
366
+ "loss": 322.203271484375,
367
+ "step": 1000
368
+ },
369
+ {
370
+ "epoch": 0.11327237077267444,
371
+ "grad_norm": 426.9232482910156,
372
+ "learning_rate": 4.9749156515129356e-05,
373
+ "loss": 494.6495768229167,
374
+ "step": 1020
375
+ },
376
+ {
377
+ "epoch": 0.11549339765057001,
378
+ "grad_norm": 472.5828552246094,
379
+ "learning_rate": 4.9739200960461216e-05,
380
+ "loss": 419.9888671875,
381
+ "step": 1040
382
+ },
383
+ {
384
+ "epoch": 0.11771442452846559,
385
+ "grad_norm": 744.5155029296875,
386
+ "learning_rate": 4.972905270727243e-05,
387
+ "loss": 383.80888671875,
388
+ "step": 1060
389
+ },
390
+ {
391
+ "epoch": 0.11993545140636117,
392
+ "grad_norm": 360.4026794433594,
393
+ "learning_rate": 4.9718711834609744e-05,
394
+ "loss": 363.4324462890625,
395
+ "step": 1080
396
+ },
397
+ {
398
+ "epoch": 1.2101354603589356,
399
+ "grad_norm": 277.5152893066406,
400
+ "learning_rate": 2.6398680901162493e-05,
401
+ "loss": 272.5091796875,
402
+ "step": 1100
403
+ },
404
+ {
405
+ "epoch": 1.2321391734855256,
406
+ "grad_norm": 214.7425537109375,
407
+ "learning_rate": 2.5708249369176603e-05,
408
+ "loss": 258.785888671875,
409
+ "step": 1120
410
+ },
411
+ {
412
+ "epoch": 1.2541428866121158,
413
+ "grad_norm": 186.984375,
414
+ "learning_rate": 2.5017276685017228e-05,
415
+ "loss": 239.9595703125,
416
+ "step": 1140
417
+ },
418
+ {
419
+ "epoch": 1.276146599738706,
420
+ "grad_norm": 402.68206787109375,
421
+ "learning_rate": 2.4326290800259233e-05,
422
+ "loss": 227.527099609375,
423
+ "step": 1160
424
+ },
425
+ {
426
+ "epoch": 1.298150312865296,
427
+ "grad_norm": 240.09642028808594,
428
+ "learning_rate": 2.3635819676563654e-05,
429
+ "loss": 217.139501953125,
430
+ "step": 1180
431
+ },
432
+ {
433
+ "epoch": 1.320154025991886,
434
+ "grad_norm": 237.03494262695312,
435
+ "learning_rate": 2.2946390882278e-05,
436
+ "loss": 206.9893310546875,
437
+ "step": 1200
438
+ },
439
+ {
440
+ "epoch": 1.3421577391184762,
441
+ "grad_norm": 157.825439453125,
442
+ "learning_rate": 2.225853118933701e-05,
443
+ "loss": 202.62813720703124,
444
+ "step": 1220
445
+ },
446
+ {
447
+ "epoch": 1.3641614522450665,
448
+ "grad_norm": 254.6893310546875,
449
+ "learning_rate": 2.1572766170772005e-05,
450
+ "loss": 196.37005615234375,
451
+ "step": 1240
452
+ },
453
+ {
454
+ "epoch": 1.3861651653716565,
455
+ "grad_norm": 282.9259338378906,
456
+ "learning_rate": 2.0889619799136222e-05,
457
+ "loss": 192.61761474609375,
458
+ "step": 1260
459
+ },
460
+ {
461
+ "epoch": 1.4081688784982465,
462
+ "grad_norm": 330.974853515625,
463
+ "learning_rate": 2.020961404615305e-05,
464
+ "loss": 188.28448486328125,
465
+ "step": 1280
466
+ },
467
+ {
468
+ "epoch": 1.4301725916248367,
469
+ "grad_norm": 251.41375732421875,
470
+ "learning_rate": 1.9533268483893027e-05,
471
+ "loss": 185.378076171875,
472
+ "step": 1300
473
+ },
474
+ {
475
+ "epoch": 1.452176304751427,
476
+ "grad_norm": 180.33474731445312,
477
+ "learning_rate": 1.8861099887784382e-05,
478
+ "loss": 180.15513916015624,
479
+ "step": 1320
480
+ },
481
+ {
482
+ "epoch": 1.474180017878017,
483
+ "grad_norm": 216.15928649902344,
484
+ "learning_rate": 1.8193621841760332e-05,
485
+ "loss": 179.8790771484375,
486
+ "step": 1340
487
+ },
488
+ {
489
+ "epoch": 1.496183731004607,
490
+ "grad_norm": 339.0757751464844,
491
+ "learning_rate": 1.753134434584501e-05,
492
+ "loss": 174.19464111328125,
493
+ "step": 1360
494
+ },
495
+ {
496
+ "epoch": 1.518187444131197,
497
+ "grad_norm": 287.1394958496094,
498
+ "learning_rate": 1.6874773426477622e-05,
499
+ "loss": 171.3724609375,
500
+ "step": 1380
501
+ },
502
+ {
503
+ "epoch": 1.5401911572577873,
504
+ "grad_norm": 283.57135009765625,
505
+ "learning_rate": 1.6224410749872814e-05,
506
+ "loss": 168.08134765625,
507
+ "step": 1400
508
+ },
509
+ {
510
+ "epoch": 1.5621948703843773,
511
+ "grad_norm": 324.07354736328125,
512
+ "learning_rate": 1.558075323871251e-05,
513
+ "loss": 164.44891357421875,
514
+ "step": 1420
515
+ },
516
+ {
517
+ "epoch": 1.5841985835109673,
518
+ "grad_norm": 194.91957092285156,
519
+ "learning_rate": 1.4944292692462108e-05,
520
+ "loss": 164.2068603515625,
521
+ "step": 1440
522
+ },
523
+ {
524
+ "epoch": 1.6062022966375575,
525
+ "grad_norm": 197.53305053710938,
526
+ "learning_rate": 1.4315515411601261e-05,
527
+ "loss": 161.4634521484375,
528
+ "step": 1460
529
+ },
530
+ {
531
+ "epoch": 1.6282060097641478,
532
+ "grad_norm": 212.55104064941406,
533
+ "learning_rate": 1.369490182605619e-05,
534
+ "loss": 157.233154296875,
535
+ "step": 1480
536
+ },
537
+ {
538
+ "epoch": 1.6502097228907378,
539
+ "grad_norm": 225.7006378173828,
540
+ "learning_rate": 1.3082926128117532e-05,
541
+ "loss": 156.670556640625,
542
+ "step": 1500
543
+ },
544
+ {
545
+ "epoch": 1.672213436017328,
546
+ "grad_norm": 138.63108825683594,
547
+ "learning_rate": 1.2480055910124169e-05,
548
+ "loss": 153.24981689453125,
549
+ "step": 1520
550
+ },
551
+ {
552
+ "epoch": 1.6942171491439182,
553
+ "grad_norm": 129.08839416503906,
554
+ "learning_rate": 1.1886751807189944e-05,
555
+ "loss": 151.2205810546875,
556
+ "step": 1540
557
+ },
558
+ {
559
+ "epoch": 1.7162208622705082,
560
+ "grad_norm": 173.00640869140625,
561
+ "learning_rate": 1.1303467145246107e-05,
562
+ "loss": 150.086328125,
563
+ "step": 1560
564
+ },
565
+ {
566
+ "epoch": 1.7382245753970982,
567
+ "grad_norm": 201.9690704345703,
568
+ "learning_rate": 1.073064759466853e-05,
569
+ "loss": 149.23858642578125,
570
+ "step": 1580
571
+ },
572
+ {
573
+ "epoch": 1.7602282885236884,
574
+ "grad_norm": 195.4684295654297,
575
+ "learning_rate": 1.016873082975428e-05,
576
+ "loss": 146.17708740234374,
577
+ "step": 1600
578
+ },
579
+ {
580
+ "epoch": 1.7822320016502786,
581
+ "grad_norm": 129.23374938964844,
582
+ "learning_rate": 9.618146194307797e-06,
583
+ "loss": 144.872607421875,
584
+ "step": 1620
585
+ },
586
+ {
587
+ "epoch": 1.8042357147768686,
588
+ "grad_norm": 163.37380981445312,
589
+ "learning_rate": 9.079314373592102e-06,
590
+ "loss": 142.88634033203124,
591
+ "step": 1640
592
+ }
593
+ ],
594
+ "logging_steps": 20,
595
+ "max_steps": 2273,
596
+ "num_input_tokens_seen": 0,
597
+ "num_train_epochs": 3,
598
+ "save_steps": 1000000000,
599
+ "stateful_callbacks": {
600
+ "TrainerControl": {
601
+ "args": {
602
+ "should_epoch_stop": false,
603
+ "should_evaluate": false,
604
+ "should_log": false,
605
+ "should_save": true,
606
+ "should_training_stop": false
607
+ },
608
+ "attributes": {}
609
+ }
610
+ },
611
+ "total_flos": 1.192841259024384e+16,
612
+ "train_batch_size": 1,
613
+ "trial_name": null,
614
+ "trial_params": null
615
+ }