aixk commited on
Commit
4e4741d
·
verified ·
1 Parent(s): cb78754

Delete folder checkpoint-1200 with huggingface_hub

Browse files
checkpoint-1200/config.json DELETED
@@ -1,20 +0,0 @@
1
- {
2
- "architectures": [
3
- "FastPlus125mForCausalLM"
4
- ],
5
- "dtype": "float32",
6
- "hidden_size": 1024,
7
- "hyperbolic_dim": 16,
8
- "initializer_range": 0.02,
9
- "intermediate_size": 3072,
10
- "kd_alpha": 0.4,
11
- "kd_temperature": 2.5,
12
- "max_position_embeddings": 512,
13
- "model_type": "fastplus_04b",
14
- "num_attention_heads": 16,
15
- "num_hidden_layers": 27,
16
- "tie_word_embeddings": false,
17
- "transformers_version": "5.12.1",
18
- "use_cache": false,
19
- "vocab_size": 32704
20
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
checkpoint-1200/generation_config.json DELETED
@@ -1,6 +0,0 @@
1
- {
2
- "_from_model_config": true,
3
- "output_attentions": false,
4
- "output_hidden_states": false,
5
- "transformers_version": "5.12.1"
6
- }
 
 
 
 
 
 
 
checkpoint-1200/model.safetensors DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:d3a5abd43f7c6896c08ba67f3200b946b168e22c8637dc41215c8b29cc6c6b79
3
- size 1620281808
 
 
 
 
checkpoint-1200/optimizer.pt DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:2433b899c96ba66e768d15e3be19577ed3e5443c810bdbe81ea6c3dc2d97504b
3
- size 3228206304
 
 
 
 
checkpoint-1200/rng_state.pth DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:d296a90316e8c4030049393ea2e573b31f38609316fd447e7bb5b759f5889dba
3
- size 14645
 
 
 
 
checkpoint-1200/scaler.pt DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:92d320cff7f0fdb796f0f784a766415b7b0232061da2d8872ebb2e82b8327da9
3
- size 1383
 
 
 
 
checkpoint-1200/scheduler.pt DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:0b4606493580f4edfe9d1d3b35374662cdf7a2d6ae18795bda9407c779294bd3
3
- size 14457
 
 
 
 
checkpoint-1200/tokenizer.json DELETED
The diff for this file is too large to render. See raw diff
 
checkpoint-1200/tokenizer_config.json DELETED
@@ -1,15 +0,0 @@
1
- {
2
- "backend": "tokenizers",
3
- "bos_token": "<s>",
4
- "eos_token": "</s>",
5
- "extra_special_tokens": [
6
- "<|user|>",
7
- "<|assistant|>"
8
- ],
9
- "is_local": false,
10
- "local_files_only": false,
11
- "model_max_length": 1000000000000000019884624838656,
12
- "pad_token": "<pad>",
13
- "tokenizer_class": "TokenizersBackend",
14
- "unk_token": "<unk>"
15
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
checkpoint-1200/trainer_state.json DELETED
@@ -1,874 +0,0 @@
1
- {
2
- "best_global_step": null,
3
- "best_metric": null,
4
- "best_model_checkpoint": null,
5
- "epoch": 0.06782247467254461,
6
- "eval_steps": 500,
7
- "global_step": 1200,
8
- "is_hyper_param_search": false,
9
- "is_local_process_zero": true,
10
- "is_world_process_zero": true,
11
- "log_history": [
12
- {
13
- "epoch": 0.0005651872889378718,
14
- "grad_norm": 388.92431640625,
15
- "learning_rate": 4.0000000000000003e-07,
16
- "loss": 7.4628,
17
- "step": 10
18
- },
19
- {
20
- "epoch": 0.0011303745778757435,
21
- "grad_norm": 418.426025390625,
22
- "learning_rate": 1.0666666666666667e-06,
23
- "loss": 7.4553,
24
- "step": 20
25
- },
26
- {
27
- "epoch": 0.0016955618668136154,
28
- "grad_norm": 329.3276672363281,
29
- "learning_rate": 1.7333333333333334e-06,
30
- "loss": 7.478,
31
- "step": 30
32
- },
33
- {
34
- "epoch": 0.002260749155751487,
35
- "grad_norm": 294.26776123046875,
36
- "learning_rate": 2.4000000000000003e-06,
37
- "loss": 7.4234,
38
- "step": 40
39
- },
40
- {
41
- "epoch": 0.002825936444689359,
42
- "grad_norm": 233.39239501953125,
43
- "learning_rate": 3.066666666666667e-06,
44
- "loss": 7.4139,
45
- "step": 50
46
- },
47
- {
48
- "epoch": 0.003391123733627231,
49
- "grad_norm": 165.7160186767578,
50
- "learning_rate": 3.7333333333333337e-06,
51
- "loss": 7.4218,
52
- "step": 60
53
- },
54
- {
55
- "epoch": 0.003956311022565102,
56
- "grad_norm": 85.9063949584961,
57
- "learning_rate": 4.4e-06,
58
- "loss": 7.4302,
59
- "step": 70
60
- },
61
- {
62
- "epoch": 0.004521498311502974,
63
- "grad_norm": 49.569210052490234,
64
- "learning_rate": 5.066666666666667e-06,
65
- "loss": 7.4101,
66
- "step": 80
67
- },
68
- {
69
- "epoch": 0.005086685600440846,
70
- "grad_norm": 32.944725036621094,
71
- "learning_rate": 5.733333333333333e-06,
72
- "loss": 7.3716,
73
- "step": 90
74
- },
75
- {
76
- "epoch": 0.005651872889378718,
77
- "grad_norm": 20.296159744262695,
78
- "learning_rate": 6.4000000000000006e-06,
79
- "loss": 7.3607,
80
- "step": 100
81
- },
82
- {
83
- "epoch": 0.00621706017831659,
84
- "grad_norm": 11.820279121398926,
85
- "learning_rate": 7.066666666666667e-06,
86
- "loss": 7.3988,
87
- "step": 110
88
- },
89
- {
90
- "epoch": 0.006782247467254462,
91
- "grad_norm": 11.601971626281738,
92
- "learning_rate": 7.733333333333334e-06,
93
- "loss": 7.4044,
94
- "step": 120
95
- },
96
- {
97
- "epoch": 0.0073474347561923335,
98
- "grad_norm": 6.7178144454956055,
99
- "learning_rate": 8.400000000000001e-06,
100
- "loss": 7.3488,
101
- "step": 130
102
- },
103
- {
104
- "epoch": 0.007912622045130204,
105
- "grad_norm": 6.530295372009277,
106
- "learning_rate": 9.066666666666667e-06,
107
- "loss": 7.3774,
108
- "step": 140
109
- },
110
- {
111
- "epoch": 0.008477809334068076,
112
- "grad_norm": 8.032118797302246,
113
- "learning_rate": 9.733333333333334e-06,
114
- "loss": 7.3965,
115
- "step": 150
116
- },
117
- {
118
- "epoch": 0.009042996623005948,
119
- "grad_norm": 8.5325927734375,
120
- "learning_rate": 1.04e-05,
121
- "loss": 7.3754,
122
- "step": 160
123
- },
124
- {
125
- "epoch": 0.00960818391194382,
126
- "grad_norm": 11.115029335021973,
127
- "learning_rate": 1.1066666666666667e-05,
128
- "loss": 7.3537,
129
- "step": 170
130
- },
131
- {
132
- "epoch": 0.010173371200881692,
133
- "grad_norm": 5.508138656616211,
134
- "learning_rate": 1.1733333333333333e-05,
135
- "loss": 7.3833,
136
- "step": 180
137
- },
138
- {
139
- "epoch": 0.010738558489819564,
140
- "grad_norm": 6.041222095489502,
141
- "learning_rate": 1.24e-05,
142
- "loss": 7.3501,
143
- "step": 190
144
- },
145
- {
146
- "epoch": 0.011303745778757436,
147
- "grad_norm": 6.466294765472412,
148
- "learning_rate": 1.3066666666666666e-05,
149
- "loss": 7.3538,
150
- "step": 200
151
- },
152
- {
153
- "epoch": 0.011868933067695308,
154
- "grad_norm": 6.852397918701172,
155
- "learning_rate": 1.3733333333333335e-05,
156
- "loss": 7.3481,
157
- "step": 210
158
- },
159
- {
160
- "epoch": 0.01243412035663318,
161
- "grad_norm": 7.736501693725586,
162
- "learning_rate": 1.44e-05,
163
- "loss": 7.3431,
164
- "step": 220
165
- },
166
- {
167
- "epoch": 0.012999307645571051,
168
- "grad_norm": 8.353436470031738,
169
- "learning_rate": 1.5066666666666668e-05,
170
- "loss": 7.3286,
171
- "step": 230
172
- },
173
- {
174
- "epoch": 0.013564494934508923,
175
- "grad_norm": 4.6984333992004395,
176
- "learning_rate": 1.5733333333333334e-05,
177
- "loss": 7.3275,
178
- "step": 240
179
- },
180
- {
181
- "epoch": 0.014129682223446795,
182
- "grad_norm": 4.275951385498047,
183
- "learning_rate": 1.6400000000000002e-05,
184
- "loss": 7.3282,
185
- "step": 250
186
- },
187
- {
188
- "epoch": 0.014694869512384667,
189
- "grad_norm": 6.811357498168945,
190
- "learning_rate": 1.7066666666666667e-05,
191
- "loss": 7.3249,
192
- "step": 260
193
- },
194
- {
195
- "epoch": 0.015260056801322539,
196
- "grad_norm": 8.525443077087402,
197
- "learning_rate": 1.7733333333333335e-05,
198
- "loss": 7.3264,
199
- "step": 270
200
- },
201
- {
202
- "epoch": 0.01582524409026041,
203
- "grad_norm": 14.670880317687988,
204
- "learning_rate": 1.84e-05,
205
- "loss": 7.3251,
206
- "step": 280
207
- },
208
- {
209
- "epoch": 0.01639043137919828,
210
- "grad_norm": 16.190635681152344,
211
- "learning_rate": 1.9066666666666668e-05,
212
- "loss": 7.3187,
213
- "step": 290
214
- },
215
- {
216
- "epoch": 0.016955618668136153,
217
- "grad_norm": 4.505331039428711,
218
- "learning_rate": 1.9733333333333333e-05,
219
- "loss": 7.3208,
220
- "step": 300
221
- },
222
- {
223
- "epoch": 0.017520805957074025,
224
- "grad_norm": 6.737983226776123,
225
- "learning_rate": 2.04e-05,
226
- "loss": 7.3014,
227
- "step": 310
228
- },
229
- {
230
- "epoch": 0.018085993246011896,
231
- "grad_norm": 7.480038642883301,
232
- "learning_rate": 2.106666666666667e-05,
233
- "loss": 7.3089,
234
- "step": 320
235
- },
236
- {
237
- "epoch": 0.01865118053494977,
238
- "grad_norm": 5.7037200927734375,
239
- "learning_rate": 2.1733333333333334e-05,
240
- "loss": 7.3068,
241
- "step": 330
242
- },
243
- {
244
- "epoch": 0.01921636782388764,
245
- "grad_norm": 6.547840595245361,
246
- "learning_rate": 2.2400000000000002e-05,
247
- "loss": 7.3128,
248
- "step": 340
249
- },
250
- {
251
- "epoch": 0.019781555112825512,
252
- "grad_norm": 10.3425874710083,
253
- "learning_rate": 2.3066666666666667e-05,
254
- "loss": 7.3043,
255
- "step": 350
256
- },
257
- {
258
- "epoch": 0.020346742401763384,
259
- "grad_norm": 9.089709281921387,
260
- "learning_rate": 2.3733333333333335e-05,
261
- "loss": 7.3327,
262
- "step": 360
263
- },
264
- {
265
- "epoch": 0.020911929690701256,
266
- "grad_norm": 5.359627723693848,
267
- "learning_rate": 2.44e-05,
268
- "loss": 7.3,
269
- "step": 370
270
- },
271
- {
272
- "epoch": 0.021477116979639128,
273
- "grad_norm": 10.904877662658691,
274
- "learning_rate": 2.5066666666666665e-05,
275
- "loss": 7.316,
276
- "step": 380
277
- },
278
- {
279
- "epoch": 0.022042304268577,
280
- "grad_norm": 14.221054077148438,
281
- "learning_rate": 2.5733333333333337e-05,
282
- "loss": 7.3174,
283
- "step": 390
284
- },
285
- {
286
- "epoch": 0.02260749155751487,
287
- "grad_norm": 7.274070739746094,
288
- "learning_rate": 2.64e-05,
289
- "loss": 7.2912,
290
- "step": 400
291
- },
292
- {
293
- "epoch": 0.023172678846452743,
294
- "grad_norm": 5.9511799812316895,
295
- "learning_rate": 2.706666666666667e-05,
296
- "loss": 7.2899,
297
- "step": 410
298
- },
299
- {
300
- "epoch": 0.023737866135390615,
301
- "grad_norm": 6.152066707611084,
302
- "learning_rate": 2.7733333333333334e-05,
303
- "loss": 7.3028,
304
- "step": 420
305
- },
306
- {
307
- "epoch": 0.024303053424328487,
308
- "grad_norm": 6.566978931427002,
309
- "learning_rate": 2.84e-05,
310
- "loss": 7.2696,
311
- "step": 430
312
- },
313
- {
314
- "epoch": 0.02486824071326636,
315
- "grad_norm": 9.3006010055542,
316
- "learning_rate": 2.906666666666667e-05,
317
- "loss": 7.2893,
318
- "step": 440
319
- },
320
- {
321
- "epoch": 0.02543342800220423,
322
- "grad_norm": 9.530643463134766,
323
- "learning_rate": 2.9733333333333336e-05,
324
- "loss": 7.2777,
325
- "step": 450
326
- },
327
- {
328
- "epoch": 0.025998615291142103,
329
- "grad_norm": 9.63436508178711,
330
- "learning_rate": 3.04e-05,
331
- "loss": 7.2978,
332
- "step": 460
333
- },
334
- {
335
- "epoch": 0.026563802580079975,
336
- "grad_norm": 9.731348991394043,
337
- "learning_rate": 3.1066666666666665e-05,
338
- "loss": 7.2755,
339
- "step": 470
340
- },
341
- {
342
- "epoch": 0.027128989869017846,
343
- "grad_norm": 30.556720733642578,
344
- "learning_rate": 3.173333333333334e-05,
345
- "loss": 7.2621,
346
- "step": 480
347
- },
348
- {
349
- "epoch": 0.02769417715795572,
350
- "grad_norm": 8.977019309997559,
351
- "learning_rate": 3.24e-05,
352
- "loss": 7.2778,
353
- "step": 490
354
- },
355
- {
356
- "epoch": 0.02825936444689359,
357
- "grad_norm": 7.0203657150268555,
358
- "learning_rate": 3.3066666666666666e-05,
359
- "loss": 7.2618,
360
- "step": 500
361
- },
362
- {
363
- "epoch": 0.028824551735831462,
364
- "grad_norm": 11.852314949035645,
365
- "learning_rate": 3.373333333333333e-05,
366
- "loss": 7.2642,
367
- "step": 510
368
- },
369
- {
370
- "epoch": 0.029389739024769334,
371
- "grad_norm": 14.17752742767334,
372
- "learning_rate": 3.4399999999999996e-05,
373
- "loss": 7.2596,
374
- "step": 520
375
- },
376
- {
377
- "epoch": 0.029954926313707206,
378
- "grad_norm": 11.621777534484863,
379
- "learning_rate": 3.506666666666667e-05,
380
- "loss": 7.2946,
381
- "step": 530
382
- },
383
- {
384
- "epoch": 0.030520113602645078,
385
- "grad_norm": 7.2268242835998535,
386
- "learning_rate": 3.573333333333333e-05,
387
- "loss": 7.2602,
388
- "step": 540
389
- },
390
- {
391
- "epoch": 0.03108530089158295,
392
- "grad_norm": 10.392822265625,
393
- "learning_rate": 3.6400000000000004e-05,
394
- "loss": 7.2526,
395
- "step": 550
396
- },
397
- {
398
- "epoch": 0.03165048818052082,
399
- "grad_norm": 18.579120635986328,
400
- "learning_rate": 3.706666666666667e-05,
401
- "loss": 7.2719,
402
- "step": 560
403
- },
404
- {
405
- "epoch": 0.03221567546945869,
406
- "grad_norm": 6.2978973388671875,
407
- "learning_rate": 3.773333333333334e-05,
408
- "loss": 7.2588,
409
- "step": 570
410
- },
411
- {
412
- "epoch": 0.03278086275839656,
413
- "grad_norm": 11.561802864074707,
414
- "learning_rate": 3.8400000000000005e-05,
415
- "loss": 7.2588,
416
- "step": 580
417
- },
418
- {
419
- "epoch": 0.03334605004733444,
420
- "grad_norm": 5.9244866371154785,
421
- "learning_rate": 3.906666666666667e-05,
422
- "loss": 7.2471,
423
- "step": 590
424
- },
425
- {
426
- "epoch": 0.033911237336272305,
427
- "grad_norm": 9.905623435974121,
428
- "learning_rate": 3.9733333333333335e-05,
429
- "loss": 7.242,
430
- "step": 600
431
- },
432
- {
433
- "epoch": 0.03447642462521018,
434
- "grad_norm": 6.15846586227417,
435
- "learning_rate": 4.0400000000000006e-05,
436
- "loss": 7.2515,
437
- "step": 610
438
- },
439
- {
440
- "epoch": 0.03504161191414805,
441
- "grad_norm": 6.017207622528076,
442
- "learning_rate": 4.106666666666667e-05,
443
- "loss": 7.232,
444
- "step": 620
445
- },
446
- {
447
- "epoch": 0.035606799203085925,
448
- "grad_norm": 10.852577209472656,
449
- "learning_rate": 4.1733333333333336e-05,
450
- "loss": 7.2463,
451
- "step": 630
452
- },
453
- {
454
- "epoch": 0.03617198649202379,
455
- "grad_norm": 11.278721809387207,
456
- "learning_rate": 4.24e-05,
457
- "loss": 7.2405,
458
- "step": 640
459
- },
460
- {
461
- "epoch": 0.03673717378096167,
462
- "grad_norm": 10.21061897277832,
463
- "learning_rate": 4.3066666666666665e-05,
464
- "loss": 7.2327,
465
- "step": 650
466
- },
467
- {
468
- "epoch": 0.03730236106989954,
469
- "grad_norm": 9.478323936462402,
470
- "learning_rate": 4.373333333333334e-05,
471
- "loss": 7.2375,
472
- "step": 660
473
- },
474
- {
475
- "epoch": 0.03786754835883741,
476
- "grad_norm": 6.584554672241211,
477
- "learning_rate": 4.44e-05,
478
- "loss": 7.2226,
479
- "step": 670
480
- },
481
- {
482
- "epoch": 0.03843273564777528,
483
- "grad_norm": 6.267460823059082,
484
- "learning_rate": 4.5066666666666667e-05,
485
- "loss": 7.2279,
486
- "step": 680
487
- },
488
- {
489
- "epoch": 0.038997922936713156,
490
- "grad_norm": 7.223781108856201,
491
- "learning_rate": 4.573333333333333e-05,
492
- "loss": 7.2345,
493
- "step": 690
494
- },
495
- {
496
- "epoch": 0.039563110225651024,
497
- "grad_norm": 9.295626640319824,
498
- "learning_rate": 4.64e-05,
499
- "loss": 7.252,
500
- "step": 700
501
- },
502
- {
503
- "epoch": 0.0401282975145889,
504
- "grad_norm": 6.802502155303955,
505
- "learning_rate": 4.706666666666667e-05,
506
- "loss": 7.2322,
507
- "step": 710
508
- },
509
- {
510
- "epoch": 0.04069348480352677,
511
- "grad_norm": 7.009547710418701,
512
- "learning_rate": 4.773333333333333e-05,
513
- "loss": 7.2359,
514
- "step": 720
515
- },
516
- {
517
- "epoch": 0.04125867209246464,
518
- "grad_norm": 8.277494430541992,
519
- "learning_rate": 4.8400000000000004e-05,
520
- "loss": 7.2127,
521
- "step": 730
522
- },
523
- {
524
- "epoch": 0.04182385938140251,
525
- "grad_norm": 8.701301574707031,
526
- "learning_rate": 4.906666666666667e-05,
527
- "loss": 7.2076,
528
- "step": 740
529
- },
530
- {
531
- "epoch": 0.04238904667034039,
532
- "grad_norm": 8.432950973510742,
533
- "learning_rate": 4.973333333333334e-05,
534
- "loss": 7.2131,
535
- "step": 750
536
- },
537
- {
538
- "epoch": 0.042954233959278255,
539
- "grad_norm": 5.229855060577393,
540
- "learning_rate": 5.0400000000000005e-05,
541
- "loss": 7.2284,
542
- "step": 760
543
- },
544
- {
545
- "epoch": 0.04351942124821613,
546
- "grad_norm": 6.175259113311768,
547
- "learning_rate": 5.106666666666668e-05,
548
- "loss": 7.204,
549
- "step": 770
550
- },
551
- {
552
- "epoch": 0.044084608537154,
553
- "grad_norm": 4.937206268310547,
554
- "learning_rate": 5.1733333333333335e-05,
555
- "loss": 7.1995,
556
- "step": 780
557
- },
558
- {
559
- "epoch": 0.044649795826091875,
560
- "grad_norm": 6.159058094024658,
561
- "learning_rate": 5.2400000000000007e-05,
562
- "loss": 7.2131,
563
- "step": 790
564
- },
565
- {
566
- "epoch": 0.04521498311502974,
567
- "grad_norm": 8.138545036315918,
568
- "learning_rate": 5.3066666666666665e-05,
569
- "loss": 7.1933,
570
- "step": 800
571
- },
572
- {
573
- "epoch": 0.04578017040396761,
574
- "grad_norm": 7.782288074493408,
575
- "learning_rate": 5.3733333333333336e-05,
576
- "loss": 7.204,
577
- "step": 810
578
- },
579
- {
580
- "epoch": 0.04634535769290549,
581
- "grad_norm": 5.030788421630859,
582
- "learning_rate": 5.440000000000001e-05,
583
- "loss": 7.211,
584
- "step": 820
585
- },
586
- {
587
- "epoch": 0.046910544981843355,
588
- "grad_norm": 5.012758731842041,
589
- "learning_rate": 5.5066666666666666e-05,
590
- "loss": 7.2194,
591
- "step": 830
592
- },
593
- {
594
- "epoch": 0.04747573227078123,
595
- "grad_norm": 8.302517890930176,
596
- "learning_rate": 5.573333333333334e-05,
597
- "loss": 7.2009,
598
- "step": 840
599
- },
600
- {
601
- "epoch": 0.0480409195597191,
602
- "grad_norm": 7.122504711151123,
603
- "learning_rate": 5.6399999999999995e-05,
604
- "loss": 7.206,
605
- "step": 850
606
- },
607
- {
608
- "epoch": 0.048606106848656974,
609
- "grad_norm": 7.099667549133301,
610
- "learning_rate": 5.706666666666667e-05,
611
- "loss": 7.2067,
612
- "step": 860
613
- },
614
- {
615
- "epoch": 0.04917129413759484,
616
- "grad_norm": 7.823317527770996,
617
- "learning_rate": 5.773333333333334e-05,
618
- "loss": 7.1947,
619
- "step": 870
620
- },
621
- {
622
- "epoch": 0.04973648142653272,
623
- "grad_norm": 6.886421203613281,
624
- "learning_rate": 5.8399999999999997e-05,
625
- "loss": 7.197,
626
- "step": 880
627
- },
628
- {
629
- "epoch": 0.050301668715470586,
630
- "grad_norm": 5.232386589050293,
631
- "learning_rate": 5.906666666666667e-05,
632
- "loss": 7.198,
633
- "step": 890
634
- },
635
- {
636
- "epoch": 0.05086685600440846,
637
- "grad_norm": 9.155698776245117,
638
- "learning_rate": 5.973333333333334e-05,
639
- "loss": 7.2049,
640
- "step": 900
641
- },
642
- {
643
- "epoch": 0.05143204329334633,
644
- "grad_norm": 7.519978046417236,
645
- "learning_rate": 6.04e-05,
646
- "loss": 7.1854,
647
- "step": 910
648
- },
649
- {
650
- "epoch": 0.051997230582284205,
651
- "grad_norm": 6.731189250946045,
652
- "learning_rate": 6.106666666666667e-05,
653
- "loss": 7.1759,
654
- "step": 920
655
- },
656
- {
657
- "epoch": 0.052562417871222074,
658
- "grad_norm": 6.922330856323242,
659
- "learning_rate": 6.173333333333333e-05,
660
- "loss": 7.1616,
661
- "step": 930
662
- },
663
- {
664
- "epoch": 0.05312760516015995,
665
- "grad_norm": 10.618990898132324,
666
- "learning_rate": 6.24e-05,
667
- "loss": 7.1744,
668
- "step": 940
669
- },
670
- {
671
- "epoch": 0.05369279244909782,
672
- "grad_norm": 4.870369911193848,
673
- "learning_rate": 6.306666666666668e-05,
674
- "loss": 7.1829,
675
- "step": 950
676
- },
677
- {
678
- "epoch": 0.05425797973803569,
679
- "grad_norm": 5.137252330780029,
680
- "learning_rate": 6.373333333333333e-05,
681
- "loss": 7.1839,
682
- "step": 960
683
- },
684
- {
685
- "epoch": 0.05482316702697356,
686
- "grad_norm": 6.411045074462891,
687
- "learning_rate": 6.440000000000001e-05,
688
- "loss": 7.1685,
689
- "step": 970
690
- },
691
- {
692
- "epoch": 0.05538835431591144,
693
- "grad_norm": 4.805776119232178,
694
- "learning_rate": 6.506666666666666e-05,
695
- "loss": 7.1714,
696
- "step": 980
697
- },
698
- {
699
- "epoch": 0.055953541604849305,
700
- "grad_norm": 9.826089859008789,
701
- "learning_rate": 6.573333333333334e-05,
702
- "loss": 7.1625,
703
- "step": 990
704
- },
705
- {
706
- "epoch": 0.05651872889378718,
707
- "grad_norm": 7.1525044441223145,
708
- "learning_rate": 6.64e-05,
709
- "loss": 7.1745,
710
- "step": 1000
711
- },
712
- {
713
- "epoch": 0.05708391618272505,
714
- "grad_norm": 4.528572082519531,
715
- "learning_rate": 6.706666666666667e-05,
716
- "loss": 7.1723,
717
- "step": 1010
718
- },
719
- {
720
- "epoch": 0.057649103471662924,
721
- "grad_norm": 5.2590107917785645,
722
- "learning_rate": 6.773333333333333e-05,
723
- "loss": 7.1736,
724
- "step": 1020
725
- },
726
- {
727
- "epoch": 0.05821429076060079,
728
- "grad_norm": 9.157952308654785,
729
- "learning_rate": 6.840000000000001e-05,
730
- "loss": 7.1693,
731
- "step": 1030
732
- },
733
- {
734
- "epoch": 0.05877947804953867,
735
- "grad_norm": 6.091181755065918,
736
- "learning_rate": 6.906666666666667e-05,
737
- "loss": 7.1629,
738
- "step": 1040
739
- },
740
- {
741
- "epoch": 0.059344665338476536,
742
- "grad_norm": 6.99681282043457,
743
- "learning_rate": 6.973333333333334e-05,
744
- "loss": 7.1352,
745
- "step": 1050
746
- },
747
- {
748
- "epoch": 0.05990985262741441,
749
- "grad_norm": 5.714032173156738,
750
- "learning_rate": 7.04e-05,
751
- "loss": 7.1567,
752
- "step": 1060
753
- },
754
- {
755
- "epoch": 0.06047503991635228,
756
- "grad_norm": 5.471667766571045,
757
- "learning_rate": 7.106666666666667e-05,
758
- "loss": 7.1503,
759
- "step": 1070
760
- },
761
- {
762
- "epoch": 0.061040227205290155,
763
- "grad_norm": 6.660628795623779,
764
- "learning_rate": 7.173333333333335e-05,
765
- "loss": 7.1663,
766
- "step": 1080
767
- },
768
- {
769
- "epoch": 0.061605414494228024,
770
- "grad_norm": 4.059611797332764,
771
- "learning_rate": 7.24e-05,
772
- "loss": 7.1389,
773
- "step": 1090
774
- },
775
- {
776
- "epoch": 0.0621706017831659,
777
- "grad_norm": 6.8347859382629395,
778
- "learning_rate": 7.306666666666668e-05,
779
- "loss": 7.1705,
780
- "step": 1100
781
- },
782
- {
783
- "epoch": 0.06273578907210377,
784
- "grad_norm": 5.438681602478027,
785
- "learning_rate": 7.373333333333333e-05,
786
- "loss": 7.1423,
787
- "step": 1110
788
- },
789
- {
790
- "epoch": 0.06330097636104164,
791
- "grad_norm": 7.186290740966797,
792
- "learning_rate": 7.44e-05,
793
- "loss": 7.1394,
794
- "step": 1120
795
- },
796
- {
797
- "epoch": 0.06386616364997952,
798
- "grad_norm": 5.357133865356445,
799
- "learning_rate": 7.506666666666667e-05,
800
- "loss": 7.132,
801
- "step": 1130
802
- },
803
- {
804
- "epoch": 0.06443135093891739,
805
- "grad_norm": 5.482779026031494,
806
- "learning_rate": 7.573333333333334e-05,
807
- "loss": 7.1614,
808
- "step": 1140
809
- },
810
- {
811
- "epoch": 0.06499653822785526,
812
- "grad_norm": 8.654241561889648,
813
- "learning_rate": 7.64e-05,
814
- "loss": 7.1276,
815
- "step": 1150
816
- },
817
- {
818
- "epoch": 0.06556172551679312,
819
- "grad_norm": 6.142782688140869,
820
- "learning_rate": 7.706666666666668e-05,
821
- "loss": 7.1203,
822
- "step": 1160
823
- },
824
- {
825
- "epoch": 0.066126912805731,
826
- "grad_norm": 5.202004432678223,
827
- "learning_rate": 7.773333333333333e-05,
828
- "loss": 7.1138,
829
- "step": 1170
830
- },
831
- {
832
- "epoch": 0.06669210009466887,
833
- "grad_norm": 4.9742302894592285,
834
- "learning_rate": 7.840000000000001e-05,
835
- "loss": 7.1371,
836
- "step": 1180
837
- },
838
- {
839
- "epoch": 0.06725728738360674,
840
- "grad_norm": 7.297823905944824,
841
- "learning_rate": 7.906666666666667e-05,
842
- "loss": 7.1047,
843
- "step": 1190
844
- },
845
- {
846
- "epoch": 0.06782247467254461,
847
- "grad_norm": 3.9097559452056885,
848
- "learning_rate": 7.973333333333334e-05,
849
- "loss": 7.1234,
850
- "step": 1200
851
- }
852
- ],
853
- "logging_steps": 10,
854
- "max_steps": 19464,
855
- "num_input_tokens_seen": 0,
856
- "num_train_epochs": 2,
857
- "save_steps": 200,
858
- "stateful_callbacks": {
859
- "TrainerControl": {
860
- "args": {
861
- "should_epoch_stop": false,
862
- "should_evaluate": false,
863
- "should_log": false,
864
- "should_save": true,
865
- "should_training_stop": false
866
- },
867
- "attributes": {}
868
- }
869
- },
870
- "total_flos": 2.633271491371008e+16,
871
- "train_batch_size": 2,
872
- "trial_name": null,
873
- "trial_params": null
874
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
checkpoint-1200/training_args.bin DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:24000675441d6a5c7ddfb84bec069e71b937ec618084a1dfd85e614d8706912c
3
- size 5201