aixk commited on
Commit
97ee8b0
·
verified ·
1 Parent(s): 25e8429

Delete folder checkpoint-600 with huggingface_hub

Browse files
checkpoint-600/config.json DELETED
@@ -1,20 +0,0 @@
1
- {
2
- "architectures": [
3
- "FastPlus125mForCausalLM"
4
- ],
5
- "dtype": "float32",
6
- "hidden_size": 1024,
7
- "hyperbolic_dim": 16,
8
- "initializer_range": 0.02,
9
- "intermediate_size": 3072,
10
- "kd_alpha": 0.4,
11
- "kd_temperature": 2.5,
12
- "max_position_embeddings": 512,
13
- "model_type": "fastplus_04b",
14
- "num_attention_heads": 16,
15
- "num_hidden_layers": 27,
16
- "tie_word_embeddings": false,
17
- "transformers_version": "5.12.1",
18
- "use_cache": false,
19
- "vocab_size": 32704
20
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
checkpoint-600/generation_config.json DELETED
@@ -1,6 +0,0 @@
1
- {
2
- "_from_model_config": true,
3
- "output_attentions": false,
4
- "output_hidden_states": false,
5
- "transformers_version": "5.12.1"
6
- }
 
 
 
 
 
 
 
checkpoint-600/model.safetensors DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:6f9b57a0259acf23d3119ed6f028d3b44d5849ae16e026ed976bdc1897215f0f
3
- size 1620281808
 
 
 
 
checkpoint-600/optimizer.pt DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:5ec98657d9c3d58f247b79470db4784ce67774f67e21502335f348aa033c6b79
3
- size 3228206304
 
 
 
 
checkpoint-600/rng_state.pth DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:2fe882534cfb95092e79b6f1b8ddf1924b117e46bd7e84f7e55a3b5a44b56d43
3
- size 14645
 
 
 
 
checkpoint-600/scaler.pt DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:4965310319a6c62adaebf2844106d49e4c3e99337785b111a82be2efced908b4
3
- size 1383
 
 
 
 
checkpoint-600/scheduler.pt DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:03d0d20d116b0fae1caa3c3337493428c09111c7d38f2709943908133f5d0218
3
- size 14457
 
 
 
 
checkpoint-600/tokenizer.json DELETED
The diff for this file is too large to render. See raw diff
 
checkpoint-600/tokenizer_config.json DELETED
@@ -1,15 +0,0 @@
1
- {
2
- "backend": "tokenizers",
3
- "bos_token": "<s>",
4
- "eos_token": "</s>",
5
- "extra_special_tokens": [
6
- "<|user|>",
7
- "<|assistant|>"
8
- ],
9
- "is_local": false,
10
- "local_files_only": false,
11
- "model_max_length": 1000000000000000019884624838656,
12
- "pad_token": "<pad>",
13
- "tokenizer_class": "TokenizersBackend",
14
- "unk_token": "<unk>"
15
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
checkpoint-600/trainer_state.json DELETED
@@ -1,454 +0,0 @@
1
- {
2
- "best_global_step": null,
3
- "best_metric": null,
4
- "best_model_checkpoint": null,
5
- "epoch": 0.033911237336272305,
6
- "eval_steps": 500,
7
- "global_step": 600,
8
- "is_hyper_param_search": false,
9
- "is_local_process_zero": true,
10
- "is_world_process_zero": true,
11
- "log_history": [
12
- {
13
- "epoch": 0.0005651872889378718,
14
- "grad_norm": 388.92431640625,
15
- "learning_rate": 4.0000000000000003e-07,
16
- "loss": 7.4628,
17
- "step": 10
18
- },
19
- {
20
- "epoch": 0.0011303745778757435,
21
- "grad_norm": 418.426025390625,
22
- "learning_rate": 1.0666666666666667e-06,
23
- "loss": 7.4553,
24
- "step": 20
25
- },
26
- {
27
- "epoch": 0.0016955618668136154,
28
- "grad_norm": 329.3276672363281,
29
- "learning_rate": 1.7333333333333334e-06,
30
- "loss": 7.478,
31
- "step": 30
32
- },
33
- {
34
- "epoch": 0.002260749155751487,
35
- "grad_norm": 294.26776123046875,
36
- "learning_rate": 2.4000000000000003e-06,
37
- "loss": 7.4234,
38
- "step": 40
39
- },
40
- {
41
- "epoch": 0.002825936444689359,
42
- "grad_norm": 233.39239501953125,
43
- "learning_rate": 3.066666666666667e-06,
44
- "loss": 7.4139,
45
- "step": 50
46
- },
47
- {
48
- "epoch": 0.003391123733627231,
49
- "grad_norm": 165.7160186767578,
50
- "learning_rate": 3.7333333333333337e-06,
51
- "loss": 7.4218,
52
- "step": 60
53
- },
54
- {
55
- "epoch": 0.003956311022565102,
56
- "grad_norm": 85.9063949584961,
57
- "learning_rate": 4.4e-06,
58
- "loss": 7.4302,
59
- "step": 70
60
- },
61
- {
62
- "epoch": 0.004521498311502974,
63
- "grad_norm": 49.569210052490234,
64
- "learning_rate": 5.066666666666667e-06,
65
- "loss": 7.4101,
66
- "step": 80
67
- },
68
- {
69
- "epoch": 0.005086685600440846,
70
- "grad_norm": 32.944725036621094,
71
- "learning_rate": 5.733333333333333e-06,
72
- "loss": 7.3716,
73
- "step": 90
74
- },
75
- {
76
- "epoch": 0.005651872889378718,
77
- "grad_norm": 20.296159744262695,
78
- "learning_rate": 6.4000000000000006e-06,
79
- "loss": 7.3607,
80
- "step": 100
81
- },
82
- {
83
- "epoch": 0.00621706017831659,
84
- "grad_norm": 11.820279121398926,
85
- "learning_rate": 7.066666666666667e-06,
86
- "loss": 7.3988,
87
- "step": 110
88
- },
89
- {
90
- "epoch": 0.006782247467254462,
91
- "grad_norm": 11.601971626281738,
92
- "learning_rate": 7.733333333333334e-06,
93
- "loss": 7.4044,
94
- "step": 120
95
- },
96
- {
97
- "epoch": 0.0073474347561923335,
98
- "grad_norm": 6.7178144454956055,
99
- "learning_rate": 8.400000000000001e-06,
100
- "loss": 7.3488,
101
- "step": 130
102
- },
103
- {
104
- "epoch": 0.007912622045130204,
105
- "grad_norm": 6.530295372009277,
106
- "learning_rate": 9.066666666666667e-06,
107
- "loss": 7.3774,
108
- "step": 140
109
- },
110
- {
111
- "epoch": 0.008477809334068076,
112
- "grad_norm": 8.032118797302246,
113
- "learning_rate": 9.733333333333334e-06,
114
- "loss": 7.3965,
115
- "step": 150
116
- },
117
- {
118
- "epoch": 0.009042996623005948,
119
- "grad_norm": 8.5325927734375,
120
- "learning_rate": 1.04e-05,
121
- "loss": 7.3754,
122
- "step": 160
123
- },
124
- {
125
- "epoch": 0.00960818391194382,
126
- "grad_norm": 11.115029335021973,
127
- "learning_rate": 1.1066666666666667e-05,
128
- "loss": 7.3537,
129
- "step": 170
130
- },
131
- {
132
- "epoch": 0.010173371200881692,
133
- "grad_norm": 5.508138656616211,
134
- "learning_rate": 1.1733333333333333e-05,
135
- "loss": 7.3833,
136
- "step": 180
137
- },
138
- {
139
- "epoch": 0.010738558489819564,
140
- "grad_norm": 6.041222095489502,
141
- "learning_rate": 1.24e-05,
142
- "loss": 7.3501,
143
- "step": 190
144
- },
145
- {
146
- "epoch": 0.011303745778757436,
147
- "grad_norm": 6.466294765472412,
148
- "learning_rate": 1.3066666666666666e-05,
149
- "loss": 7.3538,
150
- "step": 200
151
- },
152
- {
153
- "epoch": 0.011868933067695308,
154
- "grad_norm": 6.852397918701172,
155
- "learning_rate": 1.3733333333333335e-05,
156
- "loss": 7.3481,
157
- "step": 210
158
- },
159
- {
160
- "epoch": 0.01243412035663318,
161
- "grad_norm": 7.736501693725586,
162
- "learning_rate": 1.44e-05,
163
- "loss": 7.3431,
164
- "step": 220
165
- },
166
- {
167
- "epoch": 0.012999307645571051,
168
- "grad_norm": 8.353436470031738,
169
- "learning_rate": 1.5066666666666668e-05,
170
- "loss": 7.3286,
171
- "step": 230
172
- },
173
- {
174
- "epoch": 0.013564494934508923,
175
- "grad_norm": 4.6984333992004395,
176
- "learning_rate": 1.5733333333333334e-05,
177
- "loss": 7.3275,
178
- "step": 240
179
- },
180
- {
181
- "epoch": 0.014129682223446795,
182
- "grad_norm": 4.275951385498047,
183
- "learning_rate": 1.6400000000000002e-05,
184
- "loss": 7.3282,
185
- "step": 250
186
- },
187
- {
188
- "epoch": 0.014694869512384667,
189
- "grad_norm": 6.811357498168945,
190
- "learning_rate": 1.7066666666666667e-05,
191
- "loss": 7.3249,
192
- "step": 260
193
- },
194
- {
195
- "epoch": 0.015260056801322539,
196
- "grad_norm": 8.525443077087402,
197
- "learning_rate": 1.7733333333333335e-05,
198
- "loss": 7.3264,
199
- "step": 270
200
- },
201
- {
202
- "epoch": 0.01582524409026041,
203
- "grad_norm": 14.670880317687988,
204
- "learning_rate": 1.84e-05,
205
- "loss": 7.3251,
206
- "step": 280
207
- },
208
- {
209
- "epoch": 0.01639043137919828,
210
- "grad_norm": 16.190635681152344,
211
- "learning_rate": 1.9066666666666668e-05,
212
- "loss": 7.3187,
213
- "step": 290
214
- },
215
- {
216
- "epoch": 0.016955618668136153,
217
- "grad_norm": 4.505331039428711,
218
- "learning_rate": 1.9733333333333333e-05,
219
- "loss": 7.3208,
220
- "step": 300
221
- },
222
- {
223
- "epoch": 0.017520805957074025,
224
- "grad_norm": 6.737983226776123,
225
- "learning_rate": 2.04e-05,
226
- "loss": 7.3014,
227
- "step": 310
228
- },
229
- {
230
- "epoch": 0.018085993246011896,
231
- "grad_norm": 7.480038642883301,
232
- "learning_rate": 2.106666666666667e-05,
233
- "loss": 7.3089,
234
- "step": 320
235
- },
236
- {
237
- "epoch": 0.01865118053494977,
238
- "grad_norm": 5.7037200927734375,
239
- "learning_rate": 2.1733333333333334e-05,
240
- "loss": 7.3068,
241
- "step": 330
242
- },
243
- {
244
- "epoch": 0.01921636782388764,
245
- "grad_norm": 6.547840595245361,
246
- "learning_rate": 2.2400000000000002e-05,
247
- "loss": 7.3128,
248
- "step": 340
249
- },
250
- {
251
- "epoch": 0.019781555112825512,
252
- "grad_norm": 10.3425874710083,
253
- "learning_rate": 2.3066666666666667e-05,
254
- "loss": 7.3043,
255
- "step": 350
256
- },
257
- {
258
- "epoch": 0.020346742401763384,
259
- "grad_norm": 9.089709281921387,
260
- "learning_rate": 2.3733333333333335e-05,
261
- "loss": 7.3327,
262
- "step": 360
263
- },
264
- {
265
- "epoch": 0.020911929690701256,
266
- "grad_norm": 5.359627723693848,
267
- "learning_rate": 2.44e-05,
268
- "loss": 7.3,
269
- "step": 370
270
- },
271
- {
272
- "epoch": 0.021477116979639128,
273
- "grad_norm": 10.904877662658691,
274
- "learning_rate": 2.5066666666666665e-05,
275
- "loss": 7.316,
276
- "step": 380
277
- },
278
- {
279
- "epoch": 0.022042304268577,
280
- "grad_norm": 14.221054077148438,
281
- "learning_rate": 2.5733333333333337e-05,
282
- "loss": 7.3174,
283
- "step": 390
284
- },
285
- {
286
- "epoch": 0.02260749155751487,
287
- "grad_norm": 7.274070739746094,
288
- "learning_rate": 2.64e-05,
289
- "loss": 7.2912,
290
- "step": 400
291
- },
292
- {
293
- "epoch": 0.023172678846452743,
294
- "grad_norm": 5.9511799812316895,
295
- "learning_rate": 2.706666666666667e-05,
296
- "loss": 7.2899,
297
- "step": 410
298
- },
299
- {
300
- "epoch": 0.023737866135390615,
301
- "grad_norm": 6.152066707611084,
302
- "learning_rate": 2.7733333333333334e-05,
303
- "loss": 7.3028,
304
- "step": 420
305
- },
306
- {
307
- "epoch": 0.024303053424328487,
308
- "grad_norm": 6.566978931427002,
309
- "learning_rate": 2.84e-05,
310
- "loss": 7.2696,
311
- "step": 430
312
- },
313
- {
314
- "epoch": 0.02486824071326636,
315
- "grad_norm": 9.3006010055542,
316
- "learning_rate": 2.906666666666667e-05,
317
- "loss": 7.2893,
318
- "step": 440
319
- },
320
- {
321
- "epoch": 0.02543342800220423,
322
- "grad_norm": 9.530643463134766,
323
- "learning_rate": 2.9733333333333336e-05,
324
- "loss": 7.2777,
325
- "step": 450
326
- },
327
- {
328
- "epoch": 0.025998615291142103,
329
- "grad_norm": 9.63436508178711,
330
- "learning_rate": 3.04e-05,
331
- "loss": 7.2978,
332
- "step": 460
333
- },
334
- {
335
- "epoch": 0.026563802580079975,
336
- "grad_norm": 9.731348991394043,
337
- "learning_rate": 3.1066666666666665e-05,
338
- "loss": 7.2755,
339
- "step": 470
340
- },
341
- {
342
- "epoch": 0.027128989869017846,
343
- "grad_norm": 30.556720733642578,
344
- "learning_rate": 3.173333333333334e-05,
345
- "loss": 7.2621,
346
- "step": 480
347
- },
348
- {
349
- "epoch": 0.02769417715795572,
350
- "grad_norm": 8.977019309997559,
351
- "learning_rate": 3.24e-05,
352
- "loss": 7.2778,
353
- "step": 490
354
- },
355
- {
356
- "epoch": 0.02825936444689359,
357
- "grad_norm": 7.0203657150268555,
358
- "learning_rate": 3.3066666666666666e-05,
359
- "loss": 7.2618,
360
- "step": 500
361
- },
362
- {
363
- "epoch": 0.028824551735831462,
364
- "grad_norm": 11.852314949035645,
365
- "learning_rate": 3.373333333333333e-05,
366
- "loss": 7.2642,
367
- "step": 510
368
- },
369
- {
370
- "epoch": 0.029389739024769334,
371
- "grad_norm": 14.17752742767334,
372
- "learning_rate": 3.4399999999999996e-05,
373
- "loss": 7.2596,
374
- "step": 520
375
- },
376
- {
377
- "epoch": 0.029954926313707206,
378
- "grad_norm": 11.621777534484863,
379
- "learning_rate": 3.506666666666667e-05,
380
- "loss": 7.2946,
381
- "step": 530
382
- },
383
- {
384
- "epoch": 0.030520113602645078,
385
- "grad_norm": 7.2268242835998535,
386
- "learning_rate": 3.573333333333333e-05,
387
- "loss": 7.2602,
388
- "step": 540
389
- },
390
- {
391
- "epoch": 0.03108530089158295,
392
- "grad_norm": 10.392822265625,
393
- "learning_rate": 3.6400000000000004e-05,
394
- "loss": 7.2526,
395
- "step": 550
396
- },
397
- {
398
- "epoch": 0.03165048818052082,
399
- "grad_norm": 18.579120635986328,
400
- "learning_rate": 3.706666666666667e-05,
401
- "loss": 7.2719,
402
- "step": 560
403
- },
404
- {
405
- "epoch": 0.03221567546945869,
406
- "grad_norm": 6.2978973388671875,
407
- "learning_rate": 3.773333333333334e-05,
408
- "loss": 7.2588,
409
- "step": 570
410
- },
411
- {
412
- "epoch": 0.03278086275839656,
413
- "grad_norm": 11.561802864074707,
414
- "learning_rate": 3.8400000000000005e-05,
415
- "loss": 7.2588,
416
- "step": 580
417
- },
418
- {
419
- "epoch": 0.03334605004733444,
420
- "grad_norm": 5.9244866371154785,
421
- "learning_rate": 3.906666666666667e-05,
422
- "loss": 7.2471,
423
- "step": 590
424
- },
425
- {
426
- "epoch": 0.033911237336272305,
427
- "grad_norm": 9.905623435974121,
428
- "learning_rate": 3.9733333333333335e-05,
429
- "loss": 7.242,
430
- "step": 600
431
- }
432
- ],
433
- "logging_steps": 10,
434
- "max_steps": 17694,
435
- "num_input_tokens_seen": 0,
436
- "num_train_epochs": 1,
437
- "save_steps": 200,
438
- "stateful_callbacks": {
439
- "TrainerControl": {
440
- "args": {
441
- "should_epoch_stop": false,
442
- "should_evaluate": false,
443
- "should_log": false,
444
- "should_save": true,
445
- "should_training_stop": false
446
- },
447
- "attributes": {}
448
- }
449
- },
450
- "total_flos": 1.31572912785408e+16,
451
- "train_batch_size": 2,
452
- "trial_name": null,
453
- "trial_params": null
454
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
checkpoint-600/training_args.bin DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:c612d38f8c19c9d9e938ee86905b1be20d3eba4b9687d0b115c9dd26215fd59e
3
- size 5201