Hugging Face's logo

smithblack-0
/
stage-one-v2

Model card Files
xet
 Community
smithblack-0 commited on
Commit
0f2252f
·
verified ·
1 Parent(s): 7cc2570

Upload folder using huggingface_hub

Browse files
Files changed (10) hide show
  1. expdecaybackward_42/epoch2/metadata.json +6 -0
  2. expdecaybackward_42/epoch2/metrics.json +1258 -0
  3. expdecaybackward_42/epoch2/model.pt +3 -0
  4. expdecaybackward_42/epoch2/optimizer.pt +3 -0
  5. expdecaybackward_42/epoch2/scheduler.pt +3 -0
  6. expdecaybackward_42/epoch2/tokenizer/merges.txt +0 -0
  7. expdecaybackward_42/epoch2/tokenizer/special_tokens_map.json +6 -0
  8. expdecaybackward_42/epoch2/tokenizer/tokenizer.json +0 -0
  9. expdecaybackward_42/epoch2/tokenizer/tokenizer_config.json +21 -0
  10. expdecaybackward_42/epoch2/tokenizer/vocab.json +0 -0
expdecaybackward_42/epoch2/metadata.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "epoch_num": 2,
3
+ "global_batch_num": 402,
4
+ "device": "cuda",
5
+ "dtype": "bfloat16"
6
+ }
expdecaybackward_42/epoch2/metrics.json ADDED
@@ -0,0 +1,1258 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "training": {
3
+ "effective_batch_nums": [
4
+ 1,
5
+ 2,
6
+ 3,
7
+ 4,
8
+ 5,
9
+ 6,
10
+ 7,
11
+ 8,
12
+ 9,
13
+ 10,
14
+ 11,
15
+ 12,
16
+ 13,
17
+ 14,
18
+ 15,
19
+ 16,
20
+ 17,
21
+ 18,
22
+ 19,
23
+ 20,
24
+ 21,
25
+ 22,
26
+ 23,
27
+ 24,
28
+ 25,
29
+ 26,
30
+ 27,
31
+ 28,
32
+ 29,
33
+ 30,
34
+ 31,
35
+ 32,
36
+ 33,
37
+ 34,
38
+ 35,
39
+ 36,
40
+ 37,
41
+ 38,
42
+ 39,
43
+ 40,
44
+ 41,
45
+ 42,
46
+ 43,
47
+ 44,
48
+ 45,
49
+ 46,
50
+ 47,
51
+ 48,
52
+ 49,
53
+ 50,
54
+ 51,
55
+ 52,
56
+ 53,
57
+ 54,
58
+ 55,
59
+ 56,
60
+ 57,
61
+ 58,
62
+ 59,
63
+ 60,
64
+ 61,
65
+ 62,
66
+ 63,
67
+ 64,
68
+ 65,
69
+ 66,
70
+ 67,
71
+ 68,
72
+ 69,
73
+ 70,
74
+ 71,
75
+ 72,
76
+ 73,
77
+ 74,
78
+ 75,
79
+ 76,
80
+ 77,
81
+ 78,
82
+ 79,
83
+ 80,
84
+ 81,
85
+ 82,
86
+ 83,
87
+ 84,
88
+ 85,
89
+ 86,
90
+ 87,
91
+ 88,
92
+ 89,
93
+ 90,
94
+ 91,
95
+ 92,
96
+ 93,
97
+ 94,
98
+ 95,
99
+ 96,
100
+ 97,
101
+ 98,
102
+ 99,
103
+ 100,
104
+ 101,
105
+ 102,
106
+ 103,
107
+ 104,
108
+ 105,
109
+ 106,
110
+ 107,
111
+ 108,
112
+ 109,
113
+ 110,
114
+ 111,
115
+ 112,
116
+ 113,
117
+ 114,
118
+ 115,
119
+ 116,
120
+ 117,
121
+ 118,
122
+ 119,
123
+ 120,
124
+ 121,
125
+ 122,
126
+ 123,
127
+ 124,
128
+ 125,
129
+ 126,
130
+ 127,
131
+ 128,
132
+ 129,
133
+ 130,
134
+ 131,
135
+ 132,
136
+ 133,
137
+ 134,
138
+ 135,
139
+ 136,
140
+ 137,
141
+ 138,
142
+ 139,
143
+ 140,
144
+ 141,
145
+ 142,
146
+ 143,
147
+ 144,
148
+ 145,
149
+ 146,
150
+ 147,
151
+ 148,
152
+ 149,
153
+ 150,
154
+ 151,
155
+ 152,
156
+ 153,
157
+ 154,
158
+ 155,
159
+ 156,
160
+ 157,
161
+ 158,
162
+ 159,
163
+ 160,
164
+ 161,
165
+ 162,
166
+ 163,
167
+ 164,
168
+ 165,
169
+ 166,
170
+ 167,
171
+ 168,
172
+ 169,
173
+ 170,
174
+ 171,
175
+ 172,
176
+ 173,
177
+ 174,
178
+ 175,
179
+ 176,
180
+ 177,
181
+ 178,
182
+ 179,
183
+ 180,
184
+ 181,
185
+ 182,
186
+ 183,
187
+ 184,
188
+ 185,
189
+ 186,
190
+ 187,
191
+ 188,
192
+ 189,
193
+ 190,
194
+ 191,
195
+ 192,
196
+ 193,
197
+ 194,
198
+ 195,
199
+ 196,
200
+ 197,
201
+ 198,
202
+ 199,
203
+ 200,
204
+ 201,
205
+ 202,
206
+ 203,
207
+ 204,
208
+ 205,
209
+ 206,
210
+ 207,
211
+ 208,
212
+ 209,
213
+ 210,
214
+ 211,
215
+ 212,
216
+ 213,
217
+ 214,
218
+ 215,
219
+ 216,
220
+ 217,
221
+ 218,
222
+ 219,
223
+ 220,
224
+ 221,
225
+ 222,
226
+ 223,
227
+ 224,
228
+ 225,
229
+ 226,
230
+ 227,
231
+ 228,
232
+ 229,
233
+ 230,
234
+ 231,
235
+ 232,
236
+ 233,
237
+ 234,
238
+ 235,
239
+ 236,
240
+ 237,
241
+ 238,
242
+ 239,
243
+ 240,
244
+ 241,
245
+ 242,
246
+ 243,
247
+ 244,
248
+ 245,
249
+ 246,
250
+ 247,
251
+ 248,
252
+ 249,
253
+ 250,
254
+ 251,
255
+ 252,
256
+ 253,
257
+ 254,
258
+ 255,
259
+ 256,
260
+ 257,
261
+ 258,
262
+ 259,
263
+ 260,
264
+ 261,
265
+ 262,
266
+ 263,
267
+ 264,
268
+ 265,
269
+ 266,
270
+ 267,
271
+ 268,
272
+ 269,
273
+ 270,
274
+ 271,
275
+ 272,
276
+ 273,
277
+ 274,
278
+ 275,
279
+ 276,
280
+ 277,
281
+ 278,
282
+ 279,
283
+ 280,
284
+ 281,
285
+ 282,
286
+ 283,
287
+ 284,
288
+ 285,
289
+ 286,
290
+ 287,
291
+ 288,
292
+ 289,
293
+ 290,
294
+ 291,
295
+ 292,
296
+ 293,
297
+ 294,
298
+ 295,
299
+ 296,
300
+ 297,
301
+ 298,
302
+ 299,
303
+ 300,
304
+ 301,
305
+ 302,
306
+ 303,
307
+ 304,
308
+ 305,
309
+ 306,
310
+ 307,
311
+ 308,
312
+ 309,
313
+ 310,
314
+ 311,
315
+ 312,
316
+ 313,
317
+ 314,
318
+ 315,
319
+ 316,
320
+ 317,
321
+ 318,
322
+ 319,
323
+ 320,
324
+ 321,
325
+ 322,
326
+ 323,
327
+ 324,
328
+ 325,
329
+ 326,
330
+ 327,
331
+ 328,
332
+ 329,
333
+ 330,
334
+ 331,
335
+ 332,
336
+ 333,
337
+ 334,
338
+ 335,
339
+ 336,
340
+ 337,
341
+ 338,
342
+ 339,
343
+ 340,
344
+ 341,
345
+ 342,
346
+ 343,
347
+ 344,
348
+ 345,
349
+ 346,
350
+ 347,
351
+ 348,
352
+ 349,
353
+ 350,
354
+ 351,
355
+ 352,
356
+ 353,
357
+ 354,
358
+ 355,
359
+ 356,
360
+ 357,
361
+ 358,
362
+ 359,
363
+ 360,
364
+ 361,
365
+ 362,
366
+ 363,
367
+ 364,
368
+ 365,
369
+ 366,
370
+ 367,
371
+ 368,
372
+ 369,
373
+ 370,
374
+ 371,
375
+ 372,
376
+ 373,
377
+ 374,
378
+ 375,
379
+ 376,
380
+ 377,
381
+ 378,
382
+ 379,
383
+ 380,
384
+ 381,
385
+ 382,
386
+ 383,
387
+ 384,
388
+ 385,
389
+ 386,
390
+ 387,
391
+ 388,
392
+ 389,
393
+ 390,
394
+ 391,
395
+ 392,
396
+ 393,
397
+ 394,
398
+ 395,
399
+ 396,
400
+ 397,
401
+ 398,
402
+ 399,
403
+ 400,
404
+ 401,
405
+ 402
406
+ ],
407
+ "losses": [
408
+ 127.0,
409
+ 46.75,
410
+ 42.5,
411
+ 37.5,
412
+ 34.75,
413
+ 30.0,
414
+ 25.75,
415
+ 22.0,
416
+ 18.875,
417
+ 16.5,
418
+ 14.75,
419
+ 13.375,
420
+ 12.3125,
421
+ 11.6875,
422
+ 11.1875,
423
+ 10.75,
424
+ 10.4375,
425
+ 10.1875,
426
+ 10.0,
427
+ 9.75,
428
+ 9.625,
429
+ 9.5,
430
+ 9.3125,
431
+ 9.1875,
432
+ 9.1875,
433
+ 9.125,
434
+ 9.0,
435
+ 8.9375,
436
+ 8.875,
437
+ 8.875,
438
+ 8.8125,
439
+ 8.75,
440
+ 8.75,
441
+ 8.6875,
442
+ 8.6875,
443
+ 8.625,
444
+ 8.5625,
445
+ 8.5625,
446
+ 8.5625,
447
+ 8.5625,
448
+ 8.5625,
449
+ 8.5625,
450
+ 8.5625,
451
+ 8.5625,
452
+ 8.5,
453
+ 8.5,
454
+ 8.5625,
455
+ 8.5,
456
+ 8.5625,
457
+ 8.5625,
458
+ 8.5,
459
+ 8.5,
460
+ 8.5,
461
+ 8.5,
462
+ 8.5625,
463
+ 8.5,
464
+ 8.5,
465
+ 8.5,
466
+ 8.5,
467
+ 8.5625,
468
+ 8.5,
469
+ 8.4375,
470
+ 8.5,
471
+ 8.5,
472
+ 8.5,
473
+ 8.5,
474
+ 8.5,
475
+ 8.4375,
476
+ 8.5,
477
+ 8.5,
478
+ 8.5,
479
+ 8.5,
480
+ 8.5,
481
+ 8.4375,
482
+ 8.5,
483
+ 8.4375,
484
+ 8.5,
485
+ 8.5,
486
+ 8.5,
487
+ 8.4375,
488
+ 8.4375,
489
+ 8.5,
490
+ 8.5,
491
+ 8.4375,
492
+ 8.5,
493
+ 8.5,
494
+ 8.4375,
495
+ 8.5,
496
+ 8.4375,
497
+ 8.5,
498
+ 8.5,
499
+ 8.5,
500
+ 8.4375,
501
+ 8.5,
502
+ 8.5,
503
+ 8.4375,
504
+ 8.4375,
505
+ 8.5,
506
+ 8.5,
507
+ 8.5,
508
+ 8.4375,
509
+ 8.4375,
510
+ 8.4375,
511
+ 8.4375,
512
+ 8.5,
513
+ 8.5,
514
+ 8.4375,
515
+ 8.5,
516
+ 8.4375,
517
+ 8.4375,
518
+ 8.5,
519
+ 8.4375,
520
+ 8.4375,
521
+ 8.5,
522
+ 8.4375,
523
+ 8.5,
524
+ 8.4375,
525
+ 8.5,
526
+ 8.4375,
527
+ 8.5,
528
+ 8.4375,
529
+ 8.4375,
530
+ 8.5,
531
+ 8.5,
532
+ 8.5,
533
+ 8.5,
534
+ 8.5,
535
+ 8.4375,
536
+ 8.4375,
537
+ 8.5,
538
+ 8.5,
539
+ 8.5,
540
+ 8.5,
541
+ 8.5,
542
+ 8.4375,
543
+ 8.5,
544
+ 8.4375,
545
+ 8.5,
546
+ 8.4375,
547
+ 8.5,
548
+ 8.4375,
549
+ 8.4375,
550
+ 8.4375,
551
+ 8.4375,
552
+ 8.4375,
553
+ 8.5,
554
+ 8.5,
555
+ 8.4375,
556
+ 8.4375,
557
+ 8.4375,
558
+ 8.4375,
559
+ 8.5,
560
+ 8.4375,
561
+ 8.4375,
562
+ 8.4375,
563
+ 8.5,
564
+ 8.5,
565
+ 8.4375,
566
+ 8.4375,
567
+ 8.4375,
568
+ 8.4375,
569
+ 8.4375,
570
+ 8.4375,
571
+ 8.4375,
572
+ 8.5,
573
+ 8.4375,
574
+ 8.4375,
575
+ 8.4375,
576
+ 8.4375,
577
+ 8.5,
578
+ 8.4375,
579
+ 8.4375,
580
+ 8.5,
581
+ 8.5,
582
+ 8.4375,
583
+ 8.4375,
584
+ 8.4375,
585
+ 8.5,
586
+ 8.4375,
587
+ 8.5,
588
+ 8.4375,
589
+ 8.4375,
590
+ 8.5,
591
+ 8.4375,
592
+ 8.4375,
593
+ 8.5,
594
+ 8.4375,
595
+ 8.4375,
596
+ 8.5,
597
+ 8.4375,
598
+ 8.4375,
599
+ 8.375,
600
+ 8.5,
601
+ 8.4375,
602
+ 8.4375,
603
+ 8.4375,
604
+ 8.5,
605
+ 8.5,
606
+ 8.5,
607
+ 8.4375,
608
+ 8.5,
609
+ 8.4375,
610
+ 8.5,
611
+ 8.5,
612
+ 8.4375,
613
+ 8.5,
614
+ 8.4375,
615
+ 8.4375,
616
+ 8.4375,
617
+ 8.4375,
618
+ 8.4375,
619
+ 8.4375,
620
+ 8.4375,
621
+ 8.4375,
622
+ 8.4375,
623
+ 8.4375,
624
+ 8.4375,
625
+ 8.375,
626
+ 8.4375,
627
+ 8.4375,
628
+ 8.4375,
629
+ 8.4375,
630
+ 8.4375,
631
+ 8.4375,
632
+ 8.375,
633
+ 8.4375,
634
+ 8.4375,
635
+ 8.4375,
636
+ 8.4375,
637
+ 8.4375,
638
+ 8.4375,
639
+ 8.4375,
640
+ 8.4375,
641
+ 8.4375,
642
+ 8.4375,
643
+ 8.4375,
644
+ 8.4375,
645
+ 8.4375,
646
+ 8.375,
647
+ 8.4375,
648
+ 8.375,
649
+ 8.5,
650
+ 8.4375,
651
+ 8.4375,
652
+ 8.4375,
653
+ 8.4375,
654
+ 8.4375,
655
+ 8.4375,
656
+ 8.4375,
657
+ 8.4375,
658
+ 8.4375,
659
+ 8.4375,
660
+ 8.4375,
661
+ 8.375,
662
+ 8.4375,
663
+ 8.4375,
664
+ 8.375,
665
+ 8.375,
666
+ 8.375,
667
+ 8.4375,
668
+ 8.4375,
669
+ 8.375,
670
+ 8.375,
671
+ 8.375,
672
+ 8.375,
673
+ 8.5,
674
+ 8.4375,
675
+ 8.4375,
676
+ 8.4375,
677
+ 8.4375,
678
+ 8.4375,
679
+ 8.375,
680
+ 8.4375,
681
+ 8.375,
682
+ 8.375,
683
+ 8.4375,
684
+ 8.375,
685
+ 8.4375,
686
+ 8.4375,
687
+ 8.375,
688
+ 8.4375,
689
+ 8.375,
690
+ 8.375,
691
+ 8.375,
692
+ 8.375,
693
+ 8.375,
694
+ 8.375,
695
+ 8.375,
696
+ 8.375,
697
+ 8.375,
698
+ 8.375,
699
+ 8.375,
700
+ 8.375,
701
+ 8.4375,
702
+ 8.375,
703
+ 8.375,
704
+ 8.375,
705
+ 8.375,
706
+ 8.375,
707
+ 8.375,
708
+ 8.375,
709
+ 8.375,
710
+ 8.4375,
711
+ 8.4375,
712
+ 8.4375,
713
+ 8.4375,
714
+ 8.375,
715
+ 8.4375,
716
+ 8.4375,
717
+ 8.375,
718
+ 8.4375,
719
+ 8.375,
720
+ 8.375,
721
+ 8.375,
722
+ 8.4375,
723
+ 8.4375,
724
+ 8.4375,
725
+ 8.4375,
726
+ 8.375,
727
+ 8.375,
728
+ 8.4375,
729
+ 8.4375,
730
+ 8.5,
731
+ 8.4375,
732
+ 8.5,
733
+ 8.5,
734
+ 8.5,
735
+ 8.4375,
736
+ 8.5625,
737
+ 8.5,
738
+ 8.4375,
739
+ 8.5,
740
+ 8.5,
741
+ 8.5,
742
+ 8.5,
743
+ 8.5,
744
+ 8.5,
745
+ 8.5,
746
+ 8.5,
747
+ 8.5,
748
+ 8.5,
749
+ 8.4375,
750
+ 8.5,
751
+ 8.5,
752
+ 8.5,
753
+ 8.4375,
754
+ 8.4375,
755
+ 8.4375,
756
+ 8.4375,
757
+ 8.4375,
758
+ 8.5,
759
+ 8.5,
760
+ 8.5,
761
+ 8.4375,
762
+ 8.4375,
763
+ 8.4375,
764
+ 8.5,
765
+ 8.4375,
766
+ 8.5,
767
+ 8.4375,
768
+ 8.4375,
769
+ 8.5,
770
+ 8.5,
771
+ 8.5,
772
+ 8.5,
773
+ 8.5,
774
+ 8.5,
775
+ 8.5,
776
+ 8.5,
777
+ 8.5,
778
+ 8.5,
779
+ 8.5,
780
+ 8.625,
781
+ 8.5625,
782
+ 8.5625,
783
+ 8.5625,
784
+ 8.5,
785
+ 8.5625,
786
+ 8.5,
787
+ 8.5625,
788
+ 8.5,
789
+ 8.5,
790
+ 8.5625,
791
+ 8.5625,
792
+ 8.5625,
793
+ 8.5625,
794
+ 8.5625,
795
+ 8.5625,
796
+ 8.5625,
797
+ 8.5625,
798
+ 8.5,
799
+ 8.5625,
800
+ 8.5625,
801
+ 8.5,
802
+ 8.5625,
803
+ 8.5625,
804
+ 8.5,
805
+ 8.5625,
806
+ 8.625,
807
+ 8.6875,
808
+ 8.5625,
809
+ 8.5625
810
+ ],
811
+ "grad_norms": [
812
+ 11.5625,
813
+ 22.0,
814
+ 13.1875,
815
+ 15.1875,
816
+ 15.0625,
817
+ 10.5625,
818
+ 9.375,
819
+ 5.75,
820
+ 4.4375,
821
+ 3.9375,
822
+ 3.171875,
823
+ 2.515625,
824
+ 2.125,
825
+ 1.7265625,
826
+ 1.4140625,
827
+ 1.1484375,
828
+ 1.140625,
829
+ 1.3515625,
830
+ 1.546875,
831
+ 1.640625,
832
+ 1.65625,
833
+ 1.640625,
834
+ 1.4765625,
835
+ 1.2890625,
836
+ 1.078125,
837
+ 0.8046875,
838
+ 0.67578125,
839
+ 0.458984375,
840
+ 0.4453125,
841
+ 0.578125,
842
+ 0.6171875,
843
+ 0.625,
844
+ 0.5390625,
845
+ 0.4296875,
846
+ 0.3671875,
847
+ 0.51171875,
848
+ 0.35546875,
849
+ 0.31640625,
850
+ 0.302734375,
851
+ 0.41015625,
852
+ 0.400390625,
853
+ 0.384765625,
854
+ 0.34375,
855
+ 0.3515625,
856
+ 0.306640625,
857
+ 0.298828125,
858
+ 0.208984375,
859
+ 0.2138671875,
860
+ 0.1640625,
861
+ 0.2099609375,
862
+ 0.20703125,
863
+ 0.189453125,
864
+ 0.20703125,
865
+ 0.18359375,
866
+ 0.1748046875,
867
+ 0.2197265625,
868
+ 0.1923828125,
869
+ 0.2177734375,
870
+ 0.18359375,
871
+ 0.2578125,
872
+ 0.205078125,
873
+ 0.1689453125,
874
+ 0.2216796875,
875
+ 0.1552734375,
876
+ 0.17578125,
877
+ 0.1728515625,
878
+ 0.232421875,
879
+ 0.248046875,
880
+ 0.24609375,
881
+ 0.2236328125,
882
+ 0.1943359375,
883
+ 0.20703125,
884
+ 0.25390625,
885
+ 0.2001953125,
886
+ 0.2275390625,
887
+ 0.20703125,
888
+ 0.1982421875,
889
+ 0.162109375,
890
+ 0.2314453125,
891
+ 0.2099609375,
892
+ 0.212890625,
893
+ 0.283203125,
894
+ 0.27734375,
895
+ 0.2158203125,
896
+ 0.25390625,
897
+ 0.216796875,
898
+ 0.23046875,
899
+ 0.1533203125,
900
+ 0.2197265625,
901
+ 0.1416015625,
902
+ 0.15625,
903
+ 0.1650390625,
904
+ 0.1943359375,
905
+ 0.173828125,
906
+ 0.17578125,
907
+ 0.271484375,
908
+ 0.1982421875,
909
+ 0.2060546875,
910
+ 0.283203125,
911
+ 0.177734375,
912
+ 0.1826171875,
913
+ 0.2001953125,
914
+ 0.2197265625,
915
+ 0.2890625,
916
+ 0.34765625,
917
+ 0.16796875,
918
+ 0.275390625,
919
+ 0.19921875,
920
+ 0.240234375,
921
+ 0.244140625,
922
+ 0.1904296875,
923
+ 0.2265625,
924
+ 0.20703125,
925
+ 0.2177734375,
926
+ 0.189453125,
927
+ 0.1572265625,
928
+ 0.1962890625,
929
+ 0.1591796875,
930
+ 0.142578125,
931
+ 0.2099609375,
932
+ 0.1591796875,
933
+ 0.21484375,
934
+ 0.1796875,
935
+ 0.1953125,
936
+ 0.21484375,
937
+ 0.154296875,
938
+ 0.197265625,
939
+ 0.2236328125,
940
+ 0.16015625,
941
+ 0.21875,
942
+ 0.216796875,
943
+ 0.23046875,
944
+ 0.142578125,
945
+ 0.2177734375,
946
+ 0.18359375,
947
+ 0.228515625,
948
+ 0.1201171875,
949
+ 0.1650390625,
950
+ 0.1806640625,
951
+ 0.1845703125,
952
+ 0.1875,
953
+ 0.1640625,
954
+ 0.134765625,
955
+ 0.1962890625,
956
+ 0.181640625,
957
+ 0.232421875,
958
+ 0.1923828125,
959
+ 0.146484375,
960
+ 0.158203125,
961
+ 0.1328125,
962
+ 0.154296875,
963
+ 0.1689453125,
964
+ 0.1396484375,
965
+ 0.21875,
966
+ 0.1875,
967
+ 0.2314453125,
968
+ 0.171875,
969
+ 0.1650390625,
970
+ 0.1806640625,
971
+ 0.2060546875,
972
+ 0.1845703125,
973
+ 0.201171875,
974
+ 0.1728515625,
975
+ 0.154296875,
976
+ 0.150390625,
977
+ 0.1259765625,
978
+ 0.17578125,
979
+ 0.142578125,
980
+ 0.166015625,
981
+ 0.158203125,
982
+ 0.19921875,
983
+ 0.259765625,
984
+ 0.171875,
985
+ 0.138671875,
986
+ 0.126953125,
987
+ 0.1455078125,
988
+ 0.169921875,
989
+ 0.302734375,
990
+ 0.1640625,
991
+ 0.1611328125,
992
+ 0.203125,
993
+ 0.22265625,
994
+ 0.177734375,
995
+ 0.1728515625,
996
+ 0.17578125,
997
+ 0.12158203125,
998
+ 0.150390625,
999
+ 0.2080078125,
1000
+ 0.205078125,
1001
+ 0.1640625,
1002
+ 0.283203125,
1003
+ 0.1884765625,
1004
+ 0.279296875,
1005
+ 0.26171875,
1006
+ 0.19921875,
1007
+ 0.259765625,
1008
+ 0.208984375,
1009
+ 0.205078125,
1010
+ 0.224609375,
1011
+ 0.201171875,
1012
+ 0.2021484375,
1013
+ 0.1572265625,
1014
+ 0.1494140625,
1015
+ 0.173828125,
1016
+ 0.1806640625,
1017
+ 0.1396484375,
1018
+ 0.1533203125,
1019
+ 0.16796875,
1020
+ 0.181640625,
1021
+ 0.15625,
1022
+ 0.1455078125,
1023
+ 0.212890625,
1024
+ 0.1396484375,
1025
+ 0.1572265625,
1026
+ 0.2373046875,
1027
+ 0.1767578125,
1028
+ 0.216796875,
1029
+ 0.2216796875,
1030
+ 0.2890625,
1031
+ 0.1513671875,
1032
+ 0.171875,
1033
+ 0.2734375,
1034
+ 0.3046875,
1035
+ 0.2333984375,
1036
+ 0.30078125,
1037
+ 0.1875,
1038
+ 0.32421875,
1039
+ 0.283203125,
1040
+ 0.177734375,
1041
+ 0.296875,
1042
+ 0.169921875,
1043
+ 0.361328125,
1044
+ 0.216796875,
1045
+ 0.271484375,
1046
+ 0.2109375,
1047
+ 0.1416015625,
1048
+ 0.2158203125,
1049
+ 0.1865234375,
1050
+ 0.16796875,
1051
+ 0.26953125,
1052
+ 0.2451171875,
1053
+ 0.158203125,
1054
+ 0.333984375,
1055
+ 0.1630859375,
1056
+ 0.3671875,
1057
+ 0.2080078125,
1058
+ 0.2373046875,
1059
+ 0.1708984375,
1060
+ 0.2255859375,
1061
+ 0.216796875,
1062
+ 0.3359375,
1063
+ 0.267578125,
1064
+ 0.291015625,
1065
+ 0.328125,
1066
+ 0.2314453125,
1067
+ 0.228515625,
1068
+ 0.205078125,
1069
+ 0.373046875,
1070
+ 0.2333984375,
1071
+ 0.326171875,
1072
+ 0.25,
1073
+ 0.33203125,
1074
+ 0.2294921875,
1075
+ 0.302734375,
1076
+ 0.333984375,
1077
+ 0.33984375,
1078
+ 0.3046875,
1079
+ 0.26953125,
1080
+ 0.287109375,
1081
+ 0.36328125,
1082
+ 0.330078125,
1083
+ 0.29296875,
1084
+ 0.29296875,
1085
+ 0.396484375,
1086
+ 0.423828125,
1087
+ 0.31640625,
1088
+ 0.265625,
1089
+ 0.373046875,
1090
+ 0.33984375,
1091
+ 0.498046875,
1092
+ 0.423828125,
1093
+ 0.33984375,
1094
+ 0.41796875,
1095
+ 0.62109375,
1096
+ 0.87890625,
1097
+ 0.55078125,
1098
+ 0.76953125,
1099
+ 0.7578125,
1100
+ 0.71875,
1101
+ 0.62109375,
1102
+ 0.70703125,
1103
+ 0.70703125,
1104
+ 0.7890625,
1105
+ 1.1953125,
1106
+ 2.25,
1107
+ 1.3671875,
1108
+ 1.578125,
1109
+ 1.8515625,
1110
+ 2.96875,
1111
+ 2.375,
1112
+ 2.859375,
1113
+ 4.25,
1114
+ 4.59375,
1115
+ 3.453125,
1116
+ 4.78125,
1117
+ 3.875,
1118
+ 5.6875,
1119
+ 3.546875,
1120
+ 4.09375,
1121
+ 4.875,
1122
+ 4.40625,
1123
+ 9.625,
1124
+ 17.0,
1125
+ 17.625,
1126
+ 20.0,
1127
+ 20.625,
1128
+ 22.0,
1129
+ 28.0,
1130
+ 34.25,
1131
+ 23.75,
1132
+ 10.5,
1133
+ 12.75,
1134
+ 40.5,
1135
+ 18.75,
1136
+ 23.25,
1137
+ 48.25,
1138
+ 47.0,
1139
+ 13.1875,
1140
+ 45.75,
1141
+ 59.75,
1142
+ 65.0,
1143
+ 64.0,
1144
+ 43.5,
1145
+ 39.25,
1146
+ 58.0,
1147
+ 71.0,
1148
+ 90.5,
1149
+ 67.0,
1150
+ 69.0,
1151
+ 43.0,
1152
+ 19.0,
1153
+ 11.125,
1154
+ 10.3125,
1155
+ 16.875,
1156
+ 20.375,
1157
+ 18.125,
1158
+ 52.25,
1159
+ 23.25,
1160
+ 30.875,
1161
+ 101.0,
1162
+ 30.75,
1163
+ 24.5,
1164
+ 46.5,
1165
+ 70.0,
1166
+ 36.0,
1167
+ 83.0,
1168
+ 28.25,
1169
+ 42.75,
1170
+ 24.625,
1171
+ 29.5,
1172
+ 27.5,
1173
+ 34.0,
1174
+ 36.75,
1175
+ 36.75,
1176
+ 45.0,
1177
+ 59.75,
1178
+ 63.25,
1179
+ 42.0,
1180
+ 51.75,
1181
+ 37.5,
1182
+ 61.0,
1183
+ 52.75,
1184
+ 46.5,
1185
+ 63.0,
1186
+ 52.75,
1187
+ 131.0,
1188
+ 146.0,
1189
+ 71.5,
1190
+ 75.5,
1191
+ 78.0,
1192
+ 73.5,
1193
+ 58.75,
1194
+ 70.5,
1195
+ 56.0,
1196
+ 64.5,
1197
+ 65.0,
1198
+ 70.0,
1199
+ 98.5,
1200
+ 109.0,
1201
+ 99.0,
1202
+ 114.5,
1203
+ 67.5,
1204
+ 191.0,
1205
+ 98.5,
1206
+ 100.5,
1207
+ 274.0,
1208
+ 316.0,
1209
+ 154.0,
1210
+ 57.75,
1211
+ 70.5,
1212
+ 96.5,
1213
+ 93.5
1214
+ ]
1215
+ },
1216
+ "eval": {
1217
+ "effective_batch_nums": [
1218
+ 50,
1219
+ 100,
1220
+ 150,
1221
+ 200,
1222
+ 250,
1223
+ 300,
1224
+ 350,
1225
+ 400
1226
+ ],
1227
+ "losses": [
1228
+ 8.547794117647058,
1229
+ 8.496323529411764,
1230
+ 8.492647058823529,
1231
+ 8.5,
1232
+ 8.459558823529411,
1233
+ 8.422794117647058,
1234
+ 8.522058823529411,
1235
+ 8.621323529411764
1236
+ ],
1237
+ "perplexities": [
1238
+ 5180.235294117647,
1239
+ 4909.176470588235,
1240
+ 4890.35294117647,
1241
+ 4931.764705882353,
1242
+ 4736.0,
1243
+ 4576.941176470588,
1244
+ 5048.470588235294,
1245
+ 5564.235294117647
1246
+ ],
1247
+ "accuracies": [
1248
+ 0.046659516558234596,
1249
+ 0.050909109305596306,
1250
+ 0.050909109305596306,
1251
+ 0.0644066253174547,
1252
+ 0.0733965375937187,
1253
+ 0.07171187761172887,
1254
+ 0.05924640555280119,
1255
+ 0.07454493944330336
1256
+ ]
1257
+ }
1258
+ }
expdecaybackward_42/epoch2/model.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:78b368cc6ec437e2d7022f704c7aee59a5894d19fa138174125ca172b20d72f8
3
+ size 18206151
expdecaybackward_42/epoch2/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:720fbe26e3b77fda6696270d64c8333c9ea8e6ebbe6267a020da26e9404603ed
3
+ size 36464267
expdecaybackward_42/epoch2/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6a7d44543674964d2a80da017da595e439409741be9b0f2b210374fe390024ea
3
+ size 1465
expdecaybackward_42/epoch2/tokenizer/merges.txt ADDED
The diff for this file is too large to render. See raw diff
 
expdecaybackward_42/epoch2/tokenizer/special_tokens_map.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": "<|endoftext|>",
3
+ "eos_token": "<|endoftext|>",
4
+ "pad_token": "<|endoftext|>",
5
+ "unk_token": "<|endoftext|>"
6
+ }
expdecaybackward_42/epoch2/tokenizer/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
expdecaybackward_42/epoch2/tokenizer/tokenizer_config.json ADDED
@@ -0,0 +1,21 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": false,
3
+ "added_tokens_decoder": {
4
+ "50256": {
5
+ "content": "<|endoftext|>",
6
+ "lstrip": false,
7
+ "normalized": true,
8
+ "rstrip": false,
9
+ "single_word": false,
10
+ "special": true
11
+ }
12
+ },
13
+ "bos_token": "<|endoftext|>",
14
+ "clean_up_tokenization_spaces": false,
15
+ "eos_token": "<|endoftext|>",
16
+ "extra_special_tokens": {},
17
+ "model_max_length": 1024,
18
+ "pad_token": "<|endoftext|>",
19
+ "tokenizer_class": "GPT2Tokenizer",
20
+ "unk_token": "<|endoftext|>"
21
+ }
expdecaybackward_42/epoch2/tokenizer/vocab.json ADDED
The diff for this file is too large to render. See raw diff