Hugging Face's logo

smithblack-0
/
stage-one-v2

Model card Files
xet
 Community
smithblack-0 commited on
Commit
d54300f
·
verified ·
1 Parent(s): 0f2252f

Upload folder using huggingface_hub

Browse files
Files changed (10) hide show
  1. expdecaybackward_42/epoch3/metadata.json +6 -0
  2. expdecaybackward_42/epoch3/metrics.json +1668 -0
  3. expdecaybackward_42/epoch3/model.pt +3 -0
  4. expdecaybackward_42/epoch3/optimizer.pt +3 -0
  5. expdecaybackward_42/epoch3/scheduler.pt +3 -0
  6. expdecaybackward_42/epoch3/tokenizer/merges.txt +0 -0
  7. expdecaybackward_42/epoch3/tokenizer/special_tokens_map.json +6 -0
  8. expdecaybackward_42/epoch3/tokenizer/tokenizer.json +0 -0
  9. expdecaybackward_42/epoch3/tokenizer/tokenizer_config.json +21 -0
  10. expdecaybackward_42/epoch3/tokenizer/vocab.json +0 -0
expdecaybackward_42/epoch3/metadata.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "epoch_num": 3,
3
+ "global_batch_num": 536,
4
+ "device": "cuda",
5
+ "dtype": "bfloat16"
6
+ }
expdecaybackward_42/epoch3/metrics.json ADDED
@@ -0,0 +1,1668 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "training": {
3
+ "effective_batch_nums": [
4
+ 1,
5
+ 2,
6
+ 3,
7
+ 4,
8
+ 5,
9
+ 6,
10
+ 7,
11
+ 8,
12
+ 9,
13
+ 10,
14
+ 11,
15
+ 12,
16
+ 13,
17
+ 14,
18
+ 15,
19
+ 16,
20
+ 17,
21
+ 18,
22
+ 19,
23
+ 20,
24
+ 21,
25
+ 22,
26
+ 23,
27
+ 24,
28
+ 25,
29
+ 26,
30
+ 27,
31
+ 28,
32
+ 29,
33
+ 30,
34
+ 31,
35
+ 32,
36
+ 33,
37
+ 34,
38
+ 35,
39
+ 36,
40
+ 37,
41
+ 38,
42
+ 39,
43
+ 40,
44
+ 41,
45
+ 42,
46
+ 43,
47
+ 44,
48
+ 45,
49
+ 46,
50
+ 47,
51
+ 48,
52
+ 49,
53
+ 50,
54
+ 51,
55
+ 52,
56
+ 53,
57
+ 54,
58
+ 55,
59
+ 56,
60
+ 57,
61
+ 58,
62
+ 59,
63
+ 60,
64
+ 61,
65
+ 62,
66
+ 63,
67
+ 64,
68
+ 65,
69
+ 66,
70
+ 67,
71
+ 68,
72
+ 69,
73
+ 70,
74
+ 71,
75
+ 72,
76
+ 73,
77
+ 74,
78
+ 75,
79
+ 76,
80
+ 77,
81
+ 78,
82
+ 79,
83
+ 80,
84
+ 81,
85
+ 82,
86
+ 83,
87
+ 84,
88
+ 85,
89
+ 86,
90
+ 87,
91
+ 88,
92
+ 89,
93
+ 90,
94
+ 91,
95
+ 92,
96
+ 93,
97
+ 94,
98
+ 95,
99
+ 96,
100
+ 97,
101
+ 98,
102
+ 99,
103
+ 100,
104
+ 101,
105
+ 102,
106
+ 103,
107
+ 104,
108
+ 105,
109
+ 106,
110
+ 107,
111
+ 108,
112
+ 109,
113
+ 110,
114
+ 111,
115
+ 112,
116
+ 113,
117
+ 114,
118
+ 115,
119
+ 116,
120
+ 117,
121
+ 118,
122
+ 119,
123
+ 120,
124
+ 121,
125
+ 122,
126
+ 123,
127
+ 124,
128
+ 125,
129
+ 126,
130
+ 127,
131
+ 128,
132
+ 129,
133
+ 130,
134
+ 131,
135
+ 132,
136
+ 133,
137
+ 134,
138
+ 135,
139
+ 136,
140
+ 137,
141
+ 138,
142
+ 139,
143
+ 140,
144
+ 141,
145
+ 142,
146
+ 143,
147
+ 144,
148
+ 145,
149
+ 146,
150
+ 147,
151
+ 148,
152
+ 149,
153
+ 150,
154
+ 151,
155
+ 152,
156
+ 153,
157
+ 154,
158
+ 155,
159
+ 156,
160
+ 157,
161
+ 158,
162
+ 159,
163
+ 160,
164
+ 161,
165
+ 162,
166
+ 163,
167
+ 164,
168
+ 165,
169
+ 166,
170
+ 167,
171
+ 168,
172
+ 169,
173
+ 170,
174
+ 171,
175
+ 172,
176
+ 173,
177
+ 174,
178
+ 175,
179
+ 176,
180
+ 177,
181
+ 178,
182
+ 179,
183
+ 180,
184
+ 181,
185
+ 182,
186
+ 183,
187
+ 184,
188
+ 185,
189
+ 186,
190
+ 187,
191
+ 188,
192
+ 189,
193
+ 190,
194
+ 191,
195
+ 192,
196
+ 193,
197
+ 194,
198
+ 195,
199
+ 196,
200
+ 197,
201
+ 198,
202
+ 199,
203
+ 200,
204
+ 201,
205
+ 202,
206
+ 203,
207
+ 204,
208
+ 205,
209
+ 206,
210
+ 207,
211
+ 208,
212
+ 209,
213
+ 210,
214
+ 211,
215
+ 212,
216
+ 213,
217
+ 214,
218
+ 215,
219
+ 216,
220
+ 217,
221
+ 218,
222
+ 219,
223
+ 220,
224
+ 221,
225
+ 222,
226
+ 223,
227
+ 224,
228
+ 225,
229
+ 226,
230
+ 227,
231
+ 228,
232
+ 229,
233
+ 230,
234
+ 231,
235
+ 232,
236
+ 233,
237
+ 234,
238
+ 235,
239
+ 236,
240
+ 237,
241
+ 238,
242
+ 239,
243
+ 240,
244
+ 241,
245
+ 242,
246
+ 243,
247
+ 244,
248
+ 245,
249
+ 246,
250
+ 247,
251
+ 248,
252
+ 249,
253
+ 250,
254
+ 251,
255
+ 252,
256
+ 253,
257
+ 254,
258
+ 255,
259
+ 256,
260
+ 257,
261
+ 258,
262
+ 259,
263
+ 260,
264
+ 261,
265
+ 262,
266
+ 263,
267
+ 264,
268
+ 265,
269
+ 266,
270
+ 267,
271
+ 268,
272
+ 269,
273
+ 270,
274
+ 271,
275
+ 272,
276
+ 273,
277
+ 274,
278
+ 275,
279
+ 276,
280
+ 277,
281
+ 278,
282
+ 279,
283
+ 280,
284
+ 281,
285
+ 282,
286
+ 283,
287
+ 284,
288
+ 285,
289
+ 286,
290
+ 287,
291
+ 288,
292
+ 289,
293
+ 290,
294
+ 291,
295
+ 292,
296
+ 293,
297
+ 294,
298
+ 295,
299
+ 296,
300
+ 297,
301
+ 298,
302
+ 299,
303
+ 300,
304
+ 301,
305
+ 302,
306
+ 303,
307
+ 304,
308
+ 305,
309
+ 306,
310
+ 307,
311
+ 308,
312
+ 309,
313
+ 310,
314
+ 311,
315
+ 312,
316
+ 313,
317
+ 314,
318
+ 315,
319
+ 316,
320
+ 317,
321
+ 318,
322
+ 319,
323
+ 320,
324
+ 321,
325
+ 322,
326
+ 323,
327
+ 324,
328
+ 325,
329
+ 326,
330
+ 327,
331
+ 328,
332
+ 329,
333
+ 330,
334
+ 331,
335
+ 332,
336
+ 333,
337
+ 334,
338
+ 335,
339
+ 336,
340
+ 337,
341
+ 338,
342
+ 339,
343
+ 340,
344
+ 341,
345
+ 342,
346
+ 343,
347
+ 344,
348
+ 345,
349
+ 346,
350
+ 347,
351
+ 348,
352
+ 349,
353
+ 350,
354
+ 351,
355
+ 352,
356
+ 353,
357
+ 354,
358
+ 355,
359
+ 356,
360
+ 357,
361
+ 358,
362
+ 359,
363
+ 360,
364
+ 361,
365
+ 362,
366
+ 363,
367
+ 364,
368
+ 365,
369
+ 366,
370
+ 367,
371
+ 368,
372
+ 369,
373
+ 370,
374
+ 371,
375
+ 372,
376
+ 373,
377
+ 374,
378
+ 375,
379
+ 376,
380
+ 377,
381
+ 378,
382
+ 379,
383
+ 380,
384
+ 381,
385
+ 382,
386
+ 383,
387
+ 384,
388
+ 385,
389
+ 386,
390
+ 387,
391
+ 388,
392
+ 389,
393
+ 390,
394
+ 391,
395
+ 392,
396
+ 393,
397
+ 394,
398
+ 395,
399
+ 396,
400
+ 397,
401
+ 398,
402
+ 399,
403
+ 400,
404
+ 401,
405
+ 402,
406
+ 403,
407
+ 404,
408
+ 405,
409
+ 406,
410
+ 407,
411
+ 408,
412
+ 409,
413
+ 410,
414
+ 411,
415
+ 412,
416
+ 413,
417
+ 414,
418
+ 415,
419
+ 416,
420
+ 417,
421
+ 418,
422
+ 419,
423
+ 420,
424
+ 421,
425
+ 422,
426
+ 423,
427
+ 424,
428
+ 425,
429
+ 426,
430
+ 427,
431
+ 428,
432
+ 429,
433
+ 430,
434
+ 431,
435
+ 432,
436
+ 433,
437
+ 434,
438
+ 435,
439
+ 436,
440
+ 437,
441
+ 438,
442
+ 439,
443
+ 440,
444
+ 441,
445
+ 442,
446
+ 443,
447
+ 444,
448
+ 445,
449
+ 446,
450
+ 447,
451
+ 448,
452
+ 449,
453
+ 450,
454
+ 451,
455
+ 452,
456
+ 453,
457
+ 454,
458
+ 455,
459
+ 456,
460
+ 457,
461
+ 458,
462
+ 459,
463
+ 460,
464
+ 461,
465
+ 462,
466
+ 463,
467
+ 464,
468
+ 465,
469
+ 466,
470
+ 467,
471
+ 468,
472
+ 469,
473
+ 470,
474
+ 471,
475
+ 472,
476
+ 473,
477
+ 474,
478
+ 475,
479
+ 476,
480
+ 477,
481
+ 478,
482
+ 479,
483
+ 480,
484
+ 481,
485
+ 482,
486
+ 483,
487
+ 484,
488
+ 485,
489
+ 486,
490
+ 487,
491
+ 488,
492
+ 489,
493
+ 490,
494
+ 491,
495
+ 492,
496
+ 493,
497
+ 494,
498
+ 495,
499
+ 496,
500
+ 497,
501
+ 498,
502
+ 499,
503
+ 500,
504
+ 501,
505
+ 502,
506
+ 503,
507
+ 504,
508
+ 505,
509
+ 506,
510
+ 507,
511
+ 508,
512
+ 509,
513
+ 510,
514
+ 511,
515
+ 512,
516
+ 513,
517
+ 514,
518
+ 515,
519
+ 516,
520
+ 517,
521
+ 518,
522
+ 519,
523
+ 520,
524
+ 521,
525
+ 522,
526
+ 523,
527
+ 524,
528
+ 525,
529
+ 526,
530
+ 527,
531
+ 528,
532
+ 529,
533
+ 530,
534
+ 531,
535
+ 532,
536
+ 533,
537
+ 534,
538
+ 535,
539
+ 536
540
+ ],
541
+ "losses": [
542
+ 127.0,
543
+ 46.75,
544
+ 42.5,
545
+ 37.5,
546
+ 34.75,
547
+ 30.0,
548
+ 25.75,
549
+ 22.0,
550
+ 18.875,
551
+ 16.5,
552
+ 14.75,
553
+ 13.375,
554
+ 12.3125,
555
+ 11.6875,
556
+ 11.1875,
557
+ 10.75,
558
+ 10.4375,
559
+ 10.1875,
560
+ 10.0,
561
+ 9.75,
562
+ 9.625,
563
+ 9.5,
564
+ 9.3125,
565
+ 9.1875,
566
+ 9.1875,
567
+ 9.125,
568
+ 9.0,
569
+ 8.9375,
570
+ 8.875,
571
+ 8.875,
572
+ 8.8125,
573
+ 8.75,
574
+ 8.75,
575
+ 8.6875,
576
+ 8.6875,
577
+ 8.625,
578
+ 8.5625,
579
+ 8.5625,
580
+ 8.5625,
581
+ 8.5625,
582
+ 8.5625,
583
+ 8.5625,
584
+ 8.5625,
585
+ 8.5625,
586
+ 8.5,
587
+ 8.5,
588
+ 8.5625,
589
+ 8.5,
590
+ 8.5625,
591
+ 8.5625,
592
+ 8.5,
593
+ 8.5,
594
+ 8.5,
595
+ 8.5,
596
+ 8.5625,
597
+ 8.5,
598
+ 8.5,
599
+ 8.5,
600
+ 8.5,
601
+ 8.5625,
602
+ 8.5,
603
+ 8.4375,
604
+ 8.5,
605
+ 8.5,
606
+ 8.5,
607
+ 8.5,
608
+ 8.5,
609
+ 8.4375,
610
+ 8.5,
611
+ 8.5,
612
+ 8.5,
613
+ 8.5,
614
+ 8.5,
615
+ 8.4375,
616
+ 8.5,
617
+ 8.4375,
618
+ 8.5,
619
+ 8.5,
620
+ 8.5,
621
+ 8.4375,
622
+ 8.4375,
623
+ 8.5,
624
+ 8.5,
625
+ 8.4375,
626
+ 8.5,
627
+ 8.5,
628
+ 8.4375,
629
+ 8.5,
630
+ 8.4375,
631
+ 8.5,
632
+ 8.5,
633
+ 8.5,
634
+ 8.4375,
635
+ 8.5,
636
+ 8.5,
637
+ 8.4375,
638
+ 8.4375,
639
+ 8.5,
640
+ 8.5,
641
+ 8.5,
642
+ 8.4375,
643
+ 8.4375,
644
+ 8.4375,
645
+ 8.4375,
646
+ 8.5,
647
+ 8.5,
648
+ 8.4375,
649
+ 8.5,
650
+ 8.4375,
651
+ 8.4375,
652
+ 8.5,
653
+ 8.4375,
654
+ 8.4375,
655
+ 8.5,
656
+ 8.4375,
657
+ 8.5,
658
+ 8.4375,
659
+ 8.5,
660
+ 8.4375,
661
+ 8.5,
662
+ 8.4375,
663
+ 8.4375,
664
+ 8.5,
665
+ 8.5,
666
+ 8.5,
667
+ 8.5,
668
+ 8.5,
669
+ 8.4375,
670
+ 8.4375,
671
+ 8.5,
672
+ 8.5,
673
+ 8.5,
674
+ 8.5,
675
+ 8.5,
676
+ 8.4375,
677
+ 8.5,
678
+ 8.4375,
679
+ 8.5,
680
+ 8.4375,
681
+ 8.5,
682
+ 8.4375,
683
+ 8.4375,
684
+ 8.4375,
685
+ 8.4375,
686
+ 8.4375,
687
+ 8.5,
688
+ 8.5,
689
+ 8.4375,
690
+ 8.4375,
691
+ 8.4375,
692
+ 8.4375,
693
+ 8.5,
694
+ 8.4375,
695
+ 8.4375,
696
+ 8.4375,
697
+ 8.5,
698
+ 8.5,
699
+ 8.4375,
700
+ 8.4375,
701
+ 8.4375,
702
+ 8.4375,
703
+ 8.4375,
704
+ 8.4375,
705
+ 8.4375,
706
+ 8.5,
707
+ 8.4375,
708
+ 8.4375,
709
+ 8.4375,
710
+ 8.4375,
711
+ 8.5,
712
+ 8.4375,
713
+ 8.4375,
714
+ 8.5,
715
+ 8.5,
716
+ 8.4375,
717
+ 8.4375,
718
+ 8.4375,
719
+ 8.5,
720
+ 8.4375,
721
+ 8.5,
722
+ 8.4375,
723
+ 8.4375,
724
+ 8.5,
725
+ 8.4375,
726
+ 8.4375,
727
+ 8.5,
728
+ 8.4375,
729
+ 8.4375,
730
+ 8.5,
731
+ 8.4375,
732
+ 8.4375,
733
+ 8.375,
734
+ 8.5,
735
+ 8.4375,
736
+ 8.4375,
737
+ 8.4375,
738
+ 8.5,
739
+ 8.5,
740
+ 8.5,
741
+ 8.4375,
742
+ 8.5,
743
+ 8.4375,
744
+ 8.5,
745
+ 8.5,
746
+ 8.4375,
747
+ 8.5,
748
+ 8.4375,
749
+ 8.4375,
750
+ 8.4375,
751
+ 8.4375,
752
+ 8.4375,
753
+ 8.4375,
754
+ 8.4375,
755
+ 8.4375,
756
+ 8.4375,
757
+ 8.4375,
758
+ 8.4375,
759
+ 8.375,
760
+ 8.4375,
761
+ 8.4375,
762
+ 8.4375,
763
+ 8.4375,
764
+ 8.4375,
765
+ 8.4375,
766
+ 8.375,
767
+ 8.4375,
768
+ 8.4375,
769
+ 8.4375,
770
+ 8.4375,
771
+ 8.4375,
772
+ 8.4375,
773
+ 8.4375,
774
+ 8.4375,
775
+ 8.4375,
776
+ 8.4375,
777
+ 8.4375,
778
+ 8.4375,
779
+ 8.4375,
780
+ 8.375,
781
+ 8.4375,
782
+ 8.375,
783
+ 8.5,
784
+ 8.4375,
785
+ 8.4375,
786
+ 8.4375,
787
+ 8.4375,
788
+ 8.4375,
789
+ 8.4375,
790
+ 8.4375,
791
+ 8.4375,
792
+ 8.4375,
793
+ 8.4375,
794
+ 8.4375,
795
+ 8.375,
796
+ 8.4375,
797
+ 8.4375,
798
+ 8.375,
799
+ 8.375,
800
+ 8.375,
801
+ 8.4375,
802
+ 8.4375,
803
+ 8.375,
804
+ 8.375,
805
+ 8.375,
806
+ 8.375,
807
+ 8.5,
808
+ 8.4375,
809
+ 8.4375,
810
+ 8.4375,
811
+ 8.4375,
812
+ 8.4375,
813
+ 8.375,
814
+ 8.4375,
815
+ 8.375,
816
+ 8.375,
817
+ 8.4375,
818
+ 8.375,
819
+ 8.4375,
820
+ 8.4375,
821
+ 8.375,
822
+ 8.4375,
823
+ 8.375,
824
+ 8.375,
825
+ 8.375,
826
+ 8.375,
827
+ 8.375,
828
+ 8.375,
829
+ 8.375,
830
+ 8.375,
831
+ 8.375,
832
+ 8.375,
833
+ 8.375,
834
+ 8.375,
835
+ 8.4375,
836
+ 8.375,
837
+ 8.375,
838
+ 8.375,
839
+ 8.375,
840
+ 8.375,
841
+ 8.375,
842
+ 8.375,
843
+ 8.375,
844
+ 8.4375,
845
+ 8.4375,
846
+ 8.4375,
847
+ 8.4375,
848
+ 8.375,
849
+ 8.4375,
850
+ 8.4375,
851
+ 8.375,
852
+ 8.4375,
853
+ 8.375,
854
+ 8.375,
855
+ 8.375,
856
+ 8.4375,
857
+ 8.4375,
858
+ 8.4375,
859
+ 8.4375,
860
+ 8.375,
861
+ 8.375,
862
+ 8.4375,
863
+ 8.4375,
864
+ 8.5,
865
+ 8.4375,
866
+ 8.5,
867
+ 8.5,
868
+ 8.5,
869
+ 8.4375,
870
+ 8.5625,
871
+ 8.5,
872
+ 8.4375,
873
+ 8.5,
874
+ 8.5,
875
+ 8.5,
876
+ 8.5,
877
+ 8.5,
878
+ 8.5,
879
+ 8.5,
880
+ 8.5,
881
+ 8.5,
882
+ 8.5,
883
+ 8.4375,
884
+ 8.5,
885
+ 8.5,
886
+ 8.5,
887
+ 8.4375,
888
+ 8.4375,
889
+ 8.4375,
890
+ 8.4375,
891
+ 8.4375,
892
+ 8.5,
893
+ 8.5,
894
+ 8.5,
895
+ 8.4375,
896
+ 8.4375,
897
+ 8.4375,
898
+ 8.5,
899
+ 8.4375,
900
+ 8.5,
901
+ 8.4375,
902
+ 8.4375,
903
+ 8.5,
904
+ 8.5,
905
+ 8.5,
906
+ 8.5,
907
+ 8.5,
908
+ 8.5,
909
+ 8.5,
910
+ 8.5,
911
+ 8.5,
912
+ 8.5,
913
+ 8.5,
914
+ 8.625,
915
+ 8.5625,
916
+ 8.5625,
917
+ 8.5625,
918
+ 8.5,
919
+ 8.5625,
920
+ 8.5,
921
+ 8.5625,
922
+ 8.5,
923
+ 8.5,
924
+ 8.5625,
925
+ 8.5625,
926
+ 8.5625,
927
+ 8.5625,
928
+ 8.5625,
929
+ 8.5625,
930
+ 8.5625,
931
+ 8.5625,
932
+ 8.5,
933
+ 8.5625,
934
+ 8.5625,
935
+ 8.5,
936
+ 8.5625,
937
+ 8.5625,
938
+ 8.5,
939
+ 8.5625,
940
+ 8.625,
941
+ 8.6875,
942
+ 8.5625,
943
+ 8.5625,
944
+ 8.625,
945
+ 8.5625,
946
+ 8.5625,
947
+ 8.5625,
948
+ 8.5625,
949
+ 8.625,
950
+ 8.5625,
951
+ 8.625,
952
+ 8.5625,
953
+ 8.5625,
954
+ 8.5625,
955
+ 8.5625,
956
+ 8.5625,
957
+ 8.5625,
958
+ 8.5625,
959
+ 8.5625,
960
+ 8.5625,
961
+ 8.5625,
962
+ 8.5625,
963
+ 8.5,
964
+ 8.5625,
965
+ 8.5625,
966
+ 8.625,
967
+ 8.5625,
968
+ 8.5625,
969
+ 8.5625,
970
+ 8.625,
971
+ 8.625,
972
+ 8.5625,
973
+ 8.5625,
974
+ 8.5625,
975
+ 8.625,
976
+ 8.5,
977
+ 8.5625,
978
+ 8.5625,
979
+ 8.5625,
980
+ 8.5,
981
+ 8.5625,
982
+ 8.5,
983
+ 8.5625,
984
+ 8.5,
985
+ 8.5,
986
+ 8.5625,
987
+ 8.5625,
988
+ 8.5625,
989
+ 8.5625,
990
+ 8.5625,
991
+ 8.5625,
992
+ 8.5625,
993
+ 8.5,
994
+ 8.5,
995
+ 8.5625,
996
+ 8.5,
997
+ 8.5,
998
+ 8.5625,
999
+ 8.5625,
1000
+ 8.5,
1001
+ 8.5,
1002
+ 8.5,
1003
+ 8.5,
1004
+ 8.5,
1005
+ 8.5625,
1006
+ 8.5625,
1007
+ 8.5,
1008
+ 8.5,
1009
+ 8.5,
1010
+ 8.5625,
1011
+ 8.5625,
1012
+ 8.5,
1013
+ 8.5,
1014
+ 8.5,
1015
+ 8.5625,
1016
+ 8.5,
1017
+ 8.5625,
1018
+ 8.5625,
1019
+ 8.5625,
1020
+ 8.5,
1021
+ 8.5625,
1022
+ 8.5625,
1023
+ 8.5625,
1024
+ 8.5625,
1025
+ 8.5625,
1026
+ 8.5625,
1027
+ 8.5,
1028
+ 8.625,
1029
+ 8.5625,
1030
+ 8.5,
1031
+ 8.5,
1032
+ 8.5625,
1033
+ 8.5,
1034
+ 8.5625,
1035
+ 8.625,
1036
+ 8.5625,
1037
+ 8.5625,
1038
+ 8.5,
1039
+ 8.5,
1040
+ 8.5625,
1041
+ 8.5,
1042
+ 8.5625,
1043
+ 8.5625,
1044
+ 8.5,
1045
+ 8.5625,
1046
+ 8.5,
1047
+ 8.5625,
1048
+ 8.5625,
1049
+ 8.5625,
1050
+ 8.5625,
1051
+ 8.5,
1052
+ 8.5625,
1053
+ 8.5625,
1054
+ 8.5,
1055
+ 8.5625,
1056
+ 8.5625,
1057
+ 8.5,
1058
+ 8.5625,
1059
+ 8.5625,
1060
+ 8.5625,
1061
+ 8.5,
1062
+ 8.5625,
1063
+ 8.4375,
1064
+ 8.5625,
1065
+ 8.5625,
1066
+ 8.5,
1067
+ 8.5,
1068
+ 8.5,
1069
+ 8.5625,
1070
+ 8.5625,
1071
+ 8.5,
1072
+ 8.5,
1073
+ 8.5625,
1074
+ 8.5625,
1075
+ 8.5625,
1076
+ 8.5625,
1077
+ 8.5625
1078
+ ],
1079
+ "grad_norms": [
1080
+ 11.5625,
1081
+ 22.0,
1082
+ 13.1875,
1083
+ 15.1875,
1084
+ 15.0625,
1085
+ 10.5625,
1086
+ 9.375,
1087
+ 5.75,
1088
+ 4.4375,
1089
+ 3.9375,
1090
+ 3.171875,
1091
+ 2.515625,
1092
+ 2.125,
1093
+ 1.7265625,
1094
+ 1.4140625,
1095
+ 1.1484375,
1096
+ 1.140625,
1097
+ 1.3515625,
1098
+ 1.546875,
1099
+ 1.640625,
1100
+ 1.65625,
1101
+ 1.640625,
1102
+ 1.4765625,
1103
+ 1.2890625,
1104
+ 1.078125,
1105
+ 0.8046875,
1106
+ 0.67578125,
1107
+ 0.458984375,
1108
+ 0.4453125,
1109
+ 0.578125,
1110
+ 0.6171875,
1111
+ 0.625,
1112
+ 0.5390625,
1113
+ 0.4296875,
1114
+ 0.3671875,
1115
+ 0.51171875,
1116
+ 0.35546875,
1117
+ 0.31640625,
1118
+ 0.302734375,
1119
+ 0.41015625,
1120
+ 0.400390625,
1121
+ 0.384765625,
1122
+ 0.34375,
1123
+ 0.3515625,
1124
+ 0.306640625,
1125
+ 0.298828125,
1126
+ 0.208984375,
1127
+ 0.2138671875,
1128
+ 0.1640625,
1129
+ 0.2099609375,
1130
+ 0.20703125,
1131
+ 0.189453125,
1132
+ 0.20703125,
1133
+ 0.18359375,
1134
+ 0.1748046875,
1135
+ 0.2197265625,
1136
+ 0.1923828125,
1137
+ 0.2177734375,
1138
+ 0.18359375,
1139
+ 0.2578125,
1140
+ 0.205078125,
1141
+ 0.1689453125,
1142
+ 0.2216796875,
1143
+ 0.1552734375,
1144
+ 0.17578125,
1145
+ 0.1728515625,
1146
+ 0.232421875,
1147
+ 0.248046875,
1148
+ 0.24609375,
1149
+ 0.2236328125,
1150
+ 0.1943359375,
1151
+ 0.20703125,
1152
+ 0.25390625,
1153
+ 0.2001953125,
1154
+ 0.2275390625,
1155
+ 0.20703125,
1156
+ 0.1982421875,
1157
+ 0.162109375,
1158
+ 0.2314453125,
1159
+ 0.2099609375,
1160
+ 0.212890625,
1161
+ 0.283203125,
1162
+ 0.27734375,
1163
+ 0.2158203125,
1164
+ 0.25390625,
1165
+ 0.216796875,
1166
+ 0.23046875,
1167
+ 0.1533203125,
1168
+ 0.2197265625,
1169
+ 0.1416015625,
1170
+ 0.15625,
1171
+ 0.1650390625,
1172
+ 0.1943359375,
1173
+ 0.173828125,
1174
+ 0.17578125,
1175
+ 0.271484375,
1176
+ 0.1982421875,
1177
+ 0.2060546875,
1178
+ 0.283203125,
1179
+ 0.177734375,
1180
+ 0.1826171875,
1181
+ 0.2001953125,
1182
+ 0.2197265625,
1183
+ 0.2890625,
1184
+ 0.34765625,
1185
+ 0.16796875,
1186
+ 0.275390625,
1187
+ 0.19921875,
1188
+ 0.240234375,
1189
+ 0.244140625,
1190
+ 0.1904296875,
1191
+ 0.2265625,
1192
+ 0.20703125,
1193
+ 0.2177734375,
1194
+ 0.189453125,
1195
+ 0.1572265625,
1196
+ 0.1962890625,
1197
+ 0.1591796875,
1198
+ 0.142578125,
1199
+ 0.2099609375,
1200
+ 0.1591796875,
1201
+ 0.21484375,
1202
+ 0.1796875,
1203
+ 0.1953125,
1204
+ 0.21484375,
1205
+ 0.154296875,
1206
+ 0.197265625,
1207
+ 0.2236328125,
1208
+ 0.16015625,
1209
+ 0.21875,
1210
+ 0.216796875,
1211
+ 0.23046875,
1212
+ 0.142578125,
1213
+ 0.2177734375,
1214
+ 0.18359375,
1215
+ 0.228515625,
1216
+ 0.1201171875,
1217
+ 0.1650390625,
1218
+ 0.1806640625,
1219
+ 0.1845703125,
1220
+ 0.1875,
1221
+ 0.1640625,
1222
+ 0.134765625,
1223
+ 0.1962890625,
1224
+ 0.181640625,
1225
+ 0.232421875,
1226
+ 0.1923828125,
1227
+ 0.146484375,
1228
+ 0.158203125,
1229
+ 0.1328125,
1230
+ 0.154296875,
1231
+ 0.1689453125,
1232
+ 0.1396484375,
1233
+ 0.21875,
1234
+ 0.1875,
1235
+ 0.2314453125,
1236
+ 0.171875,
1237
+ 0.1650390625,
1238
+ 0.1806640625,
1239
+ 0.2060546875,
1240
+ 0.1845703125,
1241
+ 0.201171875,
1242
+ 0.1728515625,
1243
+ 0.154296875,
1244
+ 0.150390625,
1245
+ 0.1259765625,
1246
+ 0.17578125,
1247
+ 0.142578125,
1248
+ 0.166015625,
1249
+ 0.158203125,
1250
+ 0.19921875,
1251
+ 0.259765625,
1252
+ 0.171875,
1253
+ 0.138671875,
1254
+ 0.126953125,
1255
+ 0.1455078125,
1256
+ 0.169921875,
1257
+ 0.302734375,
1258
+ 0.1640625,
1259
+ 0.1611328125,
1260
+ 0.203125,
1261
+ 0.22265625,
1262
+ 0.177734375,
1263
+ 0.1728515625,
1264
+ 0.17578125,
1265
+ 0.12158203125,
1266
+ 0.150390625,
1267
+ 0.2080078125,
1268
+ 0.205078125,
1269
+ 0.1640625,
1270
+ 0.283203125,
1271
+ 0.1884765625,
1272
+ 0.279296875,
1273
+ 0.26171875,
1274
+ 0.19921875,
1275
+ 0.259765625,
1276
+ 0.208984375,
1277
+ 0.205078125,
1278
+ 0.224609375,
1279
+ 0.201171875,
1280
+ 0.2021484375,
1281
+ 0.1572265625,
1282
+ 0.1494140625,
1283
+ 0.173828125,
1284
+ 0.1806640625,
1285
+ 0.1396484375,
1286
+ 0.1533203125,
1287
+ 0.16796875,
1288
+ 0.181640625,
1289
+ 0.15625,
1290
+ 0.1455078125,
1291
+ 0.212890625,
1292
+ 0.1396484375,
1293
+ 0.1572265625,
1294
+ 0.2373046875,
1295
+ 0.1767578125,
1296
+ 0.216796875,
1297
+ 0.2216796875,
1298
+ 0.2890625,
1299
+ 0.1513671875,
1300
+ 0.171875,
1301
+ 0.2734375,
1302
+ 0.3046875,
1303
+ 0.2333984375,
1304
+ 0.30078125,
1305
+ 0.1875,
1306
+ 0.32421875,
1307
+ 0.283203125,
1308
+ 0.177734375,
1309
+ 0.296875,
1310
+ 0.169921875,
1311
+ 0.361328125,
1312
+ 0.216796875,
1313
+ 0.271484375,
1314
+ 0.2109375,
1315
+ 0.1416015625,
1316
+ 0.2158203125,
1317
+ 0.1865234375,
1318
+ 0.16796875,
1319
+ 0.26953125,
1320
+ 0.2451171875,
1321
+ 0.158203125,
1322
+ 0.333984375,
1323
+ 0.1630859375,
1324
+ 0.3671875,
1325
+ 0.2080078125,
1326
+ 0.2373046875,
1327
+ 0.1708984375,
1328
+ 0.2255859375,
1329
+ 0.216796875,
1330
+ 0.3359375,
1331
+ 0.267578125,
1332
+ 0.291015625,
1333
+ 0.328125,
1334
+ 0.2314453125,
1335
+ 0.228515625,
1336
+ 0.205078125,
1337
+ 0.373046875,
1338
+ 0.2333984375,
1339
+ 0.326171875,
1340
+ 0.25,
1341
+ 0.33203125,
1342
+ 0.2294921875,
1343
+ 0.302734375,
1344
+ 0.333984375,
1345
+ 0.33984375,
1346
+ 0.3046875,
1347
+ 0.26953125,
1348
+ 0.287109375,
1349
+ 0.36328125,
1350
+ 0.330078125,
1351
+ 0.29296875,
1352
+ 0.29296875,
1353
+ 0.396484375,
1354
+ 0.423828125,
1355
+ 0.31640625,
1356
+ 0.265625,
1357
+ 0.373046875,
1358
+ 0.33984375,
1359
+ 0.498046875,
1360
+ 0.423828125,
1361
+ 0.33984375,
1362
+ 0.41796875,
1363
+ 0.62109375,
1364
+ 0.87890625,
1365
+ 0.55078125,
1366
+ 0.76953125,
1367
+ 0.7578125,
1368
+ 0.71875,
1369
+ 0.62109375,
1370
+ 0.70703125,
1371
+ 0.70703125,
1372
+ 0.7890625,
1373
+ 1.1953125,
1374
+ 2.25,
1375
+ 1.3671875,
1376
+ 1.578125,
1377
+ 1.8515625,
1378
+ 2.96875,
1379
+ 2.375,
1380
+ 2.859375,
1381
+ 4.25,
1382
+ 4.59375,
1383
+ 3.453125,
1384
+ 4.78125,
1385
+ 3.875,
1386
+ 5.6875,
1387
+ 3.546875,
1388
+ 4.09375,
1389
+ 4.875,
1390
+ 4.40625,
1391
+ 9.625,
1392
+ 17.0,
1393
+ 17.625,
1394
+ 20.0,
1395
+ 20.625,
1396
+ 22.0,
1397
+ 28.0,
1398
+ 34.25,
1399
+ 23.75,
1400
+ 10.5,
1401
+ 12.75,
1402
+ 40.5,
1403
+ 18.75,
1404
+ 23.25,
1405
+ 48.25,
1406
+ 47.0,
1407
+ 13.1875,
1408
+ 45.75,
1409
+ 59.75,
1410
+ 65.0,
1411
+ 64.0,
1412
+ 43.5,
1413
+ 39.25,
1414
+ 58.0,
1415
+ 71.0,
1416
+ 90.5,
1417
+ 67.0,
1418
+ 69.0,
1419
+ 43.0,
1420
+ 19.0,
1421
+ 11.125,
1422
+ 10.3125,
1423
+ 16.875,
1424
+ 20.375,
1425
+ 18.125,
1426
+ 52.25,
1427
+ 23.25,
1428
+ 30.875,
1429
+ 101.0,
1430
+ 30.75,
1431
+ 24.5,
1432
+ 46.5,
1433
+ 70.0,
1434
+ 36.0,
1435
+ 83.0,
1436
+ 28.25,
1437
+ 42.75,
1438
+ 24.625,
1439
+ 29.5,
1440
+ 27.5,
1441
+ 34.0,
1442
+ 36.75,
1443
+ 36.75,
1444
+ 45.0,
1445
+ 59.75,
1446
+ 63.25,
1447
+ 42.0,
1448
+ 51.75,
1449
+ 37.5,
1450
+ 61.0,
1451
+ 52.75,
1452
+ 46.5,
1453
+ 63.0,
1454
+ 52.75,
1455
+ 131.0,
1456
+ 146.0,
1457
+ 71.5,
1458
+ 75.5,
1459
+ 78.0,
1460
+ 73.5,
1461
+ 58.75,
1462
+ 70.5,
1463
+ 56.0,
1464
+ 64.5,
1465
+ 65.0,
1466
+ 70.0,
1467
+ 98.5,
1468
+ 109.0,
1469
+ 99.0,
1470
+ 114.5,
1471
+ 67.5,
1472
+ 191.0,
1473
+ 98.5,
1474
+ 100.5,
1475
+ 274.0,
1476
+ 316.0,
1477
+ 154.0,
1478
+ 57.75,
1479
+ 70.5,
1480
+ 96.5,
1481
+ 93.5,
1482
+ 69.5,
1483
+ 64.5,
1484
+ 78.0,
1485
+ 91.0,
1486
+ 77.0,
1487
+ 95.0,
1488
+ 67.5,
1489
+ 76.0,
1490
+ 80.0,
1491
+ 104.0,
1492
+ 86.0,
1493
+ 94.5,
1494
+ 95.5,
1495
+ 211.0,
1496
+ 124.5,
1497
+ 65.0,
1498
+ 128.0,
1499
+ 73.5,
1500
+ 110.0,
1501
+ 97.5,
1502
+ 68.5,
1503
+ 110.0,
1504
+ 87.5,
1505
+ 74.5,
1506
+ 90.5,
1507
+ 129.0,
1508
+ 104.5,
1509
+ 131.0,
1510
+ 76.5,
1511
+ 107.5,
1512
+ 139.0,
1513
+ 243.0,
1514
+ 92.5,
1515
+ 96.0,
1516
+ 66.0,
1517
+ 76.5,
1518
+ 147.0,
1519
+ 109.0,
1520
+ 158.0,
1521
+ 95.5,
1522
+ 131.0,
1523
+ 258.0,
1524
+ 312.0,
1525
+ 464.0,
1526
+ 306.0,
1527
+ 628.0,
1528
+ 247.0,
1529
+ 442.0,
1530
+ 468.0,
1531
+ 294.0,
1532
+ 274.0,
1533
+ 212.0,
1534
+ 204.0,
1535
+ 138.0,
1536
+ 286.0,
1537
+ 284.0,
1538
+ 244.0,
1539
+ 352.0,
1540
+ 107.0,
1541
+ 118.0,
1542
+ 150.0,
1543
+ 164.0,
1544
+ 328.0,
1545
+ 212.0,
1546
+ 121.5,
1547
+ 95.0,
1548
+ 217.0,
1549
+ 205.0,
1550
+ 146.0,
1551
+ 109.5,
1552
+ 133.0,
1553
+ 85.0,
1554
+ 102.0,
1555
+ 133.0,
1556
+ 164.0,
1557
+ 240.0,
1558
+ 84.5,
1559
+ 127.5,
1560
+ 592.0,
1561
+ 332.0,
1562
+ 247.0,
1563
+ 243.0,
1564
+ 86.0,
1565
+ 140.0,
1566
+ 165.0,
1567
+ 165.0,
1568
+ 247.0,
1569
+ 197.0,
1570
+ 233.0,
1571
+ 129.0,
1572
+ 160.0,
1573
+ 131.0,
1574
+ 110.5,
1575
+ 110.5,
1576
+ 206.0,
1577
+ 139.0,
1578
+ 214.0,
1579
+ 164.0,
1580
+ 127.0,
1581
+ 187.0,
1582
+ 145.0,
1583
+ 330.0,
1584
+ 133.0,
1585
+ 235.0,
1586
+ 177.0,
1587
+ 215.0,
1588
+ 236.0,
1589
+ 142.0,
1590
+ 123.5,
1591
+ 203.0,
1592
+ 108.0,
1593
+ 122.5,
1594
+ 140.0,
1595
+ 141.0,
1596
+ 122.5,
1597
+ 192.0,
1598
+ 189.0,
1599
+ 213.0,
1600
+ 181.0,
1601
+ 132.0,
1602
+ 102.0,
1603
+ 112.5,
1604
+ 158.0,
1605
+ 150.0,
1606
+ 178.0,
1607
+ 131.0,
1608
+ 111.5,
1609
+ 148.0,
1610
+ 127.0,
1611
+ 123.5,
1612
+ 120.0,
1613
+ 125.0,
1614
+ 136.0,
1615
+ 154.0
1616
+ ]
1617
+ },
1618
+ "eval": {
1619
+ "effective_batch_nums": [
1620
+ 50,
1621
+ 100,
1622
+ 150,
1623
+ 200,
1624
+ 250,
1625
+ 300,
1626
+ 350,
1627
+ 400,
1628
+ 450,
1629
+ 500
1630
+ ],
1631
+ "losses": [
1632
+ 8.547794117647058,
1633
+ 8.496323529411764,
1634
+ 8.492647058823529,
1635
+ 8.5,
1636
+ 8.459558823529411,
1637
+ 8.422794117647058,
1638
+ 8.522058823529411,
1639
+ 8.621323529411764,
1640
+ 8.580882352941176,
1641
+ 8.577205882352942
1642
+ ],
1643
+ "perplexities": [
1644
+ 5180.235294117647,
1645
+ 4909.176470588235,
1646
+ 4890.35294117647,
1647
+ 4931.764705882353,
1648
+ 4736.0,
1649
+ 4576.941176470588,
1650
+ 5048.470588235294,
1651
+ 5564.235294117647,
1652
+ 5353.411764705882,
1653
+ 5332.705882352941
1654
+ ],
1655
+ "accuracies": [
1656
+ 0.046659516558234596,
1657
+ 0.050909109305596306,
1658
+ 0.050909109305596306,
1659
+ 0.0644066253174547,
1660
+ 0.0733965375937187,
1661
+ 0.07171187761172887,
1662
+ 0.05924640555280119,
1663
+ 0.07454493944330336,
1664
+ 0.07186870782026246,
1665
+ 0.07511155180961825
1666
+ ]
1667
+ }
1668
+ }
expdecaybackward_42/epoch3/model.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:815f9c4cb550adca54ce59226e0c25b518b8f9cda1e8779c46f7833109b7e6b7
3
+ size 18206151
expdecaybackward_42/epoch3/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b04ce8fa0c955879b083808196a3ebd1ab3be6ec74a1d5992305bcc9c99a8138
3
+ size 36464267
expdecaybackward_42/epoch3/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cd4c37088f58e83ecf1040c3b8460ad83c527d0a5f1bb1c7459d9b3517bad988
3
+ size 1465
expdecaybackward_42/epoch3/tokenizer/merges.txt ADDED
The diff for this file is too large to render. See raw diff
 
expdecaybackward_42/epoch3/tokenizer/special_tokens_map.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": "<|endoftext|>",
3
+ "eos_token": "<|endoftext|>",
4
+ "pad_token": "<|endoftext|>",
5
+ "unk_token": "<|endoftext|>"
6
+ }
expdecaybackward_42/epoch3/tokenizer/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
expdecaybackward_42/epoch3/tokenizer/tokenizer_config.json ADDED
@@ -0,0 +1,21 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": false,
3
+ "added_tokens_decoder": {
4
+ "50256": {
5
+ "content": "<|endoftext|>",
6
+ "lstrip": false,
7
+ "normalized": true,
8
+ "rstrip": false,
9
+ "single_word": false,
10
+ "special": true
11
+ }
12
+ },
13
+ "bos_token": "<|endoftext|>",
14
+ "clean_up_tokenization_spaces": false,
15
+ "eos_token": "<|endoftext|>",
16
+ "extra_special_tokens": {},
17
+ "model_max_length": 1024,
18
+ "pad_token": "<|endoftext|>",
19
+ "tokenizer_class": "GPT2Tokenizer",
20
+ "unk_token": "<|endoftext|>"
21
+ }
expdecaybackward_42/epoch3/tokenizer/vocab.json ADDED
The diff for this file is too large to render. See raw diff