Hugging Face's logo

Arko007
/
Zenyx-V3-Base

Text Generation
JAX
English
flax
mixture-of-experts
base
pretrained
Model card Files
xet
 Community
Arko007 commited on
Commit
29fbcb8
·
verified ·
1 Parent(s): ce604fb

step 26000

Browse files
Files changed (3) hide show
  1. checkpoints/step_26000/metadata.json +1049 -0
  2. checkpoints/step_26000/opt_state.pkl +3 -0
  3. checkpoints/step_26000/params.pkl +3 -0
checkpoints/step_26000/metadata.json ADDED
@@ -0,0 +1,1049 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "step": 26000,
3
+ "tokens_consumed": 13631488000,
4
+ "sequences_consumed": 6656000,
5
+ "data_state": {
6
+ "stream_state": {
7
+ "rng_state": [
8
+ "MT19937",
9
+ [
10
+ 1626383806,
11
+ 25368210,
12
+ 1444106772,
13
+ 343391631,
14
+ 225833922,
15
+ 3358650562,
16
+ 3647108991,
17
+ 820739546,
18
+ 2346101112,
19
+ 2427562889,
20
+ 99115678,
21
+ 3775603710,
22
+ 131280223,
23
+ 2752640257,
24
+ 1544108785,
25
+ 2284198995,
26
+ 2901574786,
27
+ 1556286281,
28
+ 3173255371,
29
+ 3702548949,
30
+ 795993552,
31
+ 2132024870,
32
+ 859226393,
33
+ 498515025,
34
+ 2036022139,
35
+ 2382031581,
36
+ 48296634,
37
+ 2336898906,
38
+ 2536223671,
39
+ 865721758,
40
+ 1165751825,
41
+ 940905928,
42
+ 3809689546,
43
+ 1145627922,
44
+ 1212586754,
45
+ 1735731069,
46
+ 3275819658,
47
+ 1547907149,
48
+ 1058682554,
49
+ 877303276,
50
+ 946083900,
51
+ 2053450897,
52
+ 1098572229,
53
+ 3619381782,
54
+ 3218919954,
55
+ 1901120289,
56
+ 449319411,
57
+ 2522586601,
58
+ 1400762918,
59
+ 1557727044,
60
+ 3499984874,
61
+ 3899413817,
62
+ 1607841950,
63
+ 1802148004,
64
+ 3921345262,
65
+ 2133443975,
66
+ 3189567234,
67
+ 1516917810,
68
+ 22787114,
69
+ 2472651406,
70
+ 3536612238,
71
+ 2716974713,
72
+ 1435811628,
73
+ 771468284,
74
+ 4275153362,
75
+ 1311077178,
76
+ 3549711873,
77
+ 3003640802,
78
+ 3041016700,
79
+ 326237049,
80
+ 2178761237,
81
+ 3539032763,
82
+ 969807216,
83
+ 2056696769,
84
+ 4196712762,
85
+ 2986520682,
86
+ 2048406890,
87
+ 151011033,
88
+ 3824123571,
89
+ 2454337027,
90
+ 3105928115,
91
+ 3525140069,
92
+ 4288068402,
93
+ 2304240651,
94
+ 24559089,
95
+ 3096517004,
96
+ 3081821922,
97
+ 2091163832,
98
+ 782867160,
99
+ 3524083963,
100
+ 3048193641,
101
+ 1164799822,
102
+ 1557326360,
103
+ 837457247,
104
+ 1397377272,
105
+ 2585032325,
106
+ 1859441866,
107
+ 569739613,
108
+ 2100029089,
109
+ 4043302957,
110
+ 1595057680,
111
+ 330789506,
112
+ 1865209357,
113
+ 636002004,
114
+ 465725870,
115
+ 1732801958,
116
+ 518389909,
117
+ 873920570,
118
+ 1115583872,
119
+ 1479832455,
120
+ 1803304234,
121
+ 4015691768,
122
+ 2236707748,
123
+ 1564530518,
124
+ 3118282242,
125
+ 4293976812,
126
+ 1175414971,
127
+ 2291750485,
128
+ 124255727,
129
+ 1770855506,
130
+ 2813170818,
131
+ 707352519,
132
+ 887295659,
133
+ 1637162496,
134
+ 1775299566,
135
+ 3310993918,
136
+ 4009200608,
137
+ 1431627372,
138
+ 181500044,
139
+ 4063222284,
140
+ 1302664463,
141
+ 2539164213,
142
+ 4075172457,
143
+ 2949134133,
144
+ 273809247,
145
+ 2273922773,
146
+ 358334626,
147
+ 496403996,
148
+ 4203548559,
149
+ 2125166743,
150
+ 122556613,
151
+ 2041375341,
152
+ 2215413433,
153
+ 2451951153,
154
+ 2364502321,
155
+ 380819616,
156
+ 2409322170,
157
+ 1706352689,
158
+ 1104481763,
159
+ 3472089098,
160
+ 929027169,
161
+ 875787970,
162
+ 3990844883,
163
+ 1233286638,
164
+ 295923915,
165
+ 1069622827,
166
+ 1610573970,
167
+ 3488466737,
168
+ 164430140,
169
+ 239406576,
170
+ 3236346611,
171
+ 76131612,
172
+ 2958904349,
173
+ 2068359972,
174
+ 3809502396,
175
+ 2861599728,
176
+ 577721107,
177
+ 2916512550,
178
+ 2854683165,
179
+ 2955512446,
180
+ 1591774354,
181
+ 3218834222,
182
+ 3747631979,
183
+ 1677940182,
184
+ 3080046272,
185
+ 4158564418,
186
+ 2158852038,
187
+ 3104919021,
188
+ 2386716925,
189
+ 3986946266,
190
+ 4097256923,
191
+ 3201195300,
192
+ 3876212900,
193
+ 4033285259,
194
+ 2997941016,
195
+ 773893929,
196
+ 1634189203,
197
+ 4199599470,
198
+ 3365798392,
199
+ 266548373,
200
+ 2433962447,
201
+ 2638236910,
202
+ 2440948904,
203
+ 680829056,
204
+ 3351948191,
205
+ 1258827029,
206
+ 2476138641,
207
+ 2357337024,
208
+ 795048367,
209
+ 2033516082,
210
+ 278275957,
211
+ 2087515226,
212
+ 4205700650,
213
+ 3335949566,
214
+ 724209660,
215
+ 1383634177,
216
+ 283697726,
217
+ 1646918378,
218
+ 757359681,
219
+ 3631890517,
220
+ 1715570333,
221
+ 34351228,
222
+ 385744033,
223
+ 3368700823,
224
+ 203484013,
225
+ 2620076711,
226
+ 3437490783,
227
+ 3977393702,
228
+ 1084562949,
229
+ 2769331935,
230
+ 3879724706,
231
+ 1755411485,
232
+ 850940666,
233
+ 861010396,
234
+ 857462436,
235
+ 2481392051,
236
+ 3282502495,
237
+ 3750399193,
238
+ 3797492576,
239
+ 1814236601,
240
+ 717058785,
241
+ 775675576,
242
+ 1130720302,
243
+ 3181873229,
244
+ 3431399331,
245
+ 2334470937,
246
+ 3729385751,
247
+ 3612974976,
248
+ 3657457220,
249
+ 3375019501,
250
+ 3667672297,
251
+ 1867449631,
252
+ 2766862191,
253
+ 3202277702,
254
+ 3720531723,
255
+ 1277883564,
256
+ 2006700240,
257
+ 3825015187,
258
+ 3419360627,
259
+ 2727333676,
260
+ 2619835742,
261
+ 2899871474,
262
+ 1399011178,
263
+ 3954000634,
264
+ 3163075081,
265
+ 4252043393,
266
+ 824837852,
267
+ 295040340,
268
+ 1918888178,
269
+ 2813459226,
270
+ 1042337317,
271
+ 459398075,
272
+ 3545425596,
273
+ 4154192195,
274
+ 470248252,
275
+ 776889752,
276
+ 2732726985,
277
+ 4149284713,
278
+ 698183225,
279
+ 4171516272,
280
+ 3976363544,
281
+ 699615665,
282
+ 2319937110,
283
+ 2690093588,
284
+ 651919860,
285
+ 3784407009,
286
+ 1862480233,
287
+ 68841005,
288
+ 2476325331,
289
+ 1492420331,
290
+ 2573928986,
291
+ 503191301,
292
+ 1325516758,
293
+ 2383778895,
294
+ 587660441,
295
+ 1355525378,
296
+ 1375815661,
297
+ 305318451,
298
+ 304646714,
299
+ 2171993125,
300
+ 520629109,
301
+ 2103221422,
302
+ 3905094768,
303
+ 3924412738,
304
+ 3746487309,
305
+ 1531569034,
306
+ 3448513617,
307
+ 3314747454,
308
+ 171723055,
309
+ 77621502,
310
+ 1775868830,
311
+ 1297433523,
312
+ 1669435608,
313
+ 2118549641,
314
+ 1533919138,
315
+ 2827091419,
316
+ 156890787,
317
+ 2260712307,
318
+ 1484815361,
319
+ 2699428710,
320
+ 879419146,
321
+ 2306718624,
322
+ 1595058945,
323
+ 3958041648,
324
+ 2408127660,
325
+ 3205594045,
326
+ 2650009338,
327
+ 2112681618,
328
+ 3449537750,
329
+ 1140838814,
330
+ 3433855761,
331
+ 227565371,
332
+ 768208671,
333
+ 92973559,
334
+ 2382077386,
335
+ 3424179838,
336
+ 4089079062,
337
+ 739105312,
338
+ 467376127,
339
+ 1521652709,
340
+ 2214833635,
341
+ 1976452770,
342
+ 2938433943,
343
+ 3703084608,
344
+ 872416531,
345
+ 4016484503,
346
+ 25273288,
347
+ 1748484680,
348
+ 3086317412,
349
+ 1006862673,
350
+ 578033486,
351
+ 1449327172,
352
+ 3639573290,
353
+ 1197637696,
354
+ 3473987964,
355
+ 3747051741,
356
+ 1743185870,
357
+ 4049532090,
358
+ 897615415,
359
+ 1919797897,
360
+ 273441409,
361
+ 2322638274,
362
+ 3945019880,
363
+ 1222576349,
364
+ 352235568,
365
+ 728970284,
366
+ 3850060060,
367
+ 1627049105,
368
+ 853325754,
369
+ 126884991,
370
+ 1333506831,
371
+ 3355456160,
372
+ 911001622,
373
+ 1975592418,
374
+ 227519099,
375
+ 3642165612,
376
+ 1596126877,
377
+ 840097390,
378
+ 3156178246,
379
+ 3464001874,
380
+ 1557938202,
381
+ 3996725057,
382
+ 2351712560,
383
+ 582710156,
384
+ 3420195925,
385
+ 4230789676,
386
+ 2010429393,
387
+ 647507080,
388
+ 3647840402,
389
+ 1007400311,
390
+ 2416278168,
391
+ 2923165948,
392
+ 2350998721,
393
+ 2437064967,
394
+ 1941362651,
395
+ 2013387238,
396
+ 4021487290,
397
+ 2030968776,
398
+ 2606980240,
399
+ 3289489331,
400
+ 2451627685,
401
+ 94765774,
402
+ 2567561521,
403
+ 190526591,
404
+ 3516173512,
405
+ 1765605817,
406
+ 1950105902,
407
+ 3141749738,
408
+ 642125258,
409
+ 2006704432,
410
+ 4039973035,
411
+ 1511623495,
412
+ 3639314803,
413
+ 1870144819,
414
+ 54139846,
415
+ 852508773,
416
+ 1388200500,
417
+ 2118762627,
418
+ 1616952562,
419
+ 2569002178,
420
+ 4182883652,
421
+ 2789095004,
422
+ 3677443602,
423
+ 1906427152,
424
+ 475392427,
425
+ 4281561972,
426
+ 498215039,
427
+ 955161504,
428
+ 580949243,
429
+ 1177742350,
430
+ 1689040781,
431
+ 3299878643,
432
+ 2138481892,
433
+ 1606539789,
434
+ 3593473196,
435
+ 2282595790,
436
+ 2537825128,
437
+ 3624381947,
438
+ 475114414,
439
+ 1908626504,
440
+ 885247730,
441
+ 2398585488,
442
+ 3339468783,
443
+ 572081112,
444
+ 1424917930,
445
+ 3417144755,
446
+ 1571921065,
447
+ 242035892,
448
+ 1490245415,
449
+ 3233232132,
450
+ 3884007313,
451
+ 31376208,
452
+ 2632893173,
453
+ 2816566166,
454
+ 3223449594,
455
+ 3235847928,
456
+ 3473889139,
457
+ 1767853647,
458
+ 2456108060,
459
+ 727822753,
460
+ 2147725678,
461
+ 2781927050,
462
+ 4149588369,
463
+ 4142909008,
464
+ 3775592370,
465
+ 2058747885,
466
+ 1396990123,
467
+ 3621754702,
468
+ 639349596,
469
+ 16588324,
470
+ 472361384,
471
+ 1899018207,
472
+ 1378884038,
473
+ 3638296769,
474
+ 3429122589,
475
+ 2197732427,
476
+ 921439796,
477
+ 3884193250,
478
+ 2808357131,
479
+ 564835340,
480
+ 109033905,
481
+ 1770419546,
482
+ 2672853897,
483
+ 2907799891,
484
+ 3252680118,
485
+ 3349129743,
486
+ 1936596012,
487
+ 3515896751,
488
+ 2673118190,
489
+ 4102454189,
490
+ 3705686024,
491
+ 3908739622,
492
+ 3536992559,
493
+ 3518015448,
494
+ 2446884843,
495
+ 2523586988,
496
+ 25466786,
497
+ 2741461565,
498
+ 2427610093,
499
+ 1970981003,
500
+ 3967702036,
501
+ 2711509535,
502
+ 2112394502,
503
+ 2391265120,
504
+ 3298203769,
505
+ 597729688,
506
+ 709434668,
507
+ 3306736818,
508
+ 1136045512,
509
+ 1378977487,
510
+ 1175624435,
511
+ 3533866395,
512
+ 2058989664,
513
+ 2673872456,
514
+ 4064850492,
515
+ 3945468388,
516
+ 1573163353,
517
+ 723329742,
518
+ 2429464191,
519
+ 682017688,
520
+ 3775204114,
521
+ 3287221507,
522
+ 1148308557,
523
+ 888152065,
524
+ 518297059,
525
+ 3321804169,
526
+ 1063782791,
527
+ 4184707632,
528
+ 3379119026,
529
+ 1215036957,
530
+ 3485662602,
531
+ 1850728203,
532
+ 1841271934,
533
+ 2686457256,
534
+ 3373005695,
535
+ 3409821886,
536
+ 614434043,
537
+ 3062130445,
538
+ 456727558,
539
+ 1119441055,
540
+ 1312185107,
541
+ 2577121350,
542
+ 822654513,
543
+ 1241653632,
544
+ 4208525845,
545
+ 2463482218,
546
+ 2823345809,
547
+ 2608349214,
548
+ 2351621636,
549
+ 296959359,
550
+ 38300716,
551
+ 2300016089,
552
+ 3729021467,
553
+ 129229593,
554
+ 973417121,
555
+ 1830869913,
556
+ 4129216264,
557
+ 1048565267,
558
+ 2439176022,
559
+ 1714317329,
560
+ 268840660,
561
+ 1221192489,
562
+ 4073424189,
563
+ 3538170011,
564
+ 968748969,
565
+ 1169150119,
566
+ 1834988042,
567
+ 740575229,
568
+ 419793694,
569
+ 1084559282,
570
+ 4067257424,
571
+ 4215888212,
572
+ 1231459529,
573
+ 872033064,
574
+ 447669583,
575
+ 3571429331,
576
+ 256840517,
577
+ 2469137792,
578
+ 238880772,
579
+ 1287737214,
580
+ 1263978970,
581
+ 1178029649,
582
+ 2958213898,
583
+ 3563770405,
584
+ 432334214,
585
+ 1505997597,
586
+ 1079407873,
587
+ 686595619,
588
+ 4087149837,
589
+ 3624152535,
590
+ 3501394619,
591
+ 450668826,
592
+ 272804032,
593
+ 358688373,
594
+ 2306873180,
595
+ 2329697190,
596
+ 3320439040,
597
+ 3275662584,
598
+ 2405775096,
599
+ 3206178513,
600
+ 2278712879,
601
+ 2068942535,
602
+ 1508451413,
603
+ 3904031517,
604
+ 2431262089,
605
+ 2459981049,
606
+ 2094627035,
607
+ 3654546523,
608
+ 1732958230,
609
+ 2785592038,
610
+ 1779641916,
611
+ 2174584596,
612
+ 1253994635,
613
+ 3470421633,
614
+ 3959537422,
615
+ 4016056622,
616
+ 1968780116,
617
+ 2389783107,
618
+ 3645329890,
619
+ 3216518034,
620
+ 306139555,
621
+ 4102286519,
622
+ 2344659165,
623
+ 2424125567,
624
+ 1134560978,
625
+ 1013284074,
626
+ 3691582783,
627
+ 1810474036,
628
+ 955580713,
629
+ 3324912542,
630
+ 2329576748,
631
+ 735219323,
632
+ 3859155616,
633
+ 1145312241
634
+ ],
635
+ 462,
636
+ 0,
637
+ 0.0
638
+ ],
639
+ "doc_counts": {
640
+ "fineweb": 2993786,
641
+ "code": 1247819,
642
+ "math": 748130
643
+ },
644
+ "code_lang_idx": 50
645
+ },
646
+ "token_state": {
647
+ "buffer_tokens": [
648
+ 270,
649
+ 12985,
650
+ 32377,
651
+ 305,
652
+ 8966,
653
+ 119602,
654
+ 1036,
655
+ 344,
656
+ 33034,
657
+ 16,
658
+ 455,
659
+ 34359,
660
+ 1487,
661
+ 6623,
662
+ 260,
663
+ 7379,
664
+ 4767,
665
+ 2645,
666
+ 396,
667
+ 57321,
668
+ 411,
669
+ 5004,
670
+ 3772,
671
+ 294,
672
+ 11570,
673
+ 304,
674
+ 21847,
675
+ 4813,
676
+ 362,
677
+ 566,
678
+ 2613,
679
+ 294,
680
+ 5610,
681
+ 603,
682
+ 2337,
683
+ 10122,
684
+ 1082,
685
+ 270,
686
+ 34359,
687
+ 6323,
688
+ 344,
689
+ 19150,
690
+ 1375,
691
+ 8435,
692
+ 1345,
693
+ 412,
694
+ 14725,
695
+ 5345,
696
+ 469,
697
+ 3226,
698
+ 8630,
699
+ 16838,
700
+ 1936,
701
+ 436,
702
+ 22556,
703
+ 270,
704
+ 23053,
705
+ 16,
706
+ 1162,
707
+ 9347,
708
+ 270,
709
+ 5901,
710
+ 1014,
711
+ 294,
712
+ 6323,
713
+ 14,
714
+ 16537,
715
+ 13922,
716
+ 12123,
717
+ 16,
718
+ 983,
719
+ 344,
720
+ 4401,
721
+ 304,
722
+ 8064,
723
+ 4813,
724
+ 10266,
725
+ 901,
726
+ 5610,
727
+ 14,
728
+ 1749,
729
+ 295,
730
+ 1669,
731
+ 19521,
732
+ 34359,
733
+ 7130,
734
+ 14,
735
+ 10266,
736
+ 901,
737
+ 5610,
738
+ 344,
739
+ 260,
740
+ 7162,
741
+ 4829,
742
+ 304,
743
+ 270,
744
+ 34359,
745
+ 3967,
746
+ 603,
747
+ 15068,
748
+ 270,
749
+ 49603,
750
+ 477,
751
+ 29048,
752
+ 295,
753
+ 1855,
754
+ 19041,
755
+ 68321,
756
+ 14,
757
+ 8359,
758
+ 25532,
759
+ 294,
760
+ 270,
761
+ 68321,
762
+ 477,
763
+ 3338,
764
+ 3504,
765
+ 304,
766
+ 13846,
767
+ 4458,
768
+ 8753,
769
+ 16,
770
+ 455,
771
+ 9257,
772
+ 5610,
773
+ 344,
774
+ 1855,
775
+ 3157,
776
+ 1009,
777
+ 554,
778
+ 850,
779
+ 396,
780
+ 223,
781
+ 20,
782
+ 79,
783
+ 603,
784
+ 118623,
785
+ 68890,
786
+ 71951,
787
+ 201,
788
+ 35,
789
+ 23053,
790
+ 442,
791
+ 85,
792
+ 7379,
793
+ 4767,
794
+ 15714,
795
+ 344,
796
+ 554,
797
+ 412,
798
+ 11784,
799
+ 412,
800
+ 270,
801
+ 22938,
802
+ 69799,
803
+ 77806,
804
+ 270,
805
+ 34359,
806
+ 24386,
807
+ 16,
808
+ 8427,
809
+ 436,
810
+ 1142,
811
+ 611,
812
+ 1855,
813
+ 8359,
814
+ 20760,
815
+ 12123,
816
+ 603,
817
+ 2337,
818
+ 12001,
819
+ 304,
820
+ 270,
821
+ 8321,
822
+ 3609,
823
+ 294,
824
+ 270,
825
+ 24386,
826
+ 509,
827
+ 1117,
828
+ 2910,
829
+ 1014,
830
+ 16,
831
+ 64555,
832
+ 24386,
833
+ 21812,
834
+ 12036,
835
+ 1082,
836
+ 270,
837
+ 24386,
838
+ 477,
839
+ 7840,
840
+ 509,
841
+ 7050,
842
+ 18534,
843
+ 8321,
844
+ 304,
845
+ 1660,
846
+ 915,
847
+ 16,
848
+ 40210,
849
+ 21812,
850
+ 10122,
851
+ 1082,
852
+ 270,
853
+ 49603,
854
+ 477,
855
+ 7840,
856
+ 295,
857
+ 260,
858
+ 2562,
859
+ 469,
860
+ 295,
861
+ 260,
862
+ 12561,
863
+ 54835,
864
+ 603,
865
+ 69220,
866
+ 4807,
867
+ 769,
868
+ 115903,
869
+ 1055,
870
+ 260,
871
+ 7823,
872
+ 396,
873
+ 7881,
874
+ 3706,
875
+ 7208,
876
+ 1009,
877
+ 4632,
878
+ 2430,
879
+ 7800,
880
+ 16,
881
+ 3109,
882
+ 3137,
883
+ 14374,
884
+ 14,
885
+ 12452,
886
+ 4934,
887
+ 14,
888
+ 16988,
889
+ 14,
890
+ 17573,
891
+ 14,
892
+ 50471,
893
+ 14,
894
+ 9272,
895
+ 808,
896
+ 14,
897
+ 310,
898
+ 72387,
899
+ 14,
900
+ 11120,
901
+ 18899,
902
+ 14,
903
+ 69014,
904
+ 14,
905
+ 63339,
906
+ 19059,
907
+ 14,
908
+ 73840,
909
+ 76,
910
+ 16044,
911
+ 14,
912
+ 5902,
913
+ 2410,
914
+ 564,
915
+ 387,
916
+ 14,
917
+ 305,
918
+ 1482,
919
+ 538,
920
+ 1623,
921
+ 915,
922
+ 28483,
923
+ 294,
924
+ 1988,
925
+ 477,
926
+ 1812,
927
+ 34359,
928
+ 295,
929
+ 4689,
930
+ 396,
931
+ 1635,
932
+ 786,
933
+ 1116,
934
+ 850,
935
+ 25088,
936
+ 14,
937
+ 36811,
938
+ 14,
939
+ 305,
940
+ 7097,
941
+ 1749,
942
+ 10466,
943
+ 603,
944
+ 13222,
945
+ 442,
946
+ 86,
947
+ 1178,
948
+ 6644,
949
+ 1901,
950
+ 10654,
951
+ 14,
952
+ 362,
953
+ 17599,
954
+ 3080,
955
+ 305,
956
+ 7681,
957
+ 10654,
958
+ 1347,
959
+ 34359,
960
+ 201,
961
+ 11411,
962
+ 343,
963
+ 69,
964
+ 11,
965
+ 84654,
966
+ 18179,
967
+ 2193,
968
+ 1
969
+ ],
970
+ "seq_len": 2048
971
+ }
972
+ },
973
+ "config": {
974
+ "vocab_size": 129280,
975
+ "dim": 1536,
976
+ "n_layers": 16,
977
+ "n_heads": 12,
978
+ "head_dim": 128,
979
+ "rope_head_dim": 32,
980
+ "q_lora_rank": 384,
981
+ "o_groups": 4,
982
+ "o_lora_rank": 256,
983
+ "norm_eps": 1e-06,
984
+ "n_routed_experts": 12,
985
+ "n_shared_experts": 1,
986
+ "n_activated_experts": 2,
987
+ "moe_inter_dim": 1408,
988
+ "score_func": "softmax",
989
+ "route_scale": 1.0,
990
+ "swiglu_limit": 15.0,
991
+ "n_dense_layers": 2,
992
+ "load_balance_alpha": 0.001,
993
+ "z_loss_alpha": 1e-05,
994
+ "hc_mult": 3,
995
+ "hc_sinkhorn_iters": 3,
996
+ "hc_eps": 1e-06,
997
+ "window_size": 128,
998
+ "compress_ratio": 4,
999
+ "n_mtp_layers": 1,
1000
+ "mtp_loss_weight": 0.02,
1001
+ "rope_theta": 10000.0,
1002
+ "rope_factor": 1.0,
1003
+ "original_seq_len": 0,
1004
+ "beta_fast": 32,
1005
+ "beta_slow": 1,
1006
+ "ctx_phase_boundaries": [
1007
+ 60000,
1008
+ 80000,
1009
+ 100000
1010
+ ],
1011
+ "ctx_phase_lengths": [
1012
+ 2048,
1013
+ 4096,
1014
+ 8192
1015
+ ],
1016
+ "yarn_scale": 40.0,
1017
+ "yarn_alpha": 1.0,
1018
+ "yarn_beta": 32.0,
1019
+ "yarn_original_seq_len": 4096,
1020
+ "micro_batch_size": 1,
1021
+ "gradient_accumulation_steps": 32,
1022
+ "max_lr": 0.00042,
1023
+ "min_lr": 4.2e-05,
1024
+ "warmup_steps": 2000,
1025
+ "total_steps": 200000,
1026
+ "decay_steps": 180000,
1027
+ "weight_decay": 0.05,
1028
+ "muon_beta": 0.95,
1029
+ "muon_ns_steps": 7,
1030
+ "adam_beta1": 0.9,
1031
+ "adam_beta2": 0.98,
1032
+ "grad_clip_norm": 1.0,
1033
+ "init_std": 0.006,
1034
+ "dtype": "bfloat16",
1035
+ "fineweb_config": "default",
1036
+ "approx_tokens_per_fineweb_doc": 800,
1037
+ "approx_tokens_per_code_doc": 1200,
1038
+ "approx_tokens_per_math_doc": 1500,
1039
+ "data_mix_probs": [
1040
+ 0.6,
1041
+ 0.25,
1042
+ 0.15
1043
+ ],
1044
+ "save_every_steps": 400,
1045
+ "log_every_steps": 10,
1046
+ "push_every_steps": 400,
1047
+ "checkpoint_dir": "/kaggle/working/zenyxv3checkpoints"
1048
+ }
1049
+ }
checkpoints/step_26000/opt_state.pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:22c4bbca8f5db16ad8029458b3f04bba2b850ef7156fd6598cfff85f2926068f
3
+ size 3553156438
checkpoints/step_26000/params.pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b06027e3ef8943313ba35aeaa59f21d83131138902fe4b6e0d75617288b81397
3
+ size 3154768094