Hugging Face's logo

Arko007
/
Zenyx-V3-Base

JAX
English
flax
mixture-of-experts
base
Model card Files
xet
 Community
Arko007 commited on
Commit
cc9397f
·
verified ·
1 Parent(s): 7b3682a

step 22000

Browse files
Files changed (3) hide show
  1. checkpoints/step_22000/metadata.json +1509 -0
  2. checkpoints/step_22000/opt_state.pkl +3 -0
  3. checkpoints/step_22000/params.pkl +3 -0
checkpoints/step_22000/metadata.json ADDED
@@ -0,0 +1,1509 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "step": 22000,
3
+ "tokens_consumed": 11534336000,
4
+ "sequences_consumed": 5632000,
5
+ "data_state": {
6
+ "stream_state": {
7
+ "rng_state": [
8
+ "MT19937",
9
+ [
10
+ 4001151489,
11
+ 23541178,
12
+ 2686117209,
13
+ 1356563505,
14
+ 3351756387,
15
+ 2079676314,
16
+ 89867170,
17
+ 498985207,
18
+ 407268090,
19
+ 375690315,
20
+ 717657405,
21
+ 3474342535,
22
+ 2761626059,
23
+ 2180877584,
24
+ 1130792169,
25
+ 1273946059,
26
+ 1214824018,
27
+ 971884405,
28
+ 2764255998,
29
+ 753197291,
30
+ 1536411732,
31
+ 2694084592,
32
+ 3286381573,
33
+ 1061967360,
34
+ 1449457624,
35
+ 2434858453,
36
+ 3777267883,
37
+ 1261888644,
38
+ 4251010203,
39
+ 3679151397,
40
+ 2696895518,
41
+ 1979425662,
42
+ 1340253014,
43
+ 1636326630,
44
+ 1931432983,
45
+ 158957043,
46
+ 3854439789,
47
+ 523368489,
48
+ 3767654432,
49
+ 3286081316,
50
+ 3842582951,
51
+ 1671732766,
52
+ 1607603750,
53
+ 477614032,
54
+ 1407542216,
55
+ 2207064256,
56
+ 1097764273,
57
+ 4009314010,
58
+ 3763899038,
59
+ 234859188,
60
+ 1400110729,
61
+ 3880538178,
62
+ 3511598645,
63
+ 4163065312,
64
+ 321148865,
65
+ 2802522394,
66
+ 1267106551,
67
+ 3364046059,
68
+ 2511136744,
69
+ 2185889302,
70
+ 3113950621,
71
+ 2286711306,
72
+ 2280711060,
73
+ 4083379677,
74
+ 424060218,
75
+ 1227963074,
76
+ 2386731425,
77
+ 3901756161,
78
+ 1830153282,
79
+ 3890185210,
80
+ 3788065858,
81
+ 33372498,
82
+ 2169328640,
83
+ 2081549055,
84
+ 1553126091,
85
+ 4114564978,
86
+ 237573701,
87
+ 2748362967,
88
+ 878801187,
89
+ 2673563546,
90
+ 2176633687,
91
+ 3810229723,
92
+ 1898033203,
93
+ 1032633613,
94
+ 2563246405,
95
+ 611306437,
96
+ 182822362,
97
+ 3462893349,
98
+ 662342431,
99
+ 203099594,
100
+ 1297355497,
101
+ 3543922907,
102
+ 2475166020,
103
+ 3343324217,
104
+ 1384081167,
105
+ 1399888480,
106
+ 2761837640,
107
+ 1601902167,
108
+ 2548148164,
109
+ 2686504176,
110
+ 551687099,
111
+ 718726949,
112
+ 454948600,
113
+ 1521024473,
114
+ 949554974,
115
+ 2932904718,
116
+ 2557336854,
117
+ 1658793224,
118
+ 2988534899,
119
+ 3952995335,
120
+ 2470414083,
121
+ 1137866565,
122
+ 1528319120,
123
+ 940668362,
124
+ 3795403592,
125
+ 3731532024,
126
+ 2457362490,
127
+ 4150443486,
128
+ 3663109063,
129
+ 1043644257,
130
+ 626821896,
131
+ 390179274,
132
+ 3280579986,
133
+ 839826528,
134
+ 2675069367,
135
+ 1527403322,
136
+ 2076379062,
137
+ 3204894366,
138
+ 2918974162,
139
+ 3625256073,
140
+ 1641334436,
141
+ 3341903202,
142
+ 2602222874,
143
+ 3015878162,
144
+ 3302407815,
145
+ 4037722212,
146
+ 2589221580,
147
+ 2789359947,
148
+ 1545604307,
149
+ 1922670902,
150
+ 399837000,
151
+ 679791270,
152
+ 412919367,
153
+ 1612958544,
154
+ 1036967946,
155
+ 2587361780,
156
+ 3027456233,
157
+ 2127432427,
158
+ 3654082885,
159
+ 1825492377,
160
+ 2902431631,
161
+ 1844790103,
162
+ 2013405291,
163
+ 632905765,
164
+ 2114480047,
165
+ 1522964241,
166
+ 377101443,
167
+ 2746420175,
168
+ 469644884,
169
+ 1609170056,
170
+ 2737530033,
171
+ 1332458583,
172
+ 736414844,
173
+ 187898344,
174
+ 1208732502,
175
+ 699647960,
176
+ 637407785,
177
+ 1575403500,
178
+ 722040720,
179
+ 394805047,
180
+ 2959425207,
181
+ 3617909877,
182
+ 1944481073,
183
+ 51200554,
184
+ 1131599606,
185
+ 283128261,
186
+ 3809306217,
187
+ 265254474,
188
+ 2450380498,
189
+ 4287280035,
190
+ 3816290121,
191
+ 467925372,
192
+ 3264706639,
193
+ 59063605,
194
+ 408947335,
195
+ 3965355521,
196
+ 3521906808,
197
+ 1306398884,
198
+ 3900131134,
199
+ 1968525019,
200
+ 2374105486,
201
+ 1770511711,
202
+ 481239499,
203
+ 2486626927,
204
+ 1198141290,
205
+ 2558023321,
206
+ 2130774156,
207
+ 4051467425,
208
+ 587631448,
209
+ 1983309125,
210
+ 130164398,
211
+ 1470648817,
212
+ 514187312,
213
+ 2116152454,
214
+ 1382794586,
215
+ 559035288,
216
+ 1668247034,
217
+ 4038475542,
218
+ 2852649885,
219
+ 3469489090,
220
+ 1868197453,
221
+ 4157021489,
222
+ 4095545215,
223
+ 3470367760,
224
+ 901088144,
225
+ 602906728,
226
+ 3311611002,
227
+ 2823801454,
228
+ 2194340806,
229
+ 1744120559,
230
+ 1316608572,
231
+ 1661743360,
232
+ 3671823677,
233
+ 409427541,
234
+ 1280117436,
235
+ 503181074,
236
+ 997644018,
237
+ 1789119336,
238
+ 3279700196,
239
+ 726112444,
240
+ 3559795765,
241
+ 3044888453,
242
+ 1817894602,
243
+ 1506151454,
244
+ 1497284739,
245
+ 2612758715,
246
+ 1895943996,
247
+ 1485718963,
248
+ 2696773550,
249
+ 2019010919,
250
+ 2391398247,
251
+ 2830724838,
252
+ 1232398176,
253
+ 2829015803,
254
+ 1184240584,
255
+ 2722065479,
256
+ 860008275,
257
+ 188585976,
258
+ 2218514775,
259
+ 3984783254,
260
+ 2590220673,
261
+ 777553316,
262
+ 3581805021,
263
+ 1979313833,
264
+ 771866533,
265
+ 2756106298,
266
+ 3320366016,
267
+ 4098253383,
268
+ 2583446175,
269
+ 693243201,
270
+ 3242008293,
271
+ 3383289520,
272
+ 3717886299,
273
+ 932277386,
274
+ 4288594351,
275
+ 392551340,
276
+ 3433935327,
277
+ 2822564573,
278
+ 720140294,
279
+ 308075963,
280
+ 2197366106,
281
+ 1260336922,
282
+ 1831273085,
283
+ 1653802086,
284
+ 1413793674,
285
+ 392369569,
286
+ 2931789414,
287
+ 2769092470,
288
+ 3434938297,
289
+ 2269609541,
290
+ 1856814557,
291
+ 680258842,
292
+ 1095212584,
293
+ 2433349294,
294
+ 1527596131,
295
+ 2811410836,
296
+ 1567014391,
297
+ 2904793296,
298
+ 760383950,
299
+ 2630474780,
300
+ 4277022764,
301
+ 4262525486,
302
+ 2975626465,
303
+ 396883259,
304
+ 3937193178,
305
+ 565591144,
306
+ 2750247970,
307
+ 2215441650,
308
+ 4070614176,
309
+ 2077861255,
310
+ 1610399168,
311
+ 3714990078,
312
+ 2180800141,
313
+ 1473490870,
314
+ 4099056309,
315
+ 3691185260,
316
+ 455387587,
317
+ 825385827,
318
+ 3676038332,
319
+ 4134899965,
320
+ 1921958489,
321
+ 1139501382,
322
+ 2790358951,
323
+ 1038597988,
324
+ 1455378267,
325
+ 1499384553,
326
+ 2254373177,
327
+ 1926606528,
328
+ 1348268377,
329
+ 2975700347,
330
+ 639192837,
331
+ 80438689,
332
+ 761382308,
333
+ 2065500815,
334
+ 3843324145,
335
+ 2928981922,
336
+ 552373585,
337
+ 1706202574,
338
+ 2927599304,
339
+ 281131321,
340
+ 3679630462,
341
+ 1407769982,
342
+ 183351549,
343
+ 468951612,
344
+ 3491136905,
345
+ 2482912438,
346
+ 905392048,
347
+ 3405745225,
348
+ 1965333279,
349
+ 1626920330,
350
+ 1826154922,
351
+ 3350959230,
352
+ 3358202093,
353
+ 1349801196,
354
+ 4155972483,
355
+ 580208497,
356
+ 193384172,
357
+ 3960635732,
358
+ 625936607,
359
+ 1147724761,
360
+ 3684909395,
361
+ 3135598601,
362
+ 308530923,
363
+ 2550907438,
364
+ 2842450473,
365
+ 3232754044,
366
+ 4228004048,
367
+ 2737346397,
368
+ 1458578967,
369
+ 3209108168,
370
+ 970352366,
371
+ 3130923467,
372
+ 2638028936,
373
+ 1704737480,
374
+ 845666218,
375
+ 632783042,
376
+ 3001816417,
377
+ 4036962195,
378
+ 2380372650,
379
+ 774522380,
380
+ 879426866,
381
+ 3538204491,
382
+ 3564085715,
383
+ 128694885,
384
+ 3509527426,
385
+ 2147882323,
386
+ 3025956599,
387
+ 201004985,
388
+ 461917492,
389
+ 3845275275,
390
+ 3517795223,
391
+ 2029646416,
392
+ 2583235804,
393
+ 200114772,
394
+ 1446509220,
395
+ 483674857,
396
+ 3995164282,
397
+ 2957941790,
398
+ 639776562,
399
+ 2760993169,
400
+ 110054489,
401
+ 1222257480,
402
+ 2388581079,
403
+ 83542849,
404
+ 2817263942,
405
+ 3741726368,
406
+ 2075977104,
407
+ 3504531128,
408
+ 2531727840,
409
+ 1198962762,
410
+ 2355066675,
411
+ 1954208567,
412
+ 3584743531,
413
+ 1538516824,
414
+ 1021349801,
415
+ 3510311076,
416
+ 3669433846,
417
+ 4200248356,
418
+ 1513586638,
419
+ 4095327325,
420
+ 1957936334,
421
+ 67836274,
422
+ 3997429746,
423
+ 2808974340,
424
+ 3151522970,
425
+ 1065216324,
426
+ 2301939701,
427
+ 2228077847,
428
+ 4035170530,
429
+ 1222901574,
430
+ 3375517644,
431
+ 2825592616,
432
+ 2367889324,
433
+ 2856702171,
434
+ 3438056175,
435
+ 2058832283,
436
+ 3962567908,
437
+ 80674320,
438
+ 720023279,
439
+ 2539328799,
440
+ 238527118,
441
+ 133413251,
442
+ 3964941460,
443
+ 2605500934,
444
+ 3897806272,
445
+ 681265616,
446
+ 229238333,
447
+ 1175491588,
448
+ 1155013936,
449
+ 738003840,
450
+ 3494513572,
451
+ 85572506,
452
+ 1170166202,
453
+ 848020570,
454
+ 1494078760,
455
+ 3397521930,
456
+ 4018308685,
457
+ 1616772560,
458
+ 646644046,
459
+ 51269867,
460
+ 3495735183,
461
+ 792338365,
462
+ 1985504683,
463
+ 2393973163,
464
+ 2521143198,
465
+ 3679705891,
466
+ 2686634148,
467
+ 1071454069,
468
+ 2788345263,
469
+ 4101534527,
470
+ 2456609084,
471
+ 2557528991,
472
+ 620388673,
473
+ 1152800741,
474
+ 1611468591,
475
+ 3346173784,
476
+ 372122604,
477
+ 3639938251,
478
+ 239052914,
479
+ 2752219791,
480
+ 1287703144,
481
+ 3250985025,
482
+ 270358286,
483
+ 4228351567,
484
+ 1932399405,
485
+ 3002542080,
486
+ 2290905746,
487
+ 1808484160,
488
+ 1874102492,
489
+ 3905789957,
490
+ 3880306284,
491
+ 2335494665,
492
+ 379010501,
493
+ 1747902851,
494
+ 1337861027,
495
+ 172922323,
496
+ 356248116,
497
+ 809569649,
498
+ 2090172296,
499
+ 2982077114,
500
+ 158672328,
501
+ 4189378352,
502
+ 3696698158,
503
+ 4199222703,
504
+ 4099169312,
505
+ 2509685072,
506
+ 3379541055,
507
+ 973492124,
508
+ 672700603,
509
+ 3621527343,
510
+ 562774225,
511
+ 596647484,
512
+ 3071401373,
513
+ 187946151,
514
+ 3093552689,
515
+ 2518379595,
516
+ 1223083094,
517
+ 3404290783,
518
+ 1197246578,
519
+ 2982534556,
520
+ 1718070250,
521
+ 2640075031,
522
+ 790009172,
523
+ 4124274105,
524
+ 2164281672,
525
+ 2462203919,
526
+ 1293451762,
527
+ 26126778,
528
+ 2199344017,
529
+ 3899054614,
530
+ 4194432269,
531
+ 2607018582,
532
+ 1434945686,
533
+ 357939629,
534
+ 1686451828,
535
+ 3537672598,
536
+ 1666216009,
537
+ 1243253853,
538
+ 985378572,
539
+ 89738684,
540
+ 2269089960,
541
+ 180922396,
542
+ 1876597593,
543
+ 2846689124,
544
+ 206492297,
545
+ 1672858486,
546
+ 3278836897,
547
+ 1402783087,
548
+ 239340818,
549
+ 159795254,
550
+ 748722762,
551
+ 2590533125,
552
+ 3639815645,
553
+ 3014368523,
554
+ 2262437953,
555
+ 2993277331,
556
+ 1574347026,
557
+ 3866359309,
558
+ 3913108412,
559
+ 3114392298,
560
+ 184100526,
561
+ 1218434591,
562
+ 2972646896,
563
+ 180199784,
564
+ 3808790843,
565
+ 1263897835,
566
+ 2817397585,
567
+ 1924430526,
568
+ 2501495324,
569
+ 4152437166,
570
+ 3480412264,
571
+ 1877906113,
572
+ 2643926310,
573
+ 3226714431,
574
+ 200455723,
575
+ 1646827972,
576
+ 621964082,
577
+ 1601242142,
578
+ 2182483046,
579
+ 1229391411,
580
+ 2620378303,
581
+ 2165769976,
582
+ 1329057658,
583
+ 598081163,
584
+ 2731018530,
585
+ 3848839047,
586
+ 1535112665,
587
+ 1954377221,
588
+ 2093337149,
589
+ 1338875459,
590
+ 2764660772,
591
+ 4015870551,
592
+ 1534677284,
593
+ 3968650266,
594
+ 1012713622,
595
+ 3772955233,
596
+ 4280297591,
597
+ 1542312559,
598
+ 3913513770,
599
+ 3734976760,
600
+ 1687775011,
601
+ 2128554792,
602
+ 510107793,
603
+ 3569098944,
604
+ 4226046110,
605
+ 37894105,
606
+ 3665249988,
607
+ 780729675,
608
+ 2627229562,
609
+ 1464785267,
610
+ 4216705026,
611
+ 3294276191,
612
+ 2346368327,
613
+ 1063478788,
614
+ 3214883892,
615
+ 2997279523,
616
+ 1460557708,
617
+ 2665732554,
618
+ 569248293,
619
+ 140620636,
620
+ 2797057438,
621
+ 3368935829,
622
+ 146035716,
623
+ 151940748,
624
+ 856088440,
625
+ 2246689748,
626
+ 539718742,
627
+ 2048059392,
628
+ 3589804249,
629
+ 2049467428,
630
+ 501149172,
631
+ 3796405983,
632
+ 3800635935,
633
+ 2508851279
634
+ ],
635
+ 338,
636
+ 0,
637
+ 0.0
638
+ ],
639
+ "doc_counts": {
640
+ "fineweb": 1977306,
641
+ "code": 823768,
642
+ "math": 494127
643
+ },
644
+ "code_lang_idx": 83
645
+ },
646
+ "token_state": {
647
+ "buffer_tokens": [
648
+ 33512,
649
+ 1469,
650
+ 1234,
651
+ 2405,
652
+ 6823,
653
+ 294,
654
+ 1988,
655
+ 14,
656
+ 1469,
657
+ 7536,
658
+ 305,
659
+ 68762,
660
+ 976,
661
+ 16,
662
+ 4588,
663
+ 3085,
664
+ 579,
665
+ 1762,
666
+ 1082,
667
+ 579,
668
+ 1747,
669
+ 509,
670
+ 270,
671
+ 26498,
672
+ 3676,
673
+ 14,
674
+ 509,
675
+ 20450,
676
+ 294,
677
+ 1438,
678
+ 270,
679
+ 1748,
680
+ 4109,
681
+ 14,
682
+ 344,
683
+ 260,
684
+ 29740,
685
+ 1277,
686
+ 48677,
687
+ 2568,
688
+ 282,
689
+ 635,
690
+ 14170,
691
+ 2010,
692
+ 4404,
693
+ 11566,
694
+ 1430,
695
+ 6265,
696
+ 2009,
697
+ 73205,
698
+ 734,
699
+ 9517,
700
+ 14,
701
+ 1257,
702
+ 14847,
703
+ 377,
704
+ 48677,
705
+ 2568,
706
+ 282,
707
+ 635,
708
+ 396,
709
+ 582,
710
+ 1805,
711
+ 14374,
712
+ 18783,
713
+ 396,
714
+ 48677,
715
+ 2568,
716
+ 282,
717
+ 635,
718
+ 515,
719
+ 411,
720
+ 20368,
721
+ 1469,
722
+ 270,
723
+ 64444,
724
+ 119926,
725
+ 690,
726
+ 19780,
727
+ 265,
728
+ 305,
729
+ 380,
730
+ 8069,
731
+ 616,
732
+ 463,
733
+ 922,
734
+ 14,
735
+ 778,
736
+ 11385,
737
+ 223,
738
+ 21466,
739
+ 3646,
740
+ 1737,
741
+ 5084,
742
+ 14,
743
+ 305,
744
+ 3808,
745
+ 17794,
746
+ 3015,
747
+ 29605,
748
+ 16,
749
+ 455,
750
+ 3459,
751
+ 3808,
752
+ 17794,
753
+ 3015,
754
+ 29605,
755
+ 477,
756
+ 5108,
757
+ 20794,
758
+ 602,
759
+ 12924,
760
+ 305,
761
+ 37873,
762
+ 39294,
763
+ 602,
764
+ 12924,
765
+ 14,
766
+ 943,
767
+ 223,
768
+ 15551,
769
+ 3646,
770
+ 1737,
771
+ 5084,
772
+ 2148,
773
+ 2275,
774
+ 1114,
775
+ 55916,
776
+ 6897,
777
+ 287,
778
+ 11510,
779
+ 1478,
780
+ 611,
781
+ 18888,
782
+ 3292,
783
+ 17794,
784
+ 3015,
785
+ 29605,
786
+ 538,
787
+ 223,
788
+ 23123,
789
+ 3646,
790
+ 1737,
791
+ 5084,
792
+ 33,
793
+ 116064,
794
+ 554,
795
+ 28,
796
+ 4013,
797
+ 24368,
798
+ 305,
799
+ 2028,
800
+ 11430,
801
+ 16756,
802
+ 490,
803
+ 1359,
804
+ 436,
805
+ 2455,
806
+ 28,
807
+ 1305,
808
+ 22619,
809
+ 477,
810
+ 582,
811
+ 276,
812
+ 756,
813
+ 1867,
814
+ 3617,
815
+ 2148,
816
+ 41262,
817
+ 3015,
818
+ 401,
819
+ 24754,
820
+ 1039,
821
+ 14686,
822
+ 59323,
823
+ 2028,
824
+ 714,
825
+ 1359,
826
+ 270,
827
+ 6781,
828
+ 16570,
829
+ 582,
830
+ 63743,
831
+ 270,
832
+ 4445,
833
+ 4093,
834
+ 798,
835
+ 294,
836
+ 270,
837
+ 2237,
838
+ 2148,
839
+ 2709,
840
+ 412,
841
+ 260,
842
+ 14844,
843
+ 6193,
844
+ 4093,
845
+ 3065,
846
+ 436,
847
+ 14,
848
+ 1305,
849
+ 17794,
850
+ 3015,
851
+ 401,
852
+ 22619,
853
+ 477,
854
+ 582,
855
+ 6439,
856
+ 1099,
857
+ 223,
858
+ 864,
859
+ 3646,
860
+ 1737,
861
+ 1936,
862
+ 17794,
863
+ 3015,
864
+ 29605,
865
+ 881,
866
+ 3241,
867
+ 304,
868
+ 611,
869
+ 24686,
870
+ 14258,
871
+ 5328,
872
+ 1479,
873
+ 477,
874
+ 270,
875
+ 7536,
876
+ 396,
877
+ 6818,
878
+ 1055,
879
+ 17794,
880
+ 3015,
881
+ 29605,
882
+ 33,
883
+ 9498,
884
+ 304,
885
+ 14844,
886
+ 14,
887
+ 851,
888
+ 2231,
889
+ 3673,
890
+ 295,
891
+ 270,
892
+ 45372,
893
+ 772,
894
+ 602,
895
+ 3291,
896
+ 9,
897
+ 3820,
898
+ 396,
899
+ 344,
900
+ 14,
901
+ 260,
902
+ 3285,
903
+ 294,
904
+ 1014,
905
+ 2184,
906
+ 778,
907
+ 4312,
908
+ 294,
909
+ 270,
910
+ 4691,
911
+ 1531,
912
+ 611,
913
+ 1047,
914
+ 2236,
915
+ 790,
916
+ 362,
917
+ 778,
918
+ 1119,
919
+ 3197,
920
+ 63538,
921
+ 611,
922
+ 4671,
923
+ 1047,
924
+ 2006,
925
+ 2148,
926
+ 2009,
927
+ 73205,
928
+ 734,
929
+ 14904,
930
+ 396,
931
+ 1305,
932
+ 63538,
933
+ 13742,
934
+ 260,
935
+ 582,
936
+ 84630,
937
+ 18800,
938
+ 4,
939
+ 294,
940
+ 10304,
941
+ 4067,
942
+ 304,
943
+ 611,
944
+ 1047,
945
+ 7139,
946
+ 16,
947
+ 343,
948
+ 4146,
949
+ 2090,
950
+ 1664,
951
+ 4765,
952
+ 260,
953
+ 23724,
954
+ 538,
955
+ 54671,
956
+ 52203,
957
+ 6415,
958
+ 21960,
959
+ 30901,
960
+ 1054,
961
+ 304,
962
+ 366,
963
+ 89420,
964
+ 201,
965
+ 1124,
966
+ 223,
967
+ 792,
968
+ 25,
969
+ 14,
970
+ 16059,
971
+ 112626,
972
+ 3339,
973
+ 9629,
974
+ 295,
975
+ 26937,
976
+ 13253,
977
+ 943,
978
+ 3920,
979
+ 5380,
980
+ 87921,
981
+ 377,
982
+ 64314,
983
+ 6823,
984
+ 1531,
985
+ 366,
986
+ 11754,
987
+ 16,
988
+ 327,
989
+ 22656,
990
+ 468,
991
+ 734,
992
+ 3165,
993
+ 582,
994
+ 65345,
995
+ 367,
996
+ 8045,
997
+ 418,
998
+ 270,
999
+ 94521,
1000
+ 9866,
1001
+ 3184,
1002
+ 112626,
1003
+ 3339,
1004
+ 8398,
1005
+ 1137,
1006
+ 10994,
1007
+ 1141,
1008
+ 14,
1009
+ 4499,
1010
+ 14,
1011
+ 4127,
1012
+ 2004,
1013
+ 294,
1014
+ 48677,
1015
+ 2568,
1016
+ 282,
1017
+ 635,
1018
+ 16205,
1019
+ 3814,
1020
+ 14,
1021
+ 778,
1022
+ 8777,
1023
+ 787,
1024
+ 968,
1025
+ 72,
1026
+ 4290,
1027
+ 367,
1028
+ 1277,
1029
+ 1948,
1030
+ 26538,
1031
+ 582,
1032
+ 58768,
1033
+ 11510,
1034
+ 64444,
1035
+ 4,
1036
+ 377,
1037
+ 270,
1038
+ 14356,
1039
+ 294,
1040
+ 87316,
1041
+ 9756,
1042
+ 49504,
1043
+ 16,
1044
+ 489,
1045
+ 111958,
1046
+ 10304,
1047
+ 2133,
1048
+ 8817,
1049
+ 88436,
1050
+ 270,
1051
+ 223,
1052
+ 16919,
1053
+ 82384,
1054
+ 6680,
1055
+ 11489,
1056
+ 26498,
1057
+ 412,
1058
+ 260,
1059
+ 582,
1060
+ 93136,
1061
+ 4912,
1062
+ 4,
1063
+ 1469,
1064
+ 7536,
1065
+ 305,
1066
+ 3155,
1067
+ 7951,
1068
+ 16,
1069
+ 582,
1070
+ 2107,
1071
+ 734,
1072
+ 260,
1073
+ 3146,
1074
+ 12274,
1075
+ 14,
1076
+ 18898,
1077
+ 20368,
1078
+ 26498,
1079
+ 3184,
1080
+ 31521,
1081
+ 43716,
1082
+ 437,
1083
+ 16,
1084
+ 2009,
1085
+ 73205,
1086
+ 4962,
1087
+ 455,
1088
+ 2010,
1089
+ 4404,
1090
+ 11566,
1091
+ 16,
1092
+ 582,
1093
+ 2107,
1094
+ 734,
1095
+ 1277,
1096
+ 14,
1097
+ 26645,
1098
+ 21468,
1099
+ 2148,
1100
+ 10137,
1101
+ 477,
1102
+ 1894,
1103
+ 3345,
1104
+ 29,
1105
+ 38029,
1106
+ 14,
1107
+ 112626,
1108
+ 3339,
1109
+ 1539,
1110
+ 7881,
1111
+ 377,
1112
+ 304,
1113
+ 24538,
1114
+ 305,
1115
+ 86664,
1116
+ 270,
1117
+ 3617,
1118
+ 10304,
1119
+ 2133,
1120
+ 1345,
1121
+ 412,
1122
+ 12205,
1123
+ 31012,
1124
+ 995,
1125
+ 20956,
1126
+ 8068,
1127
+ 49524,
1128
+ 8196,
1129
+ 304,
1130
+ 270,
1131
+ 10076,
1132
+ 294,
1133
+ 55916,
1134
+ 6897,
1135
+ 287,
1136
+ 11510,
1137
+ 2133,
1138
+ 2503,
1139
+ 1949,
1140
+ 1520,
1141
+ 294,
1142
+ 260,
1143
+ 34641,
1144
+ 304,
1145
+ 11005,
1146
+ 16,
1147
+ 112626,
1148
+ 3339,
1149
+ 33047,
1150
+ 31012,
1151
+ 8174,
1152
+ 14,
1153
+ 582,
1154
+ 671,
1155
+ 4933,
1156
+ 116263,
1157
+ 1750,
1158
+ 2173,
1159
+ 304,
1160
+ 2123,
1161
+ 270,
1162
+ 4738,
1163
+ 396,
1164
+ 579,
1165
+ 305,
1166
+ 710,
1167
+ 915,
1168
+ 20504,
1169
+ 377,
1170
+ 566,
1171
+ 13540,
1172
+ 477,
1173
+ 60617,
1174
+ 538,
1175
+ 260,
1176
+ 2953,
1177
+ 62575,
1178
+ 3184,
1179
+ 305,
1180
+ 396,
1181
+ 582,
1182
+ 1805,
1183
+ 6129,
1184
+ 294,
1185
+ 10304,
1186
+ 344,
1187
+ 3146,
1188
+ 1119,
1189
+ 5827,
1190
+ 260,
1191
+ 6129,
1192
+ 295,
1193
+ 270,
1194
+ 4880,
1195
+ 294,
1196
+ 1902,
1197
+ 2754,
1198
+ 12904,
1199
+ 16,
1200
+ 983,
1201
+ 344,
1202
+ 260,
1203
+ 6129,
1204
+ 295,
1205
+ 270,
1206
+ 4880,
1207
+ 294,
1208
+ 22927,
1209
+ 16,
1210
+ 983,
1211
+ 344,
1212
+ 260,
1213
+ 1577,
1214
+ 2148,
1215
+ 2275,
1216
+ 4671,
1217
+ 579,
1218
+ 1762,
1219
+ 270,
1220
+ 582,
1221
+ 73753,
1222
+ 4,
1223
+ 294,
1224
+ 55916,
1225
+ 6897,
1226
+ 287,
1227
+ 11510,
1228
+ 1478,
1229
+ 16716,
1230
+ 1902,
1231
+ 29130,
1232
+ 16,
1233
+ 12673,
1234
+ 1141,
1235
+ 7472,
1236
+ 1137,
1237
+ 5328,
1238
+ 1205,
1239
+ 734,
1240
+ 260,
1241
+ 16302,
1242
+ 68,
1243
+ 1716,
1244
+ 9866,
1245
+ 304,
1246
+ 696,
1247
+ 33,
1248
+ 5978,
1249
+ 14,
1250
+ 579,
1251
+ 1309,
1252
+ 304,
1253
+ 6360,
1254
+ 396,
1255
+ 14374,
1256
+ 611,
1257
+ 88436,
1258
+ 582,
1259
+ 93136,
1260
+ 10348,
1261
+ 4,
1262
+ 1936,
1263
+ 14,
1264
+ 1353,
1265
+ 304,
1266
+ 366,
1267
+ 61862,
1268
+ 1082,
1269
+ 3780,
1270
+ 4933,
1271
+ 4127,
1272
+ 798,
1273
+ 16,
1274
+ 455,
1275
+ 39808,
1276
+ 8691,
1277
+ 14,
1278
+ 778,
1279
+ 14449,
1280
+ 66662,
1281
+ 9226,
1282
+ 14,
1283
+ 9764,
1284
+ 396,
1285
+ 35083,
1286
+ 1060,
1287
+ 566,
1288
+ 10164,
1289
+ 1783,
1290
+ 344,
1291
+ 260,
1292
+ 1559,
1293
+ 10338,
1294
+ 284,
1295
+ 26080,
1296
+ 513,
1297
+ 24754,
1298
+ 1039,
1299
+ 16082,
1300
+ 396,
1301
+ 270,
1302
+ 26498,
1303
+ 3676,
1304
+ 769,
1305
+ 554,
1306
+ 1047,
1307
+ 3576,
1308
+ 304,
1309
+ 40232,
1310
+ 734,
1311
+ 6129,
1312
+ 603,
1313
+ 116432,
1314
+ 476,
1315
+ 13948,
1316
+ 90,
1317
+ 515,
1318
+ 29488,
1319
+ 412,
1320
+ 411,
1321
+ 20368,
1322
+ 1469,
1323
+ 69052,
1324
+ 305,
1325
+ 14426,
1326
+ 455,
1327
+ 2690,
1328
+ 401,
1329
+ 69052,
1330
+ 881,
1331
+ 29488,
1332
+ 412,
1333
+ 270,
1334
+ 37304,
1335
+ 294,
1336
+ 14426,
1337
+ 201,
1338
+ 3239,
1339
+ 11648,
1340
+ 515,
1341
+ 6842,
1342
+ 284,
1343
+ 412,
1344
+ 2883,
1345
+ 62575,
1346
+ 2951,
1347
+ 4465,
1348
+ 62272,
1349
+ 4933,
1350
+ 201,
1351
+ 3372,
1352
+ 67,
1353
+ 515,
1354
+ 270,
1355
+ 582,
1356
+ 9523,
1357
+ 4,
1358
+ 396,
1359
+ 4661,
1360
+ 34005,
1361
+ 201,
1362
+ 643,
1363
+ 18,
1364
+ 344,
1365
+ 1353,
1366
+ 260,
1367
+ 2767,
1368
+ 3137,
1369
+ 3072,
1370
+ 305,
1371
+ 4006,
1372
+ 834,
1373
+ 294,
1374
+ 270,
1375
+ 48406,
1376
+ 58698,
1377
+ 294,
1378
+ 55916,
1379
+ 6897,
1380
+ 287,
1381
+ 11510,
1382
+ 1478,
1383
+ 3820,
1384
+ 48677,
1385
+ 2568,
1386
+ 282,
1387
+ 635,
1388
+ 3820,
1389
+ 344,
1390
+ 6540,
1391
+ 1202,
1392
+ 9754,
1393
+ 5902,
1394
+ 16,
1395
+ 19817,
1396
+ 1082,
1397
+ 436,
1398
+ 5095,
1399
+ 304,
1400
+ 55916,
1401
+ 6897,
1402
+ 287,
1403
+ 11510,
1404
+ 1478,
1405
+ 14,
1406
+ 31012,
1407
+ 305,
1408
+ 1948,
1409
+ 995,
1410
+ 1605,
1411
+ 1440,
1412
+ 1114,
1413
+ 696,
1414
+ 2993,
1415
+ 304,
1416
+ 46850,
1417
+ 377,
1418
+ 5177,
1419
+ 270,
1420
+ 4090,
1421
+ 294,
1422
+ 16302,
1423
+ 68,
1424
+ 1716,
1425
+ 9866,
1426
+ 1561,
1427
+ 710,
1428
+ 16,
1429
+ 1
1430
+ ],
1431
+ "seq_len": 2048
1432
+ }
1433
+ },
1434
+ "config": {
1435
+ "vocab_size": 129280,
1436
+ "dim": 1536,
1437
+ "n_layers": 16,
1438
+ "n_heads": 12,
1439
+ "head_dim": 128,
1440
+ "rope_head_dim": 32,
1441
+ "q_lora_rank": 384,
1442
+ "o_groups": 4,
1443
+ "o_lora_rank": 256,
1444
+ "norm_eps": 1e-06,
1445
+ "n_routed_experts": 12,
1446
+ "n_shared_experts": 1,
1447
+ "n_activated_experts": 2,
1448
+ "moe_inter_dim": 1408,
1449
+ "score_func": "softmax",
1450
+ "route_scale": 1.0,
1451
+ "swiglu_limit": 15.0,
1452
+ "n_dense_layers": 2,
1453
+ "load_balance_alpha": 0.001,
1454
+ "hc_mult": 3,
1455
+ "hc_sinkhorn_iters": 8,
1456
+ "hc_eps": 1e-06,
1457
+ "window_size": 128,
1458
+ "compress_ratio": 4,
1459
+ "n_mtp_layers": 1,
1460
+ "mtp_loss_weight": 0.02,
1461
+ "rope_theta": 10000.0,
1462
+ "rope_factor": 1.0,
1463
+ "original_seq_len": 0,
1464
+ "beta_fast": 32,
1465
+ "beta_slow": 1,
1466
+ "ctx_phase_boundaries": [
1467
+ 60000,
1468
+ 80000,
1469
+ 100000
1470
+ ],
1471
+ "ctx_phase_lengths": [
1472
+ 2048,
1473
+ 4096,
1474
+ 8192
1475
+ ],
1476
+ "yarn_scale": 40.0,
1477
+ "yarn_alpha": 1.0,
1478
+ "yarn_beta": 32.0,
1479
+ "yarn_original_seq_len": 4096,
1480
+ "micro_batch_size": 1,
1481
+ "gradient_accumulation_steps": 32,
1482
+ "max_lr": 0.00015,
1483
+ "min_lr": 1.5e-05,
1484
+ "warmup_steps": 2000,
1485
+ "total_steps": 200000,
1486
+ "decay_steps": 180000,
1487
+ "weight_decay": 0.1,
1488
+ "muon_beta": 0.95,
1489
+ "muon_ns_steps": 7,
1490
+ "adam_beta1": 0.9,
1491
+ "adam_beta2": 0.98,
1492
+ "grad_clip_norm": 5.0,
1493
+ "init_std": 0.006,
1494
+ "dtype": "bfloat16",
1495
+ "fineweb_config": "default",
1496
+ "approx_tokens_per_fineweb_doc": 800,
1497
+ "approx_tokens_per_code_doc": 1200,
1498
+ "approx_tokens_per_math_doc": 1500,
1499
+ "data_mix_probs": [
1500
+ 0.6,
1501
+ 0.25,
1502
+ 0.15
1503
+ ],
1504
+ "save_every_steps": 400,
1505
+ "log_every_steps": 10,
1506
+ "push_every_steps": 400,
1507
+ "checkpoint_dir": "/kaggle/working/zenyxv3checkpoints"
1508
+ }
1509
+ }
checkpoints/step_22000/opt_state.pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3bf336063a70d9b77cfb338fa256dbfe10ea1241b9c000bb38fc022372e2c5b6
3
+ size 3154940698
checkpoints/step_22000/params.pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f009d9252966268e75013ec9a87bbf2d8418d381405058f213484c20cfbbe096
3
+ size 3154768094