Hugging Face's logo

Arko007
/
Zenyx-V3-Base

Text Generation
JAX
English
flax
mixture-of-experts
base
pretrained
Model card Files
xet
 Community
Arko007 commited on
Commit
beea27f
·
verified ·
1 Parent(s): 0d972d9

step 16400

Browse files
Files changed (3) hide show
  1. checkpoints/step_16400/metadata.json +2538 -0
  2. checkpoints/step_16400/opt_state.pkl +3 -0
  3. checkpoints/step_16400/params.pkl +3 -0
checkpoints/step_16400/metadata.json ADDED
@@ -0,0 +1,2538 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "step": 16400,
3
+ "tokens_consumed": 8598323200,
4
+ "sequences_consumed": 4198400,
5
+ "data_state": {
6
+ "stream_state": {
7
+ "rng_state": [
8
+ "MT19937",
9
+ [
10
+ 427004486,
11
+ 3082788639,
12
+ 3271711561,
13
+ 806291410,
14
+ 3662692012,
15
+ 543628899,
16
+ 4100036092,
17
+ 2088962040,
18
+ 1311405590,
19
+ 4001445838,
20
+ 3404212650,
21
+ 2336732866,
22
+ 957916022,
23
+ 3931560116,
24
+ 2089664678,
25
+ 95382895,
26
+ 2154950892,
27
+ 2920468187,
28
+ 960870970,
29
+ 226589210,
30
+ 3141570138,
31
+ 1431652099,
32
+ 162734976,
33
+ 3551803083,
34
+ 3905647892,
35
+ 2554567681,
36
+ 1924761134,
37
+ 3959214039,
38
+ 1042101667,
39
+ 2666126334,
40
+ 2219769862,
41
+ 146355650,
42
+ 1935219004,
43
+ 1427089188,
44
+ 3270786276,
45
+ 1261996921,
46
+ 2788075850,
47
+ 915438975,
48
+ 3276143584,
49
+ 3532050624,
50
+ 460731556,
51
+ 2183645561,
52
+ 426833203,
53
+ 567150036,
54
+ 2785651802,
55
+ 4152993220,
56
+ 1774026418,
57
+ 3435716449,
58
+ 2830319673,
59
+ 2528707102,
60
+ 2865305168,
61
+ 1799549913,
62
+ 3802500836,
63
+ 3343013299,
64
+ 490198531,
65
+ 368730246,
66
+ 4233307636,
67
+ 1922814485,
68
+ 1737982385,
69
+ 671299774,
70
+ 1069892822,
71
+ 1773835710,
72
+ 2582062007,
73
+ 2903459906,
74
+ 853686426,
75
+ 997206341,
76
+ 1673485363,
77
+ 3063414416,
78
+ 1379872049,
79
+ 3874184613,
80
+ 157389909,
81
+ 3081593341,
82
+ 1830374382,
83
+ 1129481048,
84
+ 1450696979,
85
+ 3880241476,
86
+ 2556904069,
87
+ 1556886445,
88
+ 1707048807,
89
+ 1334056220,
90
+ 4225675331,
91
+ 4012549986,
92
+ 4005666878,
93
+ 3928071378,
94
+ 742816374,
95
+ 627904488,
96
+ 3523536666,
97
+ 1802866174,
98
+ 271364120,
99
+ 66239508,
100
+ 2964162820,
101
+ 1449913882,
102
+ 2500499411,
103
+ 3717970618,
104
+ 3352387065,
105
+ 2240574841,
106
+ 2032528844,
107
+ 661451455,
108
+ 3362181904,
109
+ 2745496001,
110
+ 2913952106,
111
+ 1321097944,
112
+ 1991743674,
113
+ 686952453,
114
+ 690024600,
115
+ 1114032289,
116
+ 2002713496,
117
+ 3408223489,
118
+ 2132608067,
119
+ 3389225184,
120
+ 1791085511,
121
+ 1704489083,
122
+ 238742918,
123
+ 203425009,
124
+ 2761569987,
125
+ 2349524563,
126
+ 1783742458,
127
+ 2357025082,
128
+ 4279531698,
129
+ 3987788283,
130
+ 3176529460,
131
+ 2570088257,
132
+ 2900519977,
133
+ 1999675019,
134
+ 960539648,
135
+ 760455233,
136
+ 4268162971,
137
+ 2543025366,
138
+ 579925813,
139
+ 824226460,
140
+ 1643128319,
141
+ 1729828812,
142
+ 584047191,
143
+ 3689927870,
144
+ 2242972248,
145
+ 2197795390,
146
+ 3282325390,
147
+ 1173225033,
148
+ 3061088795,
149
+ 1329481197,
150
+ 999635267,
151
+ 2009226972,
152
+ 2064134862,
153
+ 1432843786,
154
+ 2217704196,
155
+ 4032749696,
156
+ 135719888,
157
+ 3037410051,
158
+ 2005008767,
159
+ 156809392,
160
+ 2217392472,
161
+ 2940294980,
162
+ 289929254,
163
+ 3901618720,
164
+ 1368077980,
165
+ 2273676736,
166
+ 3426829916,
167
+ 520599247,
168
+ 2720702403,
169
+ 3732323147,
170
+ 2755487863,
171
+ 1391774321,
172
+ 3338660967,
173
+ 2612838188,
174
+ 2306918786,
175
+ 952409285,
176
+ 3489086692,
177
+ 3816808303,
178
+ 4270841297,
179
+ 3097311461,
180
+ 171058787,
181
+ 3515548988,
182
+ 1662255466,
183
+ 1140848000,
184
+ 1096391384,
185
+ 4225713730,
186
+ 58214906,
187
+ 159851443,
188
+ 786441045,
189
+ 1093946696,
190
+ 27768194,
191
+ 1852528100,
192
+ 1091623011,
193
+ 569808666,
194
+ 3853932444,
195
+ 2821571431,
196
+ 542121581,
197
+ 3552271742,
198
+ 3827090171,
199
+ 2152910610,
200
+ 540093427,
201
+ 3874286212,
202
+ 1603248318,
203
+ 3119808607,
204
+ 813117205,
205
+ 302875789,
206
+ 2122499889,
207
+ 820218978,
208
+ 3687724340,
209
+ 3192497303,
210
+ 300202729,
211
+ 2280812206,
212
+ 2232445687,
213
+ 2520188144,
214
+ 3969576785,
215
+ 1331467608,
216
+ 2433595180,
217
+ 2561335396,
218
+ 2822444808,
219
+ 3372034075,
220
+ 4077125668,
221
+ 4004521124,
222
+ 4143755442,
223
+ 3827829801,
224
+ 3798227592,
225
+ 3972758202,
226
+ 3193589020,
227
+ 1153989325,
228
+ 1717969409,
229
+ 3602851978,
230
+ 800789212,
231
+ 1945687831,
232
+ 101451457,
233
+ 1589104133,
234
+ 2447052779,
235
+ 4096373408,
236
+ 4190162259,
237
+ 3584747959,
238
+ 3525822409,
239
+ 3381327440,
240
+ 2607315024,
241
+ 3629973977,
242
+ 1673272109,
243
+ 2297674524,
244
+ 2623519140,
245
+ 693412297,
246
+ 864805113,
247
+ 361207612,
248
+ 2332953309,
249
+ 565858289,
250
+ 845942379,
251
+ 3909298525,
252
+ 2736114353,
253
+ 2936558535,
254
+ 2946566969,
255
+ 146704788,
256
+ 1423124587,
257
+ 164982016,
258
+ 103323429,
259
+ 540055518,
260
+ 4164712857,
261
+ 2361719777,
262
+ 105955894,
263
+ 1391397309,
264
+ 2132849497,
265
+ 3892915153,
266
+ 2974916890,
267
+ 3907796323,
268
+ 2514834450,
269
+ 848281765,
270
+ 2855674554,
271
+ 2769441114,
272
+ 3892965669,
273
+ 1036689015,
274
+ 3249472341,
275
+ 1254347109,
276
+ 2217077778,
277
+ 1587950678,
278
+ 2076460597,
279
+ 3432785770,
280
+ 4252105477,
281
+ 332564764,
282
+ 1498447110,
283
+ 2869030547,
284
+ 2759218630,
285
+ 2658801771,
286
+ 3412974026,
287
+ 2430161200,
288
+ 3460694759,
289
+ 514692098,
290
+ 1820046904,
291
+ 1801100700,
292
+ 2012261845,
293
+ 765213572,
294
+ 377915100,
295
+ 2318564060,
296
+ 997986483,
297
+ 1444284174,
298
+ 151803537,
299
+ 1423934953,
300
+ 1708005375,
301
+ 477960717,
302
+ 297982435,
303
+ 3853117610,
304
+ 514298934,
305
+ 3816889278,
306
+ 81912090,
307
+ 1259524620,
308
+ 3223512009,
309
+ 2002529945,
310
+ 3323210458,
311
+ 376195948,
312
+ 1806715732,
313
+ 2176984884,
314
+ 1714814522,
315
+ 988379598,
316
+ 267737115,
317
+ 1734403075,
318
+ 1229742607,
319
+ 2744941953,
320
+ 149257828,
321
+ 303820668,
322
+ 980483797,
323
+ 938799517,
324
+ 3846937371,
325
+ 701477343,
326
+ 1621802227,
327
+ 2884769338,
328
+ 2422229619,
329
+ 1166170801,
330
+ 1385657788,
331
+ 483530463,
332
+ 2406588014,
333
+ 1528851823,
334
+ 3017363765,
335
+ 2274656223,
336
+ 2335275237,
337
+ 84754789,
338
+ 2871458769,
339
+ 2538138693,
340
+ 3090321417,
341
+ 3513789666,
342
+ 43104718,
343
+ 2485350218,
344
+ 1220119628,
345
+ 4097945938,
346
+ 2885953150,
347
+ 1768847572,
348
+ 45215262,
349
+ 2499532536,
350
+ 4137953221,
351
+ 1055074480,
352
+ 1302400641,
353
+ 2807833609,
354
+ 4138407601,
355
+ 978946960,
356
+ 1312006639,
357
+ 2998655577,
358
+ 2501459896,
359
+ 2613727431,
360
+ 2518513137,
361
+ 2639888211,
362
+ 3938171477,
363
+ 371395778,
364
+ 1046715897,
365
+ 1573904223,
366
+ 319528010,
367
+ 817230170,
368
+ 4124743342,
369
+ 2905477168,
370
+ 51024417,
371
+ 1516474108,
372
+ 3092667273,
373
+ 3492484943,
374
+ 3160220620,
375
+ 284954680,
376
+ 1069769703,
377
+ 826805186,
378
+ 4150689921,
379
+ 2734105776,
380
+ 2462219299,
381
+ 1908583115,
382
+ 1117544594,
383
+ 2374279372,
384
+ 2782070619,
385
+ 242327294,
386
+ 22373108,
387
+ 2980097851,
388
+ 1399665871,
389
+ 256370179,
390
+ 1231383621,
391
+ 545228377,
392
+ 3471495104,
393
+ 119786147,
394
+ 3824291140,
395
+ 3109501996,
396
+ 1774426125,
397
+ 3639321573,
398
+ 3273347662,
399
+ 378539585,
400
+ 1989339792,
401
+ 1172230315,
402
+ 4029801396,
403
+ 230337772,
404
+ 778707369,
405
+ 1946473183,
406
+ 3244400394,
407
+ 3165985120,
408
+ 1030484298,
409
+ 4179382919,
410
+ 776977456,
411
+ 2406357610,
412
+ 929984482,
413
+ 4229779491,
414
+ 2426767735,
415
+ 1606097670,
416
+ 49761430,
417
+ 2279915670,
418
+ 1745722438,
419
+ 969964758,
420
+ 2891533830,
421
+ 3212257891,
422
+ 1100333669,
423
+ 1183300436,
424
+ 2877904162,
425
+ 2365765277,
426
+ 3789914080,
427
+ 1196814219,
428
+ 4261692094,
429
+ 791485482,
430
+ 1446229165,
431
+ 2602664431,
432
+ 2262355011,
433
+ 3802048149,
434
+ 3629439417,
435
+ 2491992945,
436
+ 2492536021,
437
+ 1278574598,
438
+ 915374893,
439
+ 1059840028,
440
+ 433142266,
441
+ 2779565072,
442
+ 2736209558,
443
+ 2746836913,
444
+ 2041072442,
445
+ 2855702434,
446
+ 3076000327,
447
+ 3824730795,
448
+ 1438643993,
449
+ 2822758427,
450
+ 2356225537,
451
+ 3171094648,
452
+ 3222109958,
453
+ 62255635,
454
+ 420410036,
455
+ 4000875212,
456
+ 835640726,
457
+ 3285703165,
458
+ 3854817746,
459
+ 2834777531,
460
+ 1906854789,
461
+ 3567768490,
462
+ 1608571039,
463
+ 2041655247,
464
+ 2538835202,
465
+ 3280672597,
466
+ 845636157,
467
+ 1651174010,
468
+ 1166818465,
469
+ 3839675923,
470
+ 172359534,
471
+ 1074070310,
472
+ 1906501346,
473
+ 770066981,
474
+ 3421719509,
475
+ 2436703889,
476
+ 253326258,
477
+ 3807682055,
478
+ 456504225,
479
+ 384263492,
480
+ 4269169107,
481
+ 2677233939,
482
+ 3340910951,
483
+ 3278153615,
484
+ 488015155,
485
+ 4183791653,
486
+ 1522527670,
487
+ 1605914655,
488
+ 1837036697,
489
+ 2493652492,
490
+ 711310427,
491
+ 1828956462,
492
+ 1616520138,
493
+ 702277858,
494
+ 1981814685,
495
+ 4275355636,
496
+ 1047788662,
497
+ 135424333,
498
+ 2390330112,
499
+ 383442723,
500
+ 4133901023,
501
+ 3363328548,
502
+ 1045316588,
503
+ 488224602,
504
+ 3799876447,
505
+ 3407217292,
506
+ 1205060564,
507
+ 3935566720,
508
+ 4094262160,
509
+ 2503651650,
510
+ 3648848511,
511
+ 983743305,
512
+ 126595603,
513
+ 3962313457,
514
+ 3284108164,
515
+ 625512656,
516
+ 355560310,
517
+ 848379476,
518
+ 633906693,
519
+ 2871032379,
520
+ 1079639892,
521
+ 2345945294,
522
+ 3855127105,
523
+ 4164221791,
524
+ 1815436955,
525
+ 2926039423,
526
+ 575860925,
527
+ 2726386325,
528
+ 1665332990,
529
+ 155172458,
530
+ 2063449513,
531
+ 2321842471,
532
+ 2835878820,
533
+ 1874073497,
534
+ 1629292493,
535
+ 2182331052,
536
+ 3224153933,
537
+ 1129658683,
538
+ 55526497,
539
+ 353243753,
540
+ 969364183,
541
+ 4175472126,
542
+ 752428595,
543
+ 2821159066,
544
+ 3405815030,
545
+ 902534415,
546
+ 4980742,
547
+ 446662883,
548
+ 3822196544,
549
+ 3188811291,
550
+ 1197924321,
551
+ 3708110287,
552
+ 122888265,
553
+ 1862184250,
554
+ 4082264324,
555
+ 2253669217,
556
+ 3080958031,
557
+ 894563499,
558
+ 1037907339,
559
+ 1027306448,
560
+ 744480202,
561
+ 985419308,
562
+ 2593909073,
563
+ 2017782913,
564
+ 115183180,
565
+ 884278637,
566
+ 2746535054,
567
+ 3840050593,
568
+ 3340295885,
569
+ 755306947,
570
+ 4272134292,
571
+ 629134246,
572
+ 14028546,
573
+ 181582813,
574
+ 1085130055,
575
+ 1529241062,
576
+ 1320517765,
577
+ 3747033152,
578
+ 3979612558,
579
+ 499416325,
580
+ 442326438,
581
+ 3577888098,
582
+ 3847989192,
583
+ 404110590,
584
+ 2556969813,
585
+ 3578301090,
586
+ 4039791421,
587
+ 3948723248,
588
+ 3501754851,
589
+ 3135667352,
590
+ 1821991616,
591
+ 3289953773,
592
+ 1330937735,
593
+ 3899149476,
594
+ 2437040594,
595
+ 2258350093,
596
+ 3106353823,
597
+ 4085333502,
598
+ 502394524,
599
+ 81189600,
600
+ 1124621001,
601
+ 2722293870,
602
+ 864082988,
603
+ 1105305709,
604
+ 3332927499,
605
+ 2830069536,
606
+ 1084666222,
607
+ 3248144634,
608
+ 3388423454,
609
+ 487534782,
610
+ 296570113,
611
+ 2866853357,
612
+ 383800798,
613
+ 4109014918,
614
+ 344544108,
615
+ 172424925,
616
+ 3419768155,
617
+ 3113745963,
618
+ 35677671,
619
+ 1042500828,
620
+ 1227278461,
621
+ 1200823973,
622
+ 1143205859,
623
+ 3722909852,
624
+ 115894014,
625
+ 3170688454,
626
+ 2385188414,
627
+ 1822388187,
628
+ 3333408127,
629
+ 271125812,
630
+ 2872955686,
631
+ 2583905501,
632
+ 3594926607,
633
+ 3453507113
634
+ ],
635
+ 96,
636
+ 0,
637
+ 0.0
638
+ ],
639
+ "doc_counts": {
640
+ "fineweb": 572781,
641
+ "code": 239171,
642
+ "math": 143440
643
+ },
644
+ "code_lang_idx": 50
645
+ },
646
+ "token_state": {
647
+ "buffer_tokens": [
648
+ 22660,
649
+ 53,
650
+ 109534,
651
+ 19923,
652
+ 21133,
653
+ 4941,
654
+ 44585,
655
+ 2542,
656
+ 28951,
657
+ 53,
658
+ 109534,
659
+ 19923,
660
+ 21133,
661
+ 18598,
662
+ 3106,
663
+ 66565,
664
+ 1445,
665
+ 438,
666
+ 22660,
667
+ 53,
668
+ 109534,
669
+ 19923,
670
+ 21133,
671
+ 18598,
672
+ 3106,
673
+ 4941,
674
+ 456,
675
+ 59851,
676
+ 11,
677
+ 22660,
678
+ 53,
679
+ 109534,
680
+ 19923,
681
+ 21133,
682
+ 18598,
683
+ 3106,
684
+ 65,
685
+ 692,
686
+ 59851,
687
+ 11,
688
+ 22660,
689
+ 53,
690
+ 109534,
691
+ 19923,
692
+ 21133,
693
+ 18598,
694
+ 3106,
695
+ 4941,
696
+ 59851,
697
+ 682,
698
+ 53,
699
+ 109534,
700
+ 19923,
701
+ 21133,
702
+ 18598,
703
+ 3106,
704
+ 9181,
705
+ 261,
706
+ 1445,
707
+ 7375,
708
+ 44401,
709
+ 95390,
710
+ 49678,
711
+ 69761,
712
+ 926,
713
+ 11370,
714
+ 109534,
715
+ 19923,
716
+ 21133,
717
+ 271,
718
+ 45396,
719
+ 10993,
720
+ 109534,
721
+ 19923,
722
+ 21133,
723
+ 18598,
724
+ 3106,
725
+ 28,
726
+ 539,
727
+ 200,
728
+ 34,
729
+ 37595,
730
+ 33544,
731
+ 49,
732
+ 11,
733
+ 6219,
734
+ 327,
735
+ 109534,
736
+ 19923,
737
+ 21133,
738
+ 7917,
739
+ 201,
740
+ 200,
741
+ 34,
742
+ 37595,
743
+ 52,
744
+ 16255,
745
+ 6290,
746
+ 11,
747
+ 22660,
748
+ 53,
749
+ 109534,
750
+ 19923,
751
+ 21133,
752
+ 18598,
753
+ 3106,
754
+ 65,
755
+ 924,
756
+ 10617,
757
+ 18834,
758
+ 682,
759
+ 200,
760
+ 34,
761
+ 37595,
762
+ 52,
763
+ 16255,
764
+ 6290,
765
+ 11,
766
+ 22660,
767
+ 53,
768
+ 109534,
769
+ 19923,
770
+ 21133,
771
+ 18598,
772
+ 3106,
773
+ 9181,
774
+ 261,
775
+ 682,
776
+ 200,
777
+ 34,
778
+ 37595,
779
+ 52,
780
+ 16255,
781
+ 6290,
782
+ 11,
783
+ 22660,
784
+ 11173,
785
+ 6446,
786
+ 53039,
787
+ 8930,
788
+ 53,
789
+ 109534,
790
+ 19923,
791
+ 21133,
792
+ 26432,
793
+ 3106,
794
+ 271,
795
+ 29295,
796
+ 10993,
797
+ 109534,
798
+ 19923,
799
+ 21133,
800
+ 18598,
801
+ 3106,
802
+ 28,
803
+ 2411,
804
+ 29295,
805
+ 10993,
806
+ 109534,
807
+ 19923,
808
+ 21133,
809
+ 18598,
810
+ 3106,
811
+ 201,
812
+ 10020,
813
+ 29295,
814
+ 10993,
815
+ 109534,
816
+ 19923,
817
+ 21133,
818
+ 18598,
819
+ 3106,
820
+ 28,
821
+ 1840,
822
+ 29295,
823
+ 10993,
824
+ 109534,
825
+ 19923,
826
+ 21133,
827
+ 18598,
828
+ 3106,
829
+ 201,
830
+ 12993,
831
+ 29295,
832
+ 10993,
833
+ 109534,
834
+ 19923,
835
+ 21133,
836
+ 18598,
837
+ 3106,
838
+ 28,
839
+ 852,
840
+ 29295,
841
+ 10993,
842
+ 109534,
843
+ 19923,
844
+ 21133,
845
+ 18598,
846
+ 3106,
847
+ 22660,
848
+ 53,
849
+ 109534,
850
+ 19923,
851
+ 21133,
852
+ 18598,
853
+ 3106,
854
+ 9181,
855
+ 261,
856
+ 682,
857
+ 3548,
858
+ 29295,
859
+ 10993,
860
+ 109534,
861
+ 19923,
862
+ 21133,
863
+ 18598,
864
+ 3106,
865
+ 979,
866
+ 37595,
867
+ 53,
868
+ 109534,
869
+ 19923,
870
+ 21133,
871
+ 18598,
872
+ 3106,
873
+ 9181,
874
+ 261,
875
+ 2605,
876
+ 22660,
877
+ 53,
878
+ 109534,
879
+ 19923,
880
+ 21133,
881
+ 18598,
882
+ 3106,
883
+ 66565,
884
+ 11,
885
+ 2906,
886
+ 10993,
887
+ 109534,
888
+ 33098,
889
+ 18598,
890
+ 3106,
891
+ 539,
892
+ 21840,
893
+ 77,
894
+ 18834,
895
+ 565,
896
+ 82,
897
+ 3608,
898
+ 81798,
899
+ 44401,
900
+ 95390,
901
+ 49678,
902
+ 69761,
903
+ 926,
904
+ 11370,
905
+ 109534,
906
+ 19923,
907
+ 21133,
908
+ 16153,
909
+ 200,
910
+ 37595,
911
+ 5564,
912
+ 26856,
913
+ 11,
914
+ 22660,
915
+ 53,
916
+ 109534,
917
+ 19923,
918
+ 21133,
919
+ 18598,
920
+ 3106,
921
+ 66565,
922
+ 11,
923
+ 22660,
924
+ 53,
925
+ 109534,
926
+ 19923,
927
+ 21133,
928
+ 18598,
929
+ 3106,
930
+ 7755,
931
+ 100711,
932
+ 11,
933
+ 565,
934
+ 81,
935
+ 22660,
936
+ 53,
937
+ 109534,
938
+ 19923,
939
+ 21133,
940
+ 18598,
941
+ 3106,
942
+ 9181,
943
+ 261,
944
+ 11,
945
+ 539,
946
+ 200,
947
+ 37595,
948
+ 33544,
949
+ 49,
950
+ 11,
951
+ 5345,
952
+ 957,
953
+ 34,
954
+ 5553,
955
+ 2596,
956
+ 53,
957
+ 109534,
958
+ 19923,
959
+ 21133,
960
+ 18598,
961
+ 3106,
962
+ 11853,
963
+ 7989,
964
+ 53039,
965
+ 438,
966
+ 22660,
967
+ 18834,
968
+ 22660,
969
+ 34,
970
+ 2542,
971
+ 56524,
972
+ 22306,
973
+ 40,
974
+ 682,
975
+ 37595,
976
+ 53,
977
+ 109534,
978
+ 19923,
979
+ 21133,
980
+ 18598,
981
+ 3106,
982
+ 4941,
983
+ 456,
984
+ 59851,
985
+ 2605,
986
+ 22660,
987
+ 53,
988
+ 109534,
989
+ 19923,
990
+ 21133,
991
+ 18598,
992
+ 3106,
993
+ 65,
994
+ 924,
995
+ 10617,
996
+ 18834,
997
+ 8930,
998
+ 14372,
999
+ 81,
1000
+ 1137,
1001
+ 200,
1002
+ 37595,
1003
+ 33544,
1004
+ 49,
1005
+ 11,
1006
+ 327,
1007
+ 109534,
1008
+ 19923,
1009
+ 21133,
1010
+ 28,
1011
+ 98142,
1012
+ 7917,
1013
+ 22660,
1014
+ 30068,
1015
+ 3104,
1016
+ 37595,
1017
+ 50899,
1018
+ 22660,
1019
+ 5635,
1020
+ 318,
1021
+ 1204,
1022
+ 85525,
1023
+ 36521,
1024
+ 33767,
1025
+ 85525,
1026
+ 14,
1027
+ 22660,
1028
+ 5635,
1029
+ 318,
1030
+ 22660,
1031
+ 53,
1032
+ 109534,
1033
+ 19923,
1034
+ 21133,
1035
+ 18598,
1036
+ 3106,
1037
+ 65,
1038
+ 924,
1039
+ 10617,
1040
+ 18834,
1041
+ 754,
1042
+ 14,
1043
+ 957,
1044
+ 34,
1045
+ 2542,
1046
+ 754,
1047
+ 22660,
1048
+ 53,
1049
+ 109534,
1050
+ 19923,
1051
+ 21133,
1052
+ 4941,
1053
+ 456,
1054
+ 44585,
1055
+ 2542,
1056
+ 7835,
1057
+ 21840,
1058
+ 77,
1059
+ 18834,
1060
+ 565,
1061
+ 82,
1062
+ 22660,
1063
+ 18834,
1064
+ 22660,
1065
+ 34,
1066
+ 5203,
1067
+ 200,
1068
+ 37595,
1069
+ 37,
1070
+ 7224,
1071
+ 11,
1072
+ 22660,
1073
+ 53,
1074
+ 109534,
1075
+ 19923,
1076
+ 21133,
1077
+ 18598,
1078
+ 3106,
1079
+ 4941,
1080
+ 456,
1081
+ 100711,
1082
+ 11,
1083
+ 565,
1084
+ 69,
1085
+ 22660,
1086
+ 30068,
1087
+ 3104,
1088
+ 37595,
1089
+ 50899,
1090
+ 22660,
1091
+ 5635,
1092
+ 318,
1093
+ 1204,
1094
+ 85525,
1095
+ 36521,
1096
+ 33767,
1097
+ 85525,
1098
+ 14,
1099
+ 22660,
1100
+ 5635,
1101
+ 318,
1102
+ 22660,
1103
+ 53,
1104
+ 109534,
1105
+ 19923,
1106
+ 21133,
1107
+ 18598,
1108
+ 3106,
1109
+ 65,
1110
+ 924,
1111
+ 10617,
1112
+ 18834,
1113
+ 754,
1114
+ 14,
1115
+ 957,
1116
+ 34,
1117
+ 2542,
1118
+ 754,
1119
+ 22660,
1120
+ 53,
1121
+ 109534,
1122
+ 19923,
1123
+ 21133,
1124
+ 4941,
1125
+ 456,
1126
+ 44585,
1127
+ 2542,
1128
+ 565,
1129
+ 81,
1130
+ 957,
1131
+ 34,
1132
+ 201,
1133
+ 200,
1134
+ 34,
1135
+ 116228,
1136
+ 565,
1137
+ 82,
1138
+ 22660,
1139
+ 18834,
1140
+ 22660,
1141
+ 3327,
1142
+ 44846,
1143
+ 22660,
1144
+ 11173,
1145
+ 6446,
1146
+ 53039,
1147
+ 8930,
1148
+ 53,
1149
+ 109534,
1150
+ 19923,
1151
+ 21133,
1152
+ 26432,
1153
+ 3106,
1154
+ 41206,
1155
+ 22660,
1156
+ 5635,
1157
+ 318,
1158
+ 1204,
1159
+ 41206,
1160
+ 1537,
1161
+ 22660,
1162
+ 5635,
1163
+ 318,
1164
+ 82036,
1165
+ 14,
1166
+ 1537,
1167
+ 22660,
1168
+ 30068,
1169
+ 3104,
1170
+ 37595,
1171
+ 50899,
1172
+ 22660,
1173
+ 5635,
1174
+ 318,
1175
+ 1204,
1176
+ 85525,
1177
+ 36521,
1178
+ 33767,
1179
+ 85525,
1180
+ 14,
1181
+ 22660,
1182
+ 5635,
1183
+ 318,
1184
+ 22660,
1185
+ 53,
1186
+ 109534,
1187
+ 19923,
1188
+ 21133,
1189
+ 18598,
1190
+ 3106,
1191
+ 65,
1192
+ 924,
1193
+ 10617,
1194
+ 18834,
1195
+ 754,
1196
+ 14,
1197
+ 957,
1198
+ 34,
1199
+ 2542,
1200
+ 754,
1201
+ 22660,
1202
+ 53,
1203
+ 109534,
1204
+ 19923,
1205
+ 21133,
1206
+ 4941,
1207
+ 456,
1208
+ 44585,
1209
+ 56952,
1210
+ 5203,
1211
+ 200,
1212
+ 24187,
1213
+ 22660,
1214
+ 53,
1215
+ 109534,
1216
+ 19923,
1217
+ 21133,
1218
+ 18598,
1219
+ 3106,
1220
+ 11853,
1221
+ 7989,
1222
+ 53039,
1223
+ 797,
1224
+ 70,
1225
+ 22660,
1226
+ 3327,
1227
+ 44846,
1228
+ 22660,
1229
+ 11173,
1230
+ 6446,
1231
+ 53039,
1232
+ 8930,
1233
+ 53,
1234
+ 109534,
1235
+ 19923,
1236
+ 21133,
1237
+ 26432,
1238
+ 3106,
1239
+ 41206,
1240
+ 22660,
1241
+ 5635,
1242
+ 318,
1243
+ 1204,
1244
+ 41206,
1245
+ 1537,
1246
+ 22660,
1247
+ 5635,
1248
+ 318,
1249
+ 82036,
1250
+ 14,
1251
+ 1537,
1252
+ 22660,
1253
+ 30068,
1254
+ 3104,
1255
+ 37595,
1256
+ 50899,
1257
+ 22660,
1258
+ 5635,
1259
+ 318,
1260
+ 1204,
1261
+ 85525,
1262
+ 36521,
1263
+ 33767,
1264
+ 85525,
1265
+ 14,
1266
+ 22660,
1267
+ 5635,
1268
+ 318,
1269
+ 22660,
1270
+ 53,
1271
+ 109534,
1272
+ 19923,
1273
+ 21133,
1274
+ 18598,
1275
+ 3106,
1276
+ 65,
1277
+ 924,
1278
+ 10617,
1279
+ 18834,
1280
+ 754,
1281
+ 14,
1282
+ 957,
1283
+ 34,
1284
+ 2542,
1285
+ 754,
1286
+ 22660,
1287
+ 53,
1288
+ 109534,
1289
+ 19923,
1290
+ 21133,
1291
+ 4941,
1292
+ 456,
1293
+ 44585,
1294
+ 56952,
1295
+ 797,
1296
+ 50,
1297
+ 29,
1298
+ 18253,
1299
+ 35749,
1300
+ 10012,
1301
+ 565,
1302
+ 71,
1303
+ 905,
1304
+ 85,
1305
+ 61663,
1306
+ 16550,
1307
+ 835,
1308
+ 9,
1309
+ 565,
1310
+ 71,
1311
+ 905,
1312
+ 85,
1313
+ 17,
1314
+ 64,
1315
+ 61,
1316
+ 64,
1317
+ 28,
1318
+ 36956,
1319
+ 28,
1320
+ 982,
1321
+ 835,
1322
+ 9,
1323
+ 565,
1324
+ 71,
1325
+ 905,
1326
+ 85,
1327
+ 17,
1328
+ 982,
1329
+ 7387,
1330
+ 9237,
1331
+ 835,
1332
+ 9,
1333
+ 18253,
1334
+ 200,
1335
+ 200,
1336
+ 5457,
1337
+ 23464,
1338
+ 64,
1339
+ 9237,
1340
+ 17,
1341
+ 283,
1342
+ 9,
1343
+ 565,
1344
+ 71,
1345
+ 905,
1346
+ 85,
1347
+ 17,
1348
+ 9237,
1349
+ 17,
1350
+ 1313,
1351
+ 67221,
1352
+ 818,
1353
+ 22660,
1354
+ 53,
1355
+ 109534,
1356
+ 19923,
1357
+ 21133,
1358
+ 18598,
1359
+ 3106,
1360
+ 11853,
1361
+ 7989,
1362
+ 53039,
1363
+ 797,
1364
+ 70,
1365
+ 10653,
1366
+ 22660,
1367
+ 3327,
1368
+ 44846,
1369
+ 22660,
1370
+ 11173,
1371
+ 6446,
1372
+ 53039,
1373
+ 8930,
1374
+ 53,
1375
+ 109534,
1376
+ 19923,
1377
+ 21133,
1378
+ 26432,
1379
+ 3106,
1380
+ 41206,
1381
+ 22660,
1382
+ 5635,
1383
+ 318,
1384
+ 1204,
1385
+ 41206,
1386
+ 1537,
1387
+ 22660,
1388
+ 5635,
1389
+ 318,
1390
+ 82036,
1391
+ 14,
1392
+ 1537,
1393
+ 22660,
1394
+ 30068,
1395
+ 3104,
1396
+ 37595,
1397
+ 50899,
1398
+ 22660,
1399
+ 5635,
1400
+ 318,
1401
+ 1204,
1402
+ 85525,
1403
+ 36521,
1404
+ 33767,
1405
+ 85525,
1406
+ 14,
1407
+ 22660,
1408
+ 5635,
1409
+ 318,
1410
+ 22660,
1411
+ 53,
1412
+ 109534,
1413
+ 19923,
1414
+ 21133,
1415
+ 18598,
1416
+ 3106,
1417
+ 65,
1418
+ 924,
1419
+ 10617,
1420
+ 18834,
1421
+ 754,
1422
+ 14,
1423
+ 957,
1424
+ 34,
1425
+ 2542,
1426
+ 754,
1427
+ 22660,
1428
+ 53,
1429
+ 109534,
1430
+ 19923,
1431
+ 21133,
1432
+ 4941,
1433
+ 456,
1434
+ 44585,
1435
+ 56952,
1436
+ 797,
1437
+ 50,
1438
+ 29,
1439
+ 18253,
1440
+ 35749,
1441
+ 71660,
1442
+ 565,
1443
+ 72,
1444
+ 22660,
1445
+ 53,
1446
+ 109534,
1447
+ 19923,
1448
+ 21133,
1449
+ 18598,
1450
+ 3106,
1451
+ 11853,
1452
+ 7989,
1453
+ 53039,
1454
+ 797,
1455
+ 70,
1456
+ 271,
1457
+ 37595,
1458
+ 53,
1459
+ 109534,
1460
+ 19923,
1461
+ 21133,
1462
+ 18598,
1463
+ 3106,
1464
+ 65,
1465
+ 692,
1466
+ 59851,
1467
+ 2605,
1468
+ 22660,
1469
+ 53,
1470
+ 109534,
1471
+ 19923,
1472
+ 21133,
1473
+ 18598,
1474
+ 3106,
1475
+ 65,
1476
+ 924,
1477
+ 10617,
1478
+ 18834,
1479
+ 8930,
1480
+ 14372,
1481
+ 81,
1482
+ 1137,
1483
+ 200,
1484
+ 37595,
1485
+ 33544,
1486
+ 49,
1487
+ 11,
1488
+ 327,
1489
+ 109534,
1490
+ 19923,
1491
+ 21133,
1492
+ 28,
1493
+ 98142,
1494
+ 7917,
1495
+ 22660,
1496
+ 30068,
1497
+ 3104,
1498
+ 37595,
1499
+ 50899,
1500
+ 22660,
1501
+ 5635,
1502
+ 318,
1503
+ 1204,
1504
+ 692,
1505
+ 36521,
1506
+ 33767,
1507
+ 692,
1508
+ 14,
1509
+ 22660,
1510
+ 5635,
1511
+ 318,
1512
+ 22660,
1513
+ 53,
1514
+ 109534,
1515
+ 19923,
1516
+ 21133,
1517
+ 18598,
1518
+ 3106,
1519
+ 65,
1520
+ 924,
1521
+ 10617,
1522
+ 18834,
1523
+ 754,
1524
+ 14,
1525
+ 957,
1526
+ 34,
1527
+ 2542,
1528
+ 754,
1529
+ 22660,
1530
+ 53,
1531
+ 109534,
1532
+ 19923,
1533
+ 21133,
1534
+ 65,
1535
+ 692,
1536
+ 44585,
1537
+ 2542,
1538
+ 7835,
1539
+ 21840,
1540
+ 77,
1541
+ 18834,
1542
+ 565,
1543
+ 82,
1544
+ 22660,
1545
+ 18834,
1546
+ 22660,
1547
+ 34,
1548
+ 5203,
1549
+ 200,
1550
+ 37595,
1551
+ 37,
1552
+ 7224,
1553
+ 11,
1554
+ 22660,
1555
+ 53,
1556
+ 109534,
1557
+ 19923,
1558
+ 21133,
1559
+ 18598,
1560
+ 3106,
1561
+ 4941,
1562
+ 456,
1563
+ 100711,
1564
+ 11,
1565
+ 565,
1566
+ 69,
1567
+ 22660,
1568
+ 30068,
1569
+ 3104,
1570
+ 37595,
1571
+ 50899,
1572
+ 22660,
1573
+ 5635,
1574
+ 318,
1575
+ 1204,
1576
+ 692,
1577
+ 36521,
1578
+ 33767,
1579
+ 692,
1580
+ 14,
1581
+ 22660,
1582
+ 5635,
1583
+ 318,
1584
+ 22660,
1585
+ 53,
1586
+ 109534,
1587
+ 19923,
1588
+ 21133,
1589
+ 18598,
1590
+ 3106,
1591
+ 65,
1592
+ 924,
1593
+ 10617,
1594
+ 18834,
1595
+ 754,
1596
+ 14,
1597
+ 957,
1598
+ 34,
1599
+ 2542,
1600
+ 754,
1601
+ 22660,
1602
+ 53,
1603
+ 109534,
1604
+ 19923,
1605
+ 21133,
1606
+ 65,
1607
+ 692,
1608
+ 44585,
1609
+ 2542,
1610
+ 565,
1611
+ 81,
1612
+ 957,
1613
+ 34,
1614
+ 201,
1615
+ 21840,
1616
+ 77,
1617
+ 18834,
1618
+ 565,
1619
+ 82,
1620
+ 22660,
1621
+ 18834,
1622
+ 22660,
1623
+ 3327,
1624
+ 44846,
1625
+ 22660,
1626
+ 11173,
1627
+ 6446,
1628
+ 53039,
1629
+ 8930,
1630
+ 14,
1631
+ 22660,
1632
+ 5635,
1633
+ 318,
1634
+ 1204,
1635
+ 41206,
1636
+ 1537,
1637
+ 22660,
1638
+ 5635,
1639
+ 318,
1640
+ 82036,
1641
+ 14,
1642
+ 1537,
1643
+ 22660,
1644
+ 30068,
1645
+ 3104,
1646
+ 37595,
1647
+ 50899,
1648
+ 22660,
1649
+ 5635,
1650
+ 318,
1651
+ 1204,
1652
+ 692,
1653
+ 36521,
1654
+ 33767,
1655
+ 692,
1656
+ 14,
1657
+ 22660,
1658
+ 5635,
1659
+ 318,
1660
+ 22660,
1661
+ 53,
1662
+ 109534,
1663
+ 19923,
1664
+ 21133,
1665
+ 18598,
1666
+ 3106,
1667
+ 65,
1668
+ 924,
1669
+ 10617,
1670
+ 18834,
1671
+ 754,
1672
+ 14,
1673
+ 957,
1674
+ 34,
1675
+ 2542,
1676
+ 754,
1677
+ 22660,
1678
+ 53,
1679
+ 109534,
1680
+ 19923,
1681
+ 21133,
1682
+ 65,
1683
+ 692,
1684
+ 44585,
1685
+ 56952,
1686
+ 5203,
1687
+ 200,
1688
+ 24187,
1689
+ 22660,
1690
+ 53,
1691
+ 109534,
1692
+ 19923,
1693
+ 21133,
1694
+ 18598,
1695
+ 3106,
1696
+ 11853,
1697
+ 7989,
1698
+ 53039,
1699
+ 797,
1700
+ 70,
1701
+ 22660,
1702
+ 3327,
1703
+ 44846,
1704
+ 22660,
1705
+ 11173,
1706
+ 6446,
1707
+ 53039,
1708
+ 8930,
1709
+ 14,
1710
+ 22660,
1711
+ 5635,
1712
+ 318,
1713
+ 1204,
1714
+ 41206,
1715
+ 1537,
1716
+ 22660,
1717
+ 5635,
1718
+ 318,
1719
+ 82036,
1720
+ 14,
1721
+ 1537,
1722
+ 22660,
1723
+ 30068,
1724
+ 3104,
1725
+ 37595,
1726
+ 50899,
1727
+ 22660,
1728
+ 5635,
1729
+ 318,
1730
+ 1204,
1731
+ 692,
1732
+ 36521,
1733
+ 33767,
1734
+ 692,
1735
+ 14,
1736
+ 22660,
1737
+ 5635,
1738
+ 318,
1739
+ 22660,
1740
+ 53,
1741
+ 109534,
1742
+ 19923,
1743
+ 21133,
1744
+ 18598,
1745
+ 3106,
1746
+ 65,
1747
+ 924,
1748
+ 10617,
1749
+ 18834,
1750
+ 754,
1751
+ 14,
1752
+ 957,
1753
+ 34,
1754
+ 2542,
1755
+ 754,
1756
+ 22660,
1757
+ 53,
1758
+ 109534,
1759
+ 19923,
1760
+ 21133,
1761
+ 65,
1762
+ 692,
1763
+ 44585,
1764
+ 56952,
1765
+ 797,
1766
+ 90660,
1767
+ 5497,
1768
+ 29,
1769
+ 18253,
1770
+ 35749,
1771
+ 10012,
1772
+ 565,
1773
+ 71,
1774
+ 905,
1775
+ 85,
1776
+ 61663,
1777
+ 16550,
1778
+ 835,
1779
+ 9,
1780
+ 565,
1781
+ 71,
1782
+ 905,
1783
+ 85,
1784
+ 17,
1785
+ 64,
1786
+ 61,
1787
+ 64,
1788
+ 28,
1789
+ 36956,
1790
+ 28,
1791
+ 982,
1792
+ 835,
1793
+ 9,
1794
+ 565,
1795
+ 71,
1796
+ 905,
1797
+ 85,
1798
+ 17,
1799
+ 982,
1800
+ 7387,
1801
+ 9237,
1802
+ 835,
1803
+ 9,
1804
+ 18253,
1805
+ 200,
1806
+ 200,
1807
+ 5457,
1808
+ 23464,
1809
+ 64,
1810
+ 9237,
1811
+ 17,
1812
+ 283,
1813
+ 9,
1814
+ 565,
1815
+ 71,
1816
+ 905,
1817
+ 85,
1818
+ 17,
1819
+ 9237,
1820
+ 17,
1821
+ 1313,
1822
+ 67221,
1823
+ 818,
1824
+ 22660,
1825
+ 53,
1826
+ 109534,
1827
+ 19923,
1828
+ 21133,
1829
+ 18598,
1830
+ 3106,
1831
+ 11853,
1832
+ 7989,
1833
+ 53039,
1834
+ 797,
1835
+ 70,
1836
+ 10653,
1837
+ 22660,
1838
+ 3327,
1839
+ 44846,
1840
+ 22660,
1841
+ 11173,
1842
+ 6446,
1843
+ 53039,
1844
+ 8930,
1845
+ 14,
1846
+ 22660,
1847
+ 5635,
1848
+ 318,
1849
+ 1204,
1850
+ 41206,
1851
+ 1537,
1852
+ 22660,
1853
+ 5635,
1854
+ 318,
1855
+ 82036,
1856
+ 14,
1857
+ 1537,
1858
+ 22660,
1859
+ 30068,
1860
+ 3104,
1861
+ 37595,
1862
+ 50899,
1863
+ 22660,
1864
+ 5635,
1865
+ 318,
1866
+ 1204,
1867
+ 692,
1868
+ 36521,
1869
+ 33767,
1870
+ 692,
1871
+ 14,
1872
+ 22660,
1873
+ 5635,
1874
+ 318,
1875
+ 22660,
1876
+ 53,
1877
+ 109534,
1878
+ 19923,
1879
+ 21133,
1880
+ 18598,
1881
+ 3106,
1882
+ 65,
1883
+ 924,
1884
+ 10617,
1885
+ 18834,
1886
+ 754,
1887
+ 14,
1888
+ 957,
1889
+ 34,
1890
+ 2542,
1891
+ 754,
1892
+ 22660,
1893
+ 53,
1894
+ 109534,
1895
+ 19923,
1896
+ 21133,
1897
+ 65,
1898
+ 692,
1899
+ 44585,
1900
+ 56952,
1901
+ 797,
1902
+ 90660,
1903
+ 5497,
1904
+ 29,
1905
+ 18253,
1906
+ 35749,
1907
+ 71660,
1908
+ 565,
1909
+ 72,
1910
+ 22660,
1911
+ 53,
1912
+ 109534,
1913
+ 19923,
1914
+ 21133,
1915
+ 18598,
1916
+ 3106,
1917
+ 11853,
1918
+ 7989,
1919
+ 53039,
1920
+ 797,
1921
+ 70,
1922
+ 271,
1923
+ 37595,
1924
+ 53,
1925
+ 109534,
1926
+ 19923,
1927
+ 21133,
1928
+ 18598,
1929
+ 3106,
1930
+ 4941,
1931
+ 59851,
1932
+ 2605,
1933
+ 22660,
1934
+ 53,
1935
+ 109534,
1936
+ 19923,
1937
+ 21133,
1938
+ 18598,
1939
+ 3106,
1940
+ 65,
1941
+ 924,
1942
+ 10617,
1943
+ 18834,
1944
+ 8930,
1945
+ 14372,
1946
+ 81,
1947
+ 1137,
1948
+ 200,
1949
+ 37595,
1950
+ 33544,
1951
+ 49,
1952
+ 11,
1953
+ 327,
1954
+ 109534,
1955
+ 19923,
1956
+ 21133,
1957
+ 28,
1958
+ 98142,
1959
+ 7917,
1960
+ 22660,
1961
+ 30068,
1962
+ 3104,
1963
+ 37595,
1964
+ 50899,
1965
+ 22660,
1966
+ 5635,
1967
+ 318,
1968
+ 1204,
1969
+ 69,
1970
+ 36521,
1971
+ 33767,
1972
+ 69,
1973
+ 14,
1974
+ 22660,
1975
+ 5635,
1976
+ 318,
1977
+ 22660,
1978
+ 53,
1979
+ 109534,
1980
+ 19923,
1981
+ 21133,
1982
+ 18598,
1983
+ 3106,
1984
+ 65,
1985
+ 924,
1986
+ 10617,
1987
+ 18834,
1988
+ 754,
1989
+ 14,
1990
+ 957,
1991
+ 34,
1992
+ 2542,
1993
+ 754,
1994
+ 22660,
1995
+ 53,
1996
+ 109534,
1997
+ 19923,
1998
+ 21133,
1999
+ 4941,
2000
+ 44585,
2001
+ 2542,
2002
+ 7835,
2003
+ 21840,
2004
+ 77,
2005
+ 18834,
2006
+ 565,
2007
+ 82,
2008
+ 22660,
2009
+ 18834,
2010
+ 22660,
2011
+ 34,
2012
+ 5203,
2013
+ 200,
2014
+ 37595,
2015
+ 5564,
2016
+ 11,
2017
+ 22660,
2018
+ 53,
2019
+ 109534,
2020
+ 19923,
2021
+ 21133,
2022
+ 18598,
2023
+ 3106,
2024
+ 4941,
2025
+ 100711,
2026
+ 11,
2027
+ 565,
2028
+ 69,
2029
+ 22660,
2030
+ 30068,
2031
+ 3104,
2032
+ 37595,
2033
+ 50899,
2034
+ 22660,
2035
+ 5635,
2036
+ 318,
2037
+ 1204,
2038
+ 69,
2039
+ 36521,
2040
+ 33767,
2041
+ 69,
2042
+ 14,
2043
+ 22660,
2044
+ 5635,
2045
+ 318,
2046
+ 22660,
2047
+ 53,
2048
+ 109534,
2049
+ 19923,
2050
+ 21133,
2051
+ 18598,
2052
+ 3106,
2053
+ 65,
2054
+ 924,
2055
+ 10617,
2056
+ 18834,
2057
+ 754,
2058
+ 14,
2059
+ 957,
2060
+ 34,
2061
+ 2542,
2062
+ 754,
2063
+ 22660,
2064
+ 53,
2065
+ 109534,
2066
+ 19923,
2067
+ 21133,
2068
+ 4941,
2069
+ 44585,
2070
+ 2542,
2071
+ 565,
2072
+ 81,
2073
+ 957,
2074
+ 34,
2075
+ 539,
2076
+ 200,
2077
+ 34,
2078
+ 116228,
2079
+ 565,
2080
+ 82,
2081
+ 22660,
2082
+ 18834,
2083
+ 22660,
2084
+ 3327,
2085
+ 44846,
2086
+ 22660,
2087
+ 11173,
2088
+ 6446,
2089
+ 53039,
2090
+ 8930,
2091
+ 53,
2092
+ 109534,
2093
+ 19923,
2094
+ 21133,
2095
+ 26432,
2096
+ 3106,
2097
+ 41206,
2098
+ 22660,
2099
+ 5635,
2100
+ 318,
2101
+ 1204,
2102
+ 41206,
2103
+ 1537,
2104
+ 22660,
2105
+ 5635,
2106
+ 318,
2107
+ 82036,
2108
+ 14,
2109
+ 1537,
2110
+ 22660,
2111
+ 30068,
2112
+ 3104,
2113
+ 37595,
2114
+ 50899,
2115
+ 22660,
2116
+ 5635,
2117
+ 318,
2118
+ 1204,
2119
+ 69,
2120
+ 36521,
2121
+ 33767,
2122
+ 69,
2123
+ 14,
2124
+ 22660,
2125
+ 5635,
2126
+ 318,
2127
+ 22660,
2128
+ 53,
2129
+ 109534,
2130
+ 19923,
2131
+ 21133,
2132
+ 18598,
2133
+ 3106,
2134
+ 65,
2135
+ 924,
2136
+ 10617,
2137
+ 18834,
2138
+ 754,
2139
+ 14,
2140
+ 957,
2141
+ 34,
2142
+ 2542,
2143
+ 754,
2144
+ 22660,
2145
+ 53,
2146
+ 109534,
2147
+ 19923,
2148
+ 21133,
2149
+ 4941,
2150
+ 44585,
2151
+ 56952,
2152
+ 5203,
2153
+ 200,
2154
+ 24187,
2155
+ 22660,
2156
+ 53,
2157
+ 109534,
2158
+ 19923,
2159
+ 21133,
2160
+ 18598,
2161
+ 3106,
2162
+ 11853,
2163
+ 7989,
2164
+ 53039,
2165
+ 797,
2166
+ 70,
2167
+ 22660,
2168
+ 3327,
2169
+ 44846,
2170
+ 22660,
2171
+ 11173,
2172
+ 6446,
2173
+ 53039,
2174
+ 8930,
2175
+ 53,
2176
+ 109534,
2177
+ 19923,
2178
+ 21133,
2179
+ 26432,
2180
+ 3106,
2181
+ 41206,
2182
+ 22660,
2183
+ 5635,
2184
+ 318,
2185
+ 1204,
2186
+ 41206,
2187
+ 1537,
2188
+ 22660,
2189
+ 5635,
2190
+ 318,
2191
+ 82036,
2192
+ 14,
2193
+ 1537,
2194
+ 22660,
2195
+ 30068,
2196
+ 3104,
2197
+ 37595,
2198
+ 50899,
2199
+ 22660,
2200
+ 5635,
2201
+ 318,
2202
+ 1204,
2203
+ 69,
2204
+ 36521,
2205
+ 33767,
2206
+ 69,
2207
+ 14,
2208
+ 22660,
2209
+ 5635,
2210
+ 318,
2211
+ 22660,
2212
+ 53,
2213
+ 109534,
2214
+ 19923,
2215
+ 21133,
2216
+ 18598,
2217
+ 3106,
2218
+ 65,
2219
+ 924,
2220
+ 10617,
2221
+ 18834,
2222
+ 754,
2223
+ 14,
2224
+ 957,
2225
+ 34,
2226
+ 2542,
2227
+ 754,
2228
+ 22660,
2229
+ 53,
2230
+ 109534,
2231
+ 19923,
2232
+ 21133,
2233
+ 4941,
2234
+ 44585,
2235
+ 56952,
2236
+ 797,
2237
+ 50,
2238
+ 29,
2239
+ 18253,
2240
+ 35749,
2241
+ 10012,
2242
+ 565,
2243
+ 71,
2244
+ 905,
2245
+ 85,
2246
+ 61663,
2247
+ 16550,
2248
+ 835,
2249
+ 9,
2250
+ 565,
2251
+ 71,
2252
+ 905,
2253
+ 85,
2254
+ 17,
2255
+ 64,
2256
+ 61,
2257
+ 64,
2258
+ 28,
2259
+ 36956,
2260
+ 28,
2261
+ 982,
2262
+ 835,
2263
+ 9,
2264
+ 565,
2265
+ 71,
2266
+ 905,
2267
+ 85,
2268
+ 17,
2269
+ 982,
2270
+ 7387,
2271
+ 9237,
2272
+ 835,
2273
+ 9,
2274
+ 18253,
2275
+ 200,
2276
+ 200,
2277
+ 5457,
2278
+ 23464,
2279
+ 64,
2280
+ 9237,
2281
+ 17,
2282
+ 283,
2283
+ 9,
2284
+ 565,
2285
+ 71,
2286
+ 905,
2287
+ 85,
2288
+ 17,
2289
+ 9237,
2290
+ 17,
2291
+ 1313,
2292
+ 67221,
2293
+ 818,
2294
+ 22660,
2295
+ 53,
2296
+ 109534,
2297
+ 19923,
2298
+ 21133,
2299
+ 18598,
2300
+ 3106,
2301
+ 11853,
2302
+ 7989,
2303
+ 53039,
2304
+ 797,
2305
+ 70,
2306
+ 10653,
2307
+ 22660,
2308
+ 3327,
2309
+ 44846,
2310
+ 22660,
2311
+ 11173,
2312
+ 6446,
2313
+ 53039,
2314
+ 8930,
2315
+ 53,
2316
+ 109534,
2317
+ 19923,
2318
+ 21133,
2319
+ 26432,
2320
+ 3106,
2321
+ 41206,
2322
+ 22660,
2323
+ 5635,
2324
+ 318,
2325
+ 1204,
2326
+ 41206,
2327
+ 1537,
2328
+ 22660,
2329
+ 5635,
2330
+ 318,
2331
+ 82036,
2332
+ 14,
2333
+ 1537,
2334
+ 22660,
2335
+ 30068,
2336
+ 3104,
2337
+ 37595,
2338
+ 50899,
2339
+ 22660,
2340
+ 5635,
2341
+ 318,
2342
+ 1204,
2343
+ 69,
2344
+ 36521,
2345
+ 33767,
2346
+ 69,
2347
+ 14,
2348
+ 22660,
2349
+ 5635,
2350
+ 318,
2351
+ 22660,
2352
+ 53,
2353
+ 109534,
2354
+ 19923,
2355
+ 21133,
2356
+ 18598,
2357
+ 3106,
2358
+ 65,
2359
+ 924,
2360
+ 10617,
2361
+ 18834,
2362
+ 754,
2363
+ 14,
2364
+ 957,
2365
+ 34,
2366
+ 2542,
2367
+ 754,
2368
+ 22660,
2369
+ 53,
2370
+ 109534,
2371
+ 19923,
2372
+ 21133,
2373
+ 4941,
2374
+ 44585,
2375
+ 56952,
2376
+ 797,
2377
+ 50,
2378
+ 29,
2379
+ 18253,
2380
+ 35749,
2381
+ 71660,
2382
+ 565,
2383
+ 72,
2384
+ 22660,
2385
+ 53,
2386
+ 109534,
2387
+ 19923,
2388
+ 21133,
2389
+ 18598,
2390
+ 3106,
2391
+ 11853,
2392
+ 7989,
2393
+ 53039,
2394
+ 797,
2395
+ 70,
2396
+ 271,
2397
+ 45396,
2398
+ 10993,
2399
+ 109534,
2400
+ 19923,
2401
+ 21133,
2402
+ 28,
2403
+ 223,
2404
+ 6219,
2405
+ 10993,
2406
+ 109534,
2407
+ 19923,
2408
+ 21133,
2409
+ 36868,
2410
+ 20658,
2411
+ 6219,
2412
+ 10993,
2413
+ 109534,
2414
+ 19923,
2415
+ 21133,
2416
+ 65,
2417
+ 47569,
2418
+ 6219,
2419
+ 10993,
2420
+ 109534,
2421
+ 19923,
2422
+ 21133,
2423
+ 106496,
2424
+ 6219,
2425
+ 10993,
2426
+ 109534,
2427
+ 19923,
2428
+ 21133,
2429
+ 18598,
2430
+ 3106,
2431
+ 201,
2432
+ 200,
2433
+ 3092,
2434
+ 565,
2435
+ 35305,
2436
+ 22660,
2437
+ 11173,
2438
+ 6446,
2439
+ 53039,
2440
+ 868,
2441
+ 7449,
2442
+ 73812,
2443
+ 36,
2444
+ 32264,
2445
+ 201,
2446
+ 394,
2447
+ 48604,
2448
+ 73812,
2449
+ 36,
2450
+ 32264,
2451
+ 201,
2452
+ 2396,
2453
+ 5868,
2454
+ 5113,
2455
+ 1137,
2456
+ 26297,
2457
+ 201,
2458
+ 1
2459
+ ],
2460
+ "seq_len": 2048
2461
+ }
2462
+ },
2463
+ "config": {
2464
+ "vocab_size": 129280,
2465
+ "dim": 1536,
2466
+ "n_layers": 16,
2467
+ "n_heads": 12,
2468
+ "head_dim": 128,
2469
+ "rope_head_dim": 32,
2470
+ "q_lora_rank": 384,
2471
+ "o_groups": 4,
2472
+ "o_lora_rank": 256,
2473
+ "norm_eps": 1e-06,
2474
+ "n_routed_experts": 12,
2475
+ "n_shared_experts": 1,
2476
+ "n_activated_experts": 2,
2477
+ "moe_inter_dim": 1408,
2478
+ "score_func": "softmax",
2479
+ "route_scale": 1.0,
2480
+ "swiglu_limit": 15.0,
2481
+ "n_dense_layers": 2,
2482
+ "load_balance_alpha": 0.01,
2483
+ "hc_mult": 3,
2484
+ "hc_sinkhorn_iters": 8,
2485
+ "hc_eps": 1e-06,
2486
+ "window_size": 128,
2487
+ "compress_ratio": 4,
2488
+ "n_mtp_layers": 1,
2489
+ "mtp_loss_weight": 0.02,
2490
+ "rope_theta": 10000.0,
2491
+ "rope_factor": 1.0,
2492
+ "original_seq_len": 0,
2493
+ "beta_fast": 32,
2494
+ "beta_slow": 1,
2495
+ "ctx_phase_boundaries": [
2496
+ 60000,
2497
+ 80000,
2498
+ 100000
2499
+ ],
2500
+ "ctx_phase_lengths": [
2501
+ 2048,
2502
+ 4096,
2503
+ 8192
2504
+ ],
2505
+ "yarn_scale": 40.0,
2506
+ "yarn_alpha": 1.0,
2507
+ "yarn_beta": 32.0,
2508
+ "yarn_original_seq_len": 4096,
2509
+ "micro_batch_size": 1,
2510
+ "gradient_accumulation_steps": 32,
2511
+ "max_lr": 0.00015,
2512
+ "min_lr": 1.5e-05,
2513
+ "warmup_steps": 2000,
2514
+ "total_steps": 200000,
2515
+ "decay_steps": 180000,
2516
+ "weight_decay": 0.1,
2517
+ "muon_beta": 0.95,
2518
+ "muon_ns_steps": 7,
2519
+ "adam_beta1": 0.9,
2520
+ "adam_beta2": 0.98,
2521
+ "grad_clip_norm": 1.0,
2522
+ "init_std": 0.006,
2523
+ "dtype": "bfloat16",
2524
+ "fineweb_config": "default",
2525
+ "approx_tokens_per_fineweb_doc": 800,
2526
+ "approx_tokens_per_code_doc": 1200,
2527
+ "approx_tokens_per_math_doc": 1500,
2528
+ "data_mix_probs": [
2529
+ 0.6,
2530
+ 0.25,
2531
+ 0.15
2532
+ ],
2533
+ "save_every_steps": 400,
2534
+ "log_every_steps": 10,
2535
+ "push_every_steps": 400,
2536
+ "checkpoint_dir": "/kaggle/working/zenyxv3checkpoints"
2537
+ }
2538
+ }
checkpoints/step_16400/opt_state.pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c573751c73a2122be78aebba2d9fdcdf9270edaefc2166162a1f9c4c5885ac4f
3
+ size 3154940698
checkpoints/step_16400/params.pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6fdc414d4d3965dddeea1a27c81d7d9fceb310c7ea1a097ed3130aabec171d51
3
+ size 3154768094