rkazants commited on
Commit
e97e248
·
verified ·
1 Parent(s): 3e51d74

Upload 6 files

Browse files
config.json ADDED
@@ -0,0 +1,36 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "Glm4MoeForCausalLM"
4
+ ],
5
+ "attention_bias": false,
6
+ "attention_dropout": 0.0,
7
+ "dtype": "float32",
8
+ "first_k_dense_replace": 1,
9
+ "hidden_act": "silu",
10
+ "hidden_size": 64,
11
+ "initializer_range": 0.02,
12
+ "intermediate_size": 128,
13
+ "max_position_embeddings": 256,
14
+ "model_type": "glm4_moe",
15
+ "moe_intermediate_size": 32,
16
+ "n_group": 1,
17
+ "n_routed_experts": 4,
18
+ "n_shared_experts": 1,
19
+ "norm_topk_prob": true,
20
+ "num_attention_heads": 4,
21
+ "num_experts_per_tok": 2,
22
+ "num_hidden_layers": 2,
23
+ "num_key_value_heads": 4,
24
+ "partial_rotary_factor": 0.5,
25
+ "rms_norm_eps": 1e-05,
26
+ "rope_scaling": null,
27
+ "rope_theta": 10000,
28
+ "routed_scaling_factor": 1.8,
29
+ "tie_word_embeddings": false,
30
+ "topk_group": 1,
31
+ "topk_method": "noaux_tc",
32
+ "transformers_version": "4.57.6",
33
+ "use_cache": true,
34
+ "use_qk_norm": false,
35
+ "vocab_size": 1000
36
+ }
generation_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "transformers_version": "4.57.6"
4
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1330253ac5eaf8e1c811b0e018bf7d245bd1da03fe450e98005a1cb8e6d1903b
3
+ size 870296
special_tokens_map.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": "token_2",
3
+ "eos_token": "token_1",
4
+ "pad_token": "token_0",
5
+ "unk_token": "token_0"
6
+ }
tokenizer.json ADDED
@@ -0,0 +1,1048 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "version": "1.0",
3
+ "truncation": null,
4
+ "padding": null,
5
+ "added_tokens": [
6
+ {
7
+ "id": 0,
8
+ "content": "token_0",
9
+ "single_word": false,
10
+ "lstrip": false,
11
+ "rstrip": false,
12
+ "normalized": false,
13
+ "special": true
14
+ },
15
+ {
16
+ "id": 1,
17
+ "content": "token_1",
18
+ "single_word": false,
19
+ "lstrip": false,
20
+ "rstrip": false,
21
+ "normalized": false,
22
+ "special": true
23
+ },
24
+ {
25
+ "id": 2,
26
+ "content": "token_2",
27
+ "single_word": false,
28
+ "lstrip": false,
29
+ "rstrip": false,
30
+ "normalized": false,
31
+ "special": true
32
+ }
33
+ ],
34
+ "normalizer": null,
35
+ "pre_tokenizer": {
36
+ "type": "Whitespace"
37
+ },
38
+ "post_processor": null,
39
+ "decoder": null,
40
+ "model": {
41
+ "type": "WordPiece",
42
+ "unk_token": "token_0",
43
+ "continuing_subword_prefix": "##",
44
+ "max_input_chars_per_word": 100,
45
+ "vocab": {
46
+ "token_0": 0,
47
+ "token_1": 1,
48
+ "token_2": 2,
49
+ "token_3": 3,
50
+ "token_4": 4,
51
+ "token_5": 5,
52
+ "token_6": 6,
53
+ "token_7": 7,
54
+ "token_8": 8,
55
+ "token_9": 9,
56
+ "token_10": 10,
57
+ "token_11": 11,
58
+ "token_12": 12,
59
+ "token_13": 13,
60
+ "token_14": 14,
61
+ "token_15": 15,
62
+ "token_16": 16,
63
+ "token_17": 17,
64
+ "token_18": 18,
65
+ "token_19": 19,
66
+ "token_20": 20,
67
+ "token_21": 21,
68
+ "token_22": 22,
69
+ "token_23": 23,
70
+ "token_24": 24,
71
+ "token_25": 25,
72
+ "token_26": 26,
73
+ "token_27": 27,
74
+ "token_28": 28,
75
+ "token_29": 29,
76
+ "token_30": 30,
77
+ "token_31": 31,
78
+ "token_32": 32,
79
+ "token_33": 33,
80
+ "token_34": 34,
81
+ "token_35": 35,
82
+ "token_36": 36,
83
+ "token_37": 37,
84
+ "token_38": 38,
85
+ "token_39": 39,
86
+ "token_40": 40,
87
+ "token_41": 41,
88
+ "token_42": 42,
89
+ "token_43": 43,
90
+ "token_44": 44,
91
+ "token_45": 45,
92
+ "token_46": 46,
93
+ "token_47": 47,
94
+ "token_48": 48,
95
+ "token_49": 49,
96
+ "token_50": 50,
97
+ "token_51": 51,
98
+ "token_52": 52,
99
+ "token_53": 53,
100
+ "token_54": 54,
101
+ "token_55": 55,
102
+ "token_56": 56,
103
+ "token_57": 57,
104
+ "token_58": 58,
105
+ "token_59": 59,
106
+ "token_60": 60,
107
+ "token_61": 61,
108
+ "token_62": 62,
109
+ "token_63": 63,
110
+ "token_64": 64,
111
+ "token_65": 65,
112
+ "token_66": 66,
113
+ "token_67": 67,
114
+ "token_68": 68,
115
+ "token_69": 69,
116
+ "token_70": 70,
117
+ "token_71": 71,
118
+ "token_72": 72,
119
+ "token_73": 73,
120
+ "token_74": 74,
121
+ "token_75": 75,
122
+ "token_76": 76,
123
+ "token_77": 77,
124
+ "token_78": 78,
125
+ "token_79": 79,
126
+ "token_80": 80,
127
+ "token_81": 81,
128
+ "token_82": 82,
129
+ "token_83": 83,
130
+ "token_84": 84,
131
+ "token_85": 85,
132
+ "token_86": 86,
133
+ "token_87": 87,
134
+ "token_88": 88,
135
+ "token_89": 89,
136
+ "token_90": 90,
137
+ "token_91": 91,
138
+ "token_92": 92,
139
+ "token_93": 93,
140
+ "token_94": 94,
141
+ "token_95": 95,
142
+ "token_96": 96,
143
+ "token_97": 97,
144
+ "token_98": 98,
145
+ "token_99": 99,
146
+ "token_100": 100,
147
+ "token_101": 101,
148
+ "token_102": 102,
149
+ "token_103": 103,
150
+ "token_104": 104,
151
+ "token_105": 105,
152
+ "token_106": 106,
153
+ "token_107": 107,
154
+ "token_108": 108,
155
+ "token_109": 109,
156
+ "token_110": 110,
157
+ "token_111": 111,
158
+ "token_112": 112,
159
+ "token_113": 113,
160
+ "token_114": 114,
161
+ "token_115": 115,
162
+ "token_116": 116,
163
+ "token_117": 117,
164
+ "token_118": 118,
165
+ "token_119": 119,
166
+ "token_120": 120,
167
+ "token_121": 121,
168
+ "token_122": 122,
169
+ "token_123": 123,
170
+ "token_124": 124,
171
+ "token_125": 125,
172
+ "token_126": 126,
173
+ "token_127": 127,
174
+ "token_128": 128,
175
+ "token_129": 129,
176
+ "token_130": 130,
177
+ "token_131": 131,
178
+ "token_132": 132,
179
+ "token_133": 133,
180
+ "token_134": 134,
181
+ "token_135": 135,
182
+ "token_136": 136,
183
+ "token_137": 137,
184
+ "token_138": 138,
185
+ "token_139": 139,
186
+ "token_140": 140,
187
+ "token_141": 141,
188
+ "token_142": 142,
189
+ "token_143": 143,
190
+ "token_144": 144,
191
+ "token_145": 145,
192
+ "token_146": 146,
193
+ "token_147": 147,
194
+ "token_148": 148,
195
+ "token_149": 149,
196
+ "token_150": 150,
197
+ "token_151": 151,
198
+ "token_152": 152,
199
+ "token_153": 153,
200
+ "token_154": 154,
201
+ "token_155": 155,
202
+ "token_156": 156,
203
+ "token_157": 157,
204
+ "token_158": 158,
205
+ "token_159": 159,
206
+ "token_160": 160,
207
+ "token_161": 161,
208
+ "token_162": 162,
209
+ "token_163": 163,
210
+ "token_164": 164,
211
+ "token_165": 165,
212
+ "token_166": 166,
213
+ "token_167": 167,
214
+ "token_168": 168,
215
+ "token_169": 169,
216
+ "token_170": 170,
217
+ "token_171": 171,
218
+ "token_172": 172,
219
+ "token_173": 173,
220
+ "token_174": 174,
221
+ "token_175": 175,
222
+ "token_176": 176,
223
+ "token_177": 177,
224
+ "token_178": 178,
225
+ "token_179": 179,
226
+ "token_180": 180,
227
+ "token_181": 181,
228
+ "token_182": 182,
229
+ "token_183": 183,
230
+ "token_184": 184,
231
+ "token_185": 185,
232
+ "token_186": 186,
233
+ "token_187": 187,
234
+ "token_188": 188,
235
+ "token_189": 189,
236
+ "token_190": 190,
237
+ "token_191": 191,
238
+ "token_192": 192,
239
+ "token_193": 193,
240
+ "token_194": 194,
241
+ "token_195": 195,
242
+ "token_196": 196,
243
+ "token_197": 197,
244
+ "token_198": 198,
245
+ "token_199": 199,
246
+ "token_200": 200,
247
+ "token_201": 201,
248
+ "token_202": 202,
249
+ "token_203": 203,
250
+ "token_204": 204,
251
+ "token_205": 205,
252
+ "token_206": 206,
253
+ "token_207": 207,
254
+ "token_208": 208,
255
+ "token_209": 209,
256
+ "token_210": 210,
257
+ "token_211": 211,
258
+ "token_212": 212,
259
+ "token_213": 213,
260
+ "token_214": 214,
261
+ "token_215": 215,
262
+ "token_216": 216,
263
+ "token_217": 217,
264
+ "token_218": 218,
265
+ "token_219": 219,
266
+ "token_220": 220,
267
+ "token_221": 221,
268
+ "token_222": 222,
269
+ "token_223": 223,
270
+ "token_224": 224,
271
+ "token_225": 225,
272
+ "token_226": 226,
273
+ "token_227": 227,
274
+ "token_228": 228,
275
+ "token_229": 229,
276
+ "token_230": 230,
277
+ "token_231": 231,
278
+ "token_232": 232,
279
+ "token_233": 233,
280
+ "token_234": 234,
281
+ "token_235": 235,
282
+ "token_236": 236,
283
+ "token_237": 237,
284
+ "token_238": 238,
285
+ "token_239": 239,
286
+ "token_240": 240,
287
+ "token_241": 241,
288
+ "token_242": 242,
289
+ "token_243": 243,
290
+ "token_244": 244,
291
+ "token_245": 245,
292
+ "token_246": 246,
293
+ "token_247": 247,
294
+ "token_248": 248,
295
+ "token_249": 249,
296
+ "token_250": 250,
297
+ "token_251": 251,
298
+ "token_252": 252,
299
+ "token_253": 253,
300
+ "token_254": 254,
301
+ "token_255": 255,
302
+ "token_256": 256,
303
+ "token_257": 257,
304
+ "token_258": 258,
305
+ "token_259": 259,
306
+ "token_260": 260,
307
+ "token_261": 261,
308
+ "token_262": 262,
309
+ "token_263": 263,
310
+ "token_264": 264,
311
+ "token_265": 265,
312
+ "token_266": 266,
313
+ "token_267": 267,
314
+ "token_268": 268,
315
+ "token_269": 269,
316
+ "token_270": 270,
317
+ "token_271": 271,
318
+ "token_272": 272,
319
+ "token_273": 273,
320
+ "token_274": 274,
321
+ "token_275": 275,
322
+ "token_276": 276,
323
+ "token_277": 277,
324
+ "token_278": 278,
325
+ "token_279": 279,
326
+ "token_280": 280,
327
+ "token_281": 281,
328
+ "token_282": 282,
329
+ "token_283": 283,
330
+ "token_284": 284,
331
+ "token_285": 285,
332
+ "token_286": 286,
333
+ "token_287": 287,
334
+ "token_288": 288,
335
+ "token_289": 289,
336
+ "token_290": 290,
337
+ "token_291": 291,
338
+ "token_292": 292,
339
+ "token_293": 293,
340
+ "token_294": 294,
341
+ "token_295": 295,
342
+ "token_296": 296,
343
+ "token_297": 297,
344
+ "token_298": 298,
345
+ "token_299": 299,
346
+ "token_300": 300,
347
+ "token_301": 301,
348
+ "token_302": 302,
349
+ "token_303": 303,
350
+ "token_304": 304,
351
+ "token_305": 305,
352
+ "token_306": 306,
353
+ "token_307": 307,
354
+ "token_308": 308,
355
+ "token_309": 309,
356
+ "token_310": 310,
357
+ "token_311": 311,
358
+ "token_312": 312,
359
+ "token_313": 313,
360
+ "token_314": 314,
361
+ "token_315": 315,
362
+ "token_316": 316,
363
+ "token_317": 317,
364
+ "token_318": 318,
365
+ "token_319": 319,
366
+ "token_320": 320,
367
+ "token_321": 321,
368
+ "token_322": 322,
369
+ "token_323": 323,
370
+ "token_324": 324,
371
+ "token_325": 325,
372
+ "token_326": 326,
373
+ "token_327": 327,
374
+ "token_328": 328,
375
+ "token_329": 329,
376
+ "token_330": 330,
377
+ "token_331": 331,
378
+ "token_332": 332,
379
+ "token_333": 333,
380
+ "token_334": 334,
381
+ "token_335": 335,
382
+ "token_336": 336,
383
+ "token_337": 337,
384
+ "token_338": 338,
385
+ "token_339": 339,
386
+ "token_340": 340,
387
+ "token_341": 341,
388
+ "token_342": 342,
389
+ "token_343": 343,
390
+ "token_344": 344,
391
+ "token_345": 345,
392
+ "token_346": 346,
393
+ "token_347": 347,
394
+ "token_348": 348,
395
+ "token_349": 349,
396
+ "token_350": 350,
397
+ "token_351": 351,
398
+ "token_352": 352,
399
+ "token_353": 353,
400
+ "token_354": 354,
401
+ "token_355": 355,
402
+ "token_356": 356,
403
+ "token_357": 357,
404
+ "token_358": 358,
405
+ "token_359": 359,
406
+ "token_360": 360,
407
+ "token_361": 361,
408
+ "token_362": 362,
409
+ "token_363": 363,
410
+ "token_364": 364,
411
+ "token_365": 365,
412
+ "token_366": 366,
413
+ "token_367": 367,
414
+ "token_368": 368,
415
+ "token_369": 369,
416
+ "token_370": 370,
417
+ "token_371": 371,
418
+ "token_372": 372,
419
+ "token_373": 373,
420
+ "token_374": 374,
421
+ "token_375": 375,
422
+ "token_376": 376,
423
+ "token_377": 377,
424
+ "token_378": 378,
425
+ "token_379": 379,
426
+ "token_380": 380,
427
+ "token_381": 381,
428
+ "token_382": 382,
429
+ "token_383": 383,
430
+ "token_384": 384,
431
+ "token_385": 385,
432
+ "token_386": 386,
433
+ "token_387": 387,
434
+ "token_388": 388,
435
+ "token_389": 389,
436
+ "token_390": 390,
437
+ "token_391": 391,
438
+ "token_392": 392,
439
+ "token_393": 393,
440
+ "token_394": 394,
441
+ "token_395": 395,
442
+ "token_396": 396,
443
+ "token_397": 397,
444
+ "token_398": 398,
445
+ "token_399": 399,
446
+ "token_400": 400,
447
+ "token_401": 401,
448
+ "token_402": 402,
449
+ "token_403": 403,
450
+ "token_404": 404,
451
+ "token_405": 405,
452
+ "token_406": 406,
453
+ "token_407": 407,
454
+ "token_408": 408,
455
+ "token_409": 409,
456
+ "token_410": 410,
457
+ "token_411": 411,
458
+ "token_412": 412,
459
+ "token_413": 413,
460
+ "token_414": 414,
461
+ "token_415": 415,
462
+ "token_416": 416,
463
+ "token_417": 417,
464
+ "token_418": 418,
465
+ "token_419": 419,
466
+ "token_420": 420,
467
+ "token_421": 421,
468
+ "token_422": 422,
469
+ "token_423": 423,
470
+ "token_424": 424,
471
+ "token_425": 425,
472
+ "token_426": 426,
473
+ "token_427": 427,
474
+ "token_428": 428,
475
+ "token_429": 429,
476
+ "token_430": 430,
477
+ "token_431": 431,
478
+ "token_432": 432,
479
+ "token_433": 433,
480
+ "token_434": 434,
481
+ "token_435": 435,
482
+ "token_436": 436,
483
+ "token_437": 437,
484
+ "token_438": 438,
485
+ "token_439": 439,
486
+ "token_440": 440,
487
+ "token_441": 441,
488
+ "token_442": 442,
489
+ "token_443": 443,
490
+ "token_444": 444,
491
+ "token_445": 445,
492
+ "token_446": 446,
493
+ "token_447": 447,
494
+ "token_448": 448,
495
+ "token_449": 449,
496
+ "token_450": 450,
497
+ "token_451": 451,
498
+ "token_452": 452,
499
+ "token_453": 453,
500
+ "token_454": 454,
501
+ "token_455": 455,
502
+ "token_456": 456,
503
+ "token_457": 457,
504
+ "token_458": 458,
505
+ "token_459": 459,
506
+ "token_460": 460,
507
+ "token_461": 461,
508
+ "token_462": 462,
509
+ "token_463": 463,
510
+ "token_464": 464,
511
+ "token_465": 465,
512
+ "token_466": 466,
513
+ "token_467": 467,
514
+ "token_468": 468,
515
+ "token_469": 469,
516
+ "token_470": 470,
517
+ "token_471": 471,
518
+ "token_472": 472,
519
+ "token_473": 473,
520
+ "token_474": 474,
521
+ "token_475": 475,
522
+ "token_476": 476,
523
+ "token_477": 477,
524
+ "token_478": 478,
525
+ "token_479": 479,
526
+ "token_480": 480,
527
+ "token_481": 481,
528
+ "token_482": 482,
529
+ "token_483": 483,
530
+ "token_484": 484,
531
+ "token_485": 485,
532
+ "token_486": 486,
533
+ "token_487": 487,
534
+ "token_488": 488,
535
+ "token_489": 489,
536
+ "token_490": 490,
537
+ "token_491": 491,
538
+ "token_492": 492,
539
+ "token_493": 493,
540
+ "token_494": 494,
541
+ "token_495": 495,
542
+ "token_496": 496,
543
+ "token_497": 497,
544
+ "token_498": 498,
545
+ "token_499": 499,
546
+ "token_500": 500,
547
+ "token_501": 501,
548
+ "token_502": 502,
549
+ "token_503": 503,
550
+ "token_504": 504,
551
+ "token_505": 505,
552
+ "token_506": 506,
553
+ "token_507": 507,
554
+ "token_508": 508,
555
+ "token_509": 509,
556
+ "token_510": 510,
557
+ "token_511": 511,
558
+ "token_512": 512,
559
+ "token_513": 513,
560
+ "token_514": 514,
561
+ "token_515": 515,
562
+ "token_516": 516,
563
+ "token_517": 517,
564
+ "token_518": 518,
565
+ "token_519": 519,
566
+ "token_520": 520,
567
+ "token_521": 521,
568
+ "token_522": 522,
569
+ "token_523": 523,
570
+ "token_524": 524,
571
+ "token_525": 525,
572
+ "token_526": 526,
573
+ "token_527": 527,
574
+ "token_528": 528,
575
+ "token_529": 529,
576
+ "token_530": 530,
577
+ "token_531": 531,
578
+ "token_532": 532,
579
+ "token_533": 533,
580
+ "token_534": 534,
581
+ "token_535": 535,
582
+ "token_536": 536,
583
+ "token_537": 537,
584
+ "token_538": 538,
585
+ "token_539": 539,
586
+ "token_540": 540,
587
+ "token_541": 541,
588
+ "token_542": 542,
589
+ "token_543": 543,
590
+ "token_544": 544,
591
+ "token_545": 545,
592
+ "token_546": 546,
593
+ "token_547": 547,
594
+ "token_548": 548,
595
+ "token_549": 549,
596
+ "token_550": 550,
597
+ "token_551": 551,
598
+ "token_552": 552,
599
+ "token_553": 553,
600
+ "token_554": 554,
601
+ "token_555": 555,
602
+ "token_556": 556,
603
+ "token_557": 557,
604
+ "token_558": 558,
605
+ "token_559": 559,
606
+ "token_560": 560,
607
+ "token_561": 561,
608
+ "token_562": 562,
609
+ "token_563": 563,
610
+ "token_564": 564,
611
+ "token_565": 565,
612
+ "token_566": 566,
613
+ "token_567": 567,
614
+ "token_568": 568,
615
+ "token_569": 569,
616
+ "token_570": 570,
617
+ "token_571": 571,
618
+ "token_572": 572,
619
+ "token_573": 573,
620
+ "token_574": 574,
621
+ "token_575": 575,
622
+ "token_576": 576,
623
+ "token_577": 577,
624
+ "token_578": 578,
625
+ "token_579": 579,
626
+ "token_580": 580,
627
+ "token_581": 581,
628
+ "token_582": 582,
629
+ "token_583": 583,
630
+ "token_584": 584,
631
+ "token_585": 585,
632
+ "token_586": 586,
633
+ "token_587": 587,
634
+ "token_588": 588,
635
+ "token_589": 589,
636
+ "token_590": 590,
637
+ "token_591": 591,
638
+ "token_592": 592,
639
+ "token_593": 593,
640
+ "token_594": 594,
641
+ "token_595": 595,
642
+ "token_596": 596,
643
+ "token_597": 597,
644
+ "token_598": 598,
645
+ "token_599": 599,
646
+ "token_600": 600,
647
+ "token_601": 601,
648
+ "token_602": 602,
649
+ "token_603": 603,
650
+ "token_604": 604,
651
+ "token_605": 605,
652
+ "token_606": 606,
653
+ "token_607": 607,
654
+ "token_608": 608,
655
+ "token_609": 609,
656
+ "token_610": 610,
657
+ "token_611": 611,
658
+ "token_612": 612,
659
+ "token_613": 613,
660
+ "token_614": 614,
661
+ "token_615": 615,
662
+ "token_616": 616,
663
+ "token_617": 617,
664
+ "token_618": 618,
665
+ "token_619": 619,
666
+ "token_620": 620,
667
+ "token_621": 621,
668
+ "token_622": 622,
669
+ "token_623": 623,
670
+ "token_624": 624,
671
+ "token_625": 625,
672
+ "token_626": 626,
673
+ "token_627": 627,
674
+ "token_628": 628,
675
+ "token_629": 629,
676
+ "token_630": 630,
677
+ "token_631": 631,
678
+ "token_632": 632,
679
+ "token_633": 633,
680
+ "token_634": 634,
681
+ "token_635": 635,
682
+ "token_636": 636,
683
+ "token_637": 637,
684
+ "token_638": 638,
685
+ "token_639": 639,
686
+ "token_640": 640,
687
+ "token_641": 641,
688
+ "token_642": 642,
689
+ "token_643": 643,
690
+ "token_644": 644,
691
+ "token_645": 645,
692
+ "token_646": 646,
693
+ "token_647": 647,
694
+ "token_648": 648,
695
+ "token_649": 649,
696
+ "token_650": 650,
697
+ "token_651": 651,
698
+ "token_652": 652,
699
+ "token_653": 653,
700
+ "token_654": 654,
701
+ "token_655": 655,
702
+ "token_656": 656,
703
+ "token_657": 657,
704
+ "token_658": 658,
705
+ "token_659": 659,
706
+ "token_660": 660,
707
+ "token_661": 661,
708
+ "token_662": 662,
709
+ "token_663": 663,
710
+ "token_664": 664,
711
+ "token_665": 665,
712
+ "token_666": 666,
713
+ "token_667": 667,
714
+ "token_668": 668,
715
+ "token_669": 669,
716
+ "token_670": 670,
717
+ "token_671": 671,
718
+ "token_672": 672,
719
+ "token_673": 673,
720
+ "token_674": 674,
721
+ "token_675": 675,
722
+ "token_676": 676,
723
+ "token_677": 677,
724
+ "token_678": 678,
725
+ "token_679": 679,
726
+ "token_680": 680,
727
+ "token_681": 681,
728
+ "token_682": 682,
729
+ "token_683": 683,
730
+ "token_684": 684,
731
+ "token_685": 685,
732
+ "token_686": 686,
733
+ "token_687": 687,
734
+ "token_688": 688,
735
+ "token_689": 689,
736
+ "token_690": 690,
737
+ "token_691": 691,
738
+ "token_692": 692,
739
+ "token_693": 693,
740
+ "token_694": 694,
741
+ "token_695": 695,
742
+ "token_696": 696,
743
+ "token_697": 697,
744
+ "token_698": 698,
745
+ "token_699": 699,
746
+ "token_700": 700,
747
+ "token_701": 701,
748
+ "token_702": 702,
749
+ "token_703": 703,
750
+ "token_704": 704,
751
+ "token_705": 705,
752
+ "token_706": 706,
753
+ "token_707": 707,
754
+ "token_708": 708,
755
+ "token_709": 709,
756
+ "token_710": 710,
757
+ "token_711": 711,
758
+ "token_712": 712,
759
+ "token_713": 713,
760
+ "token_714": 714,
761
+ "token_715": 715,
762
+ "token_716": 716,
763
+ "token_717": 717,
764
+ "token_718": 718,
765
+ "token_719": 719,
766
+ "token_720": 720,
767
+ "token_721": 721,
768
+ "token_722": 722,
769
+ "token_723": 723,
770
+ "token_724": 724,
771
+ "token_725": 725,
772
+ "token_726": 726,
773
+ "token_727": 727,
774
+ "token_728": 728,
775
+ "token_729": 729,
776
+ "token_730": 730,
777
+ "token_731": 731,
778
+ "token_732": 732,
779
+ "token_733": 733,
780
+ "token_734": 734,
781
+ "token_735": 735,
782
+ "token_736": 736,
783
+ "token_737": 737,
784
+ "token_738": 738,
785
+ "token_739": 739,
786
+ "token_740": 740,
787
+ "token_741": 741,
788
+ "token_742": 742,
789
+ "token_743": 743,
790
+ "token_744": 744,
791
+ "token_745": 745,
792
+ "token_746": 746,
793
+ "token_747": 747,
794
+ "token_748": 748,
795
+ "token_749": 749,
796
+ "token_750": 750,
797
+ "token_751": 751,
798
+ "token_752": 752,
799
+ "token_753": 753,
800
+ "token_754": 754,
801
+ "token_755": 755,
802
+ "token_756": 756,
803
+ "token_757": 757,
804
+ "token_758": 758,
805
+ "token_759": 759,
806
+ "token_760": 760,
807
+ "token_761": 761,
808
+ "token_762": 762,
809
+ "token_763": 763,
810
+ "token_764": 764,
811
+ "token_765": 765,
812
+ "token_766": 766,
813
+ "token_767": 767,
814
+ "token_768": 768,
815
+ "token_769": 769,
816
+ "token_770": 770,
817
+ "token_771": 771,
818
+ "token_772": 772,
819
+ "token_773": 773,
820
+ "token_774": 774,
821
+ "token_775": 775,
822
+ "token_776": 776,
823
+ "token_777": 777,
824
+ "token_778": 778,
825
+ "token_779": 779,
826
+ "token_780": 780,
827
+ "token_781": 781,
828
+ "token_782": 782,
829
+ "token_783": 783,
830
+ "token_784": 784,
831
+ "token_785": 785,
832
+ "token_786": 786,
833
+ "token_787": 787,
834
+ "token_788": 788,
835
+ "token_789": 789,
836
+ "token_790": 790,
837
+ "token_791": 791,
838
+ "token_792": 792,
839
+ "token_793": 793,
840
+ "token_794": 794,
841
+ "token_795": 795,
842
+ "token_796": 796,
843
+ "token_797": 797,
844
+ "token_798": 798,
845
+ "token_799": 799,
846
+ "token_800": 800,
847
+ "token_801": 801,
848
+ "token_802": 802,
849
+ "token_803": 803,
850
+ "token_804": 804,
851
+ "token_805": 805,
852
+ "token_806": 806,
853
+ "token_807": 807,
854
+ "token_808": 808,
855
+ "token_809": 809,
856
+ "token_810": 810,
857
+ "token_811": 811,
858
+ "token_812": 812,
859
+ "token_813": 813,
860
+ "token_814": 814,
861
+ "token_815": 815,
862
+ "token_816": 816,
863
+ "token_817": 817,
864
+ "token_818": 818,
865
+ "token_819": 819,
866
+ "token_820": 820,
867
+ "token_821": 821,
868
+ "token_822": 822,
869
+ "token_823": 823,
870
+ "token_824": 824,
871
+ "token_825": 825,
872
+ "token_826": 826,
873
+ "token_827": 827,
874
+ "token_828": 828,
875
+ "token_829": 829,
876
+ "token_830": 830,
877
+ "token_831": 831,
878
+ "token_832": 832,
879
+ "token_833": 833,
880
+ "token_834": 834,
881
+ "token_835": 835,
882
+ "token_836": 836,
883
+ "token_837": 837,
884
+ "token_838": 838,
885
+ "token_839": 839,
886
+ "token_840": 840,
887
+ "token_841": 841,
888
+ "token_842": 842,
889
+ "token_843": 843,
890
+ "token_844": 844,
891
+ "token_845": 845,
892
+ "token_846": 846,
893
+ "token_847": 847,
894
+ "token_848": 848,
895
+ "token_849": 849,
896
+ "token_850": 850,
897
+ "token_851": 851,
898
+ "token_852": 852,
899
+ "token_853": 853,
900
+ "token_854": 854,
901
+ "token_855": 855,
902
+ "token_856": 856,
903
+ "token_857": 857,
904
+ "token_858": 858,
905
+ "token_859": 859,
906
+ "token_860": 860,
907
+ "token_861": 861,
908
+ "token_862": 862,
909
+ "token_863": 863,
910
+ "token_864": 864,
911
+ "token_865": 865,
912
+ "token_866": 866,
913
+ "token_867": 867,
914
+ "token_868": 868,
915
+ "token_869": 869,
916
+ "token_870": 870,
917
+ "token_871": 871,
918
+ "token_872": 872,
919
+ "token_873": 873,
920
+ "token_874": 874,
921
+ "token_875": 875,
922
+ "token_876": 876,
923
+ "token_877": 877,
924
+ "token_878": 878,
925
+ "token_879": 879,
926
+ "token_880": 880,
927
+ "token_881": 881,
928
+ "token_882": 882,
929
+ "token_883": 883,
930
+ "token_884": 884,
931
+ "token_885": 885,
932
+ "token_886": 886,
933
+ "token_887": 887,
934
+ "token_888": 888,
935
+ "token_889": 889,
936
+ "token_890": 890,
937
+ "token_891": 891,
938
+ "token_892": 892,
939
+ "token_893": 893,
940
+ "token_894": 894,
941
+ "token_895": 895,
942
+ "token_896": 896,
943
+ "token_897": 897,
944
+ "token_898": 898,
945
+ "token_899": 899,
946
+ "token_900": 900,
947
+ "token_901": 901,
948
+ "token_902": 902,
949
+ "token_903": 903,
950
+ "token_904": 904,
951
+ "token_905": 905,
952
+ "token_906": 906,
953
+ "token_907": 907,
954
+ "token_908": 908,
955
+ "token_909": 909,
956
+ "token_910": 910,
957
+ "token_911": 911,
958
+ "token_912": 912,
959
+ "token_913": 913,
960
+ "token_914": 914,
961
+ "token_915": 915,
962
+ "token_916": 916,
963
+ "token_917": 917,
964
+ "token_918": 918,
965
+ "token_919": 919,
966
+ "token_920": 920,
967
+ "token_921": 921,
968
+ "token_922": 922,
969
+ "token_923": 923,
970
+ "token_924": 924,
971
+ "token_925": 925,
972
+ "token_926": 926,
973
+ "token_927": 927,
974
+ "token_928": 928,
975
+ "token_929": 929,
976
+ "token_930": 930,
977
+ "token_931": 931,
978
+ "token_932": 932,
979
+ "token_933": 933,
980
+ "token_934": 934,
981
+ "token_935": 935,
982
+ "token_936": 936,
983
+ "token_937": 937,
984
+ "token_938": 938,
985
+ "token_939": 939,
986
+ "token_940": 940,
987
+ "token_941": 941,
988
+ "token_942": 942,
989
+ "token_943": 943,
990
+ "token_944": 944,
991
+ "token_945": 945,
992
+ "token_946": 946,
993
+ "token_947": 947,
994
+ "token_948": 948,
995
+ "token_949": 949,
996
+ "token_950": 950,
997
+ "token_951": 951,
998
+ "token_952": 952,
999
+ "token_953": 953,
1000
+ "token_954": 954,
1001
+ "token_955": 955,
1002
+ "token_956": 956,
1003
+ "token_957": 957,
1004
+ "token_958": 958,
1005
+ "token_959": 959,
1006
+ "token_960": 960,
1007
+ "token_961": 961,
1008
+ "token_962": 962,
1009
+ "token_963": 963,
1010
+ "token_964": 964,
1011
+ "token_965": 965,
1012
+ "token_966": 966,
1013
+ "token_967": 967,
1014
+ "token_968": 968,
1015
+ "token_969": 969,
1016
+ "token_970": 970,
1017
+ "token_971": 971,
1018
+ "token_972": 972,
1019
+ "token_973": 973,
1020
+ "token_974": 974,
1021
+ "token_975": 975,
1022
+ "token_976": 976,
1023
+ "token_977": 977,
1024
+ "token_978": 978,
1025
+ "token_979": 979,
1026
+ "token_980": 980,
1027
+ "token_981": 981,
1028
+ "token_982": 982,
1029
+ "token_983": 983,
1030
+ "token_984": 984,
1031
+ "token_985": 985,
1032
+ "token_986": 986,
1033
+ "token_987": 987,
1034
+ "token_988": 988,
1035
+ "token_989": 989,
1036
+ "token_990": 990,
1037
+ "token_991": 991,
1038
+ "token_992": 992,
1039
+ "token_993": 993,
1040
+ "token_994": 994,
1041
+ "token_995": 995,
1042
+ "token_996": 996,
1043
+ "token_997": 997,
1044
+ "token_998": 998,
1045
+ "token_999": 999
1046
+ }
1047
+ }
1048
+ }
tokenizer_config.json ADDED
@@ -0,0 +1,36 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "token_0",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "token_1",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "token_2",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ }
27
+ },
28
+ "bos_token": "token_2",
29
+ "clean_up_tokenization_spaces": false,
30
+ "eos_token": "token_1",
31
+ "extra_special_tokens": {},
32
+ "model_max_length": 1000000000000000019884624838656,
33
+ "pad_token": "token_0",
34
+ "tokenizer_class": "PreTrainedTokenizerFast",
35
+ "unk_token": "token_0"
36
+ }