prostochel097 commited on
Commit
c81048f
·
verified ·
1 Parent(s): 9354f18

Create tokenizer.json

Browse files
Files changed (1) hide show
  1. tokenizer.json +518 -0
tokenizer.json ADDED
@@ -0,0 +1,518 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "version": "1.0",
3
+ "truncation": null,
4
+ "padding": null,
5
+ "added_tokens": [],
6
+ "normalizer": null,
7
+ "pre_tokenizer": {
8
+ "type": "Whitespace"
9
+ },
10
+ "post_processor": null,
11
+ "decoder": null,
12
+ "model": {
13
+ "type": "WordLevel",
14
+ "vocab": {
15
+ "<pad>": 0,
16
+ "<s>": 1,
17
+ "</s>": 2,
18
+ "<unk>": 3,
19
+ "-": 4,
20
+ ".": 5,
21
+ ",": 6,
22
+ "1": 7,
23
+ "2": 8,
24
+ "3": 9,
25
+ "в": 10,
26
+ "на": 11,
27
+ "с": 12,
28
+ "не": 13,
29
+ "для": 14,
30
+ "4": 15,
31
+ "и": 16,
32
+ "?": 17,
33
+ "как": 18,
34
+ "!": 19,
35
+ "*": 20,
36
+ "а": 21,
37
+ "5": 22,
38
+ "или": 23,
39
+ "если": 24,
40
+ "к": 25,
41
+ "без": 26,
42
+ "за": 27,
43
+ "минут": 28,
44
+ "до": 29,
45
+ "от": 30,
46
+ "по": 31,
47
+ "при": 32,
48
+ "**не": 33,
49
+ "после": 34,
50
+ "→": 35,
51
+ "руб": 36,
52
+ "2-3": 37,
53
+ "день": 38,
54
+ "время": 39,
55
+ "но": 40,
56
+ "все": 41,
57
+ "(не": 42,
58
+ "через": 43,
59
+ "перед": 44,
60
+ "что": 45,
61
+ "30": 46,
62
+ "у": 47,
63
+ "это": 48,
64
+ "из": 49,
65
+ "+": 50,
66
+ "только": 51,
67
+ "правильно": 52,
68
+ "10": 53,
69
+ "раз": 54,
70
+ "**важно**:": 55,
71
+ "000": 56,
72
+ "1-2": 57,
73
+ "'я": 58,
74
+ "есть": 59,
75
+ "**этап": 60,
76
+ "можно": 61,
77
+ "неделю": 62,
78
+ "используйте": 63,
79
+ "часа": 64,
80
+ "**что": 65,
81
+ "часов": 66,
82
+ "под": 67,
83
+ "месяцев": 68,
84
+ "водой": 69,
85
+ "воду": 70,
86
+ "лучше": 71,
87
+ "**если": 72,
88
+ "минуты": 73,
89
+ "1:": 74,
90
+ "2:": 75,
91
+ "каждые": 76,
92
+ "6": 77,
93
+ "чтобы": 78,
94
+ "вместо": 79,
95
+ "дня": 80,
96
+ "сразу": 81,
97
+ "лет": 82,
98
+ "проверить": 83,
99
+ "3:": 84,
100
+ "воды": 85,
101
+ "**техника": 86,
102
+ "(для": 87,
103
+ "!)": 88,
104
+ "раза": 89,
105
+ "во": 90,
106
+ "вдох": 91,
107
+ "использовать": 92,
108
+ "**после": 93,
109
+ "витамин": 94,
110
+ "**причина**:": 95,
111
+ "8": 96,
112
+ "разных": 97,
113
+ "боль": 98,
114
+ "дней": 99,
115
+ "когда": 100,
116
+ "7": 101,
117
+ "месяца": 102,
118
+ "делать": 103,
119
+ "мин": 104,
120
+ "3-4": 105,
121
+ "начать": 106,
122
+ "**метод": 107,
123
+ "чем": 108,
124
+ ".л": 109,
125
+ "!**": 110,
126
+ "кофе": 111,
127
+ "руб)": 112,
128
+ "часто": 113,
129
+ "даже": 114,
130
+ "месяц": 115,
131
+ "**способ": 116,
132
+ "один": 117,
133
+ "?'": 118,
134
+ "км": 119,
135
+ "бега": 120,
136
+ "**шаг": 121,
137
+ "3-5": 122,
138
+ "выдох": 123,
139
+ "см": 124,
140
+ "вода": 125,
141
+ "заморозить": 126,
142
+ "более": 127,
143
+ "spf": 128,
144
+ "могу": 129,
145
+ "меня": 130,
146
+ "продукты": 131,
147
+ "обязательно": 132,
148
+ "я": 133,
149
+ "часть": 134,
150
+ "недели": 135,
151
+ "**для": 136,
152
+ "ребенок": 137,
153
+ "воздуха": 138,
154
+ "(если": 139,
155
+ "грибы": 140,
156
+ "мг": 141,
157
+ "делать**:": 142,
158
+ "d": 143,
159
+ "**решение**:": 144,
160
+ "вот": 145,
161
+ "нет": 146,
162
+ "со": 147,
163
+ "вы": 148,
164
+ "первые": 149,
165
+ "**месяц": 150,
166
+ "постоянно": 151,
167
+ "какие": 152,
168
+ "нужно": 153,
169
+ "телефон": 154,
170
+ "быть": 155,
171
+ "секунд": 156,
172
+ "потом": 157,
173
+ "**в": 158,
174
+ "каждый": 159,
175
+ "**совет**:": 160,
176
+ "мл": 161,
177
+ "движения": 162,
178
+ "10-15": 163,
179
+ "!)**:": 164,
180
+ "очень": 165,
181
+ "**неделя": 166,
182
+ "выбросить": 167,
183
+ "c": 168,
184
+ "**для**:": 169,
185
+ "**витамин": 170,
186
+ "**дозировка**:": 171,
187
+ "начните": 172,
188
+ "больше": 173,
189
+ "ребенка": 174,
190
+ "молоко": 175,
191
+ "бы": 176,
192
+ "нормально": 177,
193
+ "время:": 178,
194
+ "50": 179,
195
+ "года": 180,
196
+ "15": 181,
197
+ "мало": 182,
198
+ "полив": 183,
199
+ "дома": 184,
200
+ "работы": 185,
201
+ "дыхание": 186,
202
+ "о": 187,
203
+ "=": 188,
204
+ "всех": 189,
205
+ "г": 190,
206
+ "20": 191,
207
+ "дыхания": 192,
208
+ "**время": 193,
209
+ "'что": 194,
210
+ ".'": 195,
211
+ "**выбор": 196,
212
+ "буквы": 197,
213
+ "**день": 198,
214
+ "нарезать": 199,
215
+ "**профилактика": 200,
216
+ "сухой": 201,
217
+ "**пропорции**:": 202,
218
+ "мне": 203,
219
+ "купите": 204,
220
+ "между": 205,
221
+ "чай": 206,
222
+ "маленькие": 207,
223
+ "света": 208,
224
+ "где": 209,
225
+ "неделя": 210,
226
+ "растения": 211,
227
+ "много": 212,
228
+ "выше": 213,
229
+ "самые": 214,
230
+ "выбрать": 215,
231
+ "первый": 216,
232
+ "зарядки": 217,
233
+ "масла": 218,
234
+ "техника": 219,
235
+ "минут**:": 220,
236
+ "**за": 221,
237
+ "5-7": 222,
238
+ "4:": 223,
239
+ "**время**:": 224,
240
+ "регулярно": 225,
241
+ "холодной": 226,
242
+ "говорить": 227,
243
+ "сделать": 228,
244
+ "масло": 229,
245
+ "ст": 230,
246
+ "правило**:": 231,
247
+ "сначала": 232,
248
+ "**когда": 233,
249
+ "(кроме": 234,
250
+ "**общие": 235,
251
+ "температура": 236,
252
+ "безопасности": 237,
253
+ "**признаки": 238,
254
+ "залить": 239,
255
+ "запах": 240,
256
+ "средства": 241,
257
+ "хранить": 242,
258
+ "температура:": 243,
259
+ "собака": 244,
260
+ "спирта": 245,
261
+ "чистка": 246,
262
+ "e": 247,
263
+ "**температура**:": 248,
264
+ "чистить": 249,
265
+ "снять": 250,
266
+ "промыть": 251,
267
+ "**помол**:": 252,
268
+ "прогулки": 253,
269
+ "приложения": 254,
270
+ "большие": 255,
271
+ "продуктов**:": 256,
272
+ "(без": 257,
273
+ "они": 258,
274
+ "другой": 259,
275
+ "информации": 260,
276
+ "**первые": 261,
277
+ "просто": 262,
278
+ "ведите": 263,
279
+ "решения**:": 264,
280
+ "телефона": 265,
281
+ "сделайте": 266,
282
+ "500": 267,
283
+ "мячики": 268,
284
+ "играть": 269,
285
+ "стороны": 270,
286
+ "режим": 271,
287
+ "3x10": 272,
288
+ "(с": 273,
289
+ ".5": 274,
290
+ "**план": 275,
291
+ "немного": 276,
292
+ "прием": 277,
293
+ "риск": 278,
294
+ "их": 279,
295
+ "мин)": 280,
296
+ "минуту": 281,
297
+ "замена": 282,
298
+ "гб": 283,
299
+ "холодильнике": 284,
300
+ "добавить": 285,
301
+ "обжарить": 286,
302
+ "15-20": 287,
303
+ "убрать": 288,
304
+ "окон": 289,
305
+ "может": 290,
306
+ "стоимость:": 291,
307
+ "выдохе": 292,
308
+ "работает": 293,
309
+ "усн": 294,
310
+ "правила**:": 295,
311
+ "(только": 296,
312
+ "каждого": 297,
313
+ "кожу": 298,
314
+ "пальцев": 299,
315
+ "**правила": 300,
316
+ "упражнения": 301,
317
+ "менять": 302,
318
+ "слишком": 303,
319
+ "мягкая": 304,
320
+ "особенности:": 305,
321
+ "крем": 306,
322
+ "место": 307,
323
+ "**уход": 308,
324
+ "**чего": 309,
325
+ "**первая": 310,
326
+ "**примеры**:": 311,
327
+ "задержка": 312,
328
+ "срок": 313,
329
+ "дать": 314,
330
+ "шага": 315,
331
+ "**1": 316,
332
+ "**2": 317,
333
+ "**3": 318,
334
+ "витамины": 319,
335
+ "помочь": 320,
336
+ "всего": 321,
337
+ "заранее": 322,
338
+ "нуля": 323,
339
+ "решение": 324,
340
+ "**ресурсы**:": 325,
341
+ "ежедневно": 326,
342
+ "обучение": 327,
343
+ "/": 328,
344
+ "семьи": 329,
345
+ "бюджет": 330,
346
+ "макароны": 331,
347
+ "покупайте": 332,
348
+ "лук": 333,
349
+ "овощи": 334,
350
+ "соусов": 335,
351
+ "рыба": 336,
352
+ "две": 337,
353
+ "тот": 338,
354
+ "же": 339,
355
+ "работают": 340,
356
+ "задачи": 341,
357
+ "план": 342,
358
+ "удалите": 343,
359
+ "свои": 344,
360
+ "контакты": 345,
361
+ "новые": 346,
362
+ "отношения": 347,
363
+ "список": 348,
364
+ "**технические": 349,
365
+ "постепенно": 350,
366
+ "подписки": 351,
367
+ "б": 352,
368
+ "храните": 353,
369
+ "выделите": 354,
370
+ "платежи": 355,
371
+ "солнца": 356,
372
+ "(2": 357,
373
+ "(от": 358,
374
+ "небо": 359,
375
+ "воздух": 360,
376
+ "белые": 361,
377
+ "смешать": 362,
378
+ "почти": 363,
379
+ "накрыть": 364,
380
+ "**техники": 365,
381
+ "задачу": 366,
382
+ "вечером": 367,
383
+ "**физические": 368,
384
+ "приемы**:": 369,
385
+ "положите": 370,
386
+ "тыс": 371,
387
+ "тренировок": 372,
388
+ "жим": 373,
389
+ "веса": 374,
390
+ "**до": 375,
391
+ "возьмите": 376,
392
+ "научиться": 377,
393
+ "(10": 378,
394
+ "**правило": 379,
395
+ "0": 380,
396
+ "ходьба": 381,
397
+ "(ноги": 382,
398
+ "минут)**:": 383,
399
+ "ии": 384,
400
+ "9": 385,
401
+ "**практические": 386,
402
+ "себя": 387,
403
+ "пример:": 388,
404
+ "15-30": 389,
405
+ "5:": 390,
406
+ "идеально:": 391,
407
+ "медленно": 392,
408
+ "затем": 393,
409
+ "температуру": 394,
410
+ "возможно": 395,
411
+ "lenovo": 396,
412
+ "air": 397,
413
+ "тяжелые": 398,
414
+ "батареи": 399,
415
+ "нужны": 400,
416
+ "вслух": 401,
417
+ "английском": 402,
418
+ "упражнения**:": 403,
419
+ "ошибки": 404,
420
+ "быстро": 405,
421
+ "перемешать": 406,
422
+ "чеснок": 407,
423
+ "50%": 408,
424
+ "создает": 409,
425
+ "уже": 410,
426
+ "вопросы": 411,
427
+ "должна": 412,
428
+ "4-6": 413,
429
+ "назначения": 414,
430
+ "врача": 415,
431
+ "некоторые": 416,
432
+ "(что": 417,
433
+ "движениями": 418,
434
+ "вперед": 419,
435
+ "врачу": 420,
436
+ "устройства": 421,
437
+ "действительно": 422,
438
+ "эффективность:": 423,
439
+ "начале": 424,
440
+ "виды": 425,
441
+ "доход": 426,
442
+ "проверьте": 427,
443
+ "пакеты": 428,
444
+ "охладить": 429,
445
+ "слой": 430,
446
+ "**процесс**:": 431,
447
+ "очистить": 432,
448
+ "мыть": 433,
449
+ "протереть": 434,
450
+ "разложить": 435,
451
+ "варить": 436,
452
+ "льда": 437,
453
+ "6-8": 438,
454
+ "**ведро": 439,
455
+ "3-6": 440,
456
+ "этой": 441,
457
+ "волосы": 442,
458
+ "мытья": 443,
459
+ "**температура": 444,
460
+ "головы": 445,
461
+ "смыть": 446,
462
+ "повторить": 447,
463
+ "внутри": 448,
464
+ "хороший:": 449,
465
+ "плохой:": 450,
466
+ "заваривать": 451,
467
+ "чай**:": 452,
468
+ "ч": 453,
469
+ "будет": 454,
470
+ "горячей": 455,
471
+ "человеку": 456,
472
+ "**профессиональная": 457,
473
+ "подготовить": 458,
474
+ "**особые": 459,
475
+ "цена": 460,
476
+ "ответ:": 461,
477
+ "am": 462,
478
+ "неделя**:": 463,
479
+ "окна": 464,
480
+ "окно": 465,
481
+ "**тип**:": 466,
482
+ "**критерии**:": 467,
483
+ "легкие": 468,
484
+ "бюджет:": 469,
485
+ "pro": 470,
486
+ "средние:": 471,
487
+ "премиум:": 472,
488
+ "глубокий": 473,
489
+ "омега-3": 474,
490
+ "**на": 475,
491
+ "слить": 476,
492
+ "просеять": 477,
493
+ "запасы": 478,
494
+ "продуктов": 479,
495
+ "дышать": 480,
496
+ "отсоединить": 481,
497
+ "**4": 482,
498
+ "поверхности": 483,
499
+ "воронки": 484,
500
+ "эспрессо": 485,
501
+ "комнатной": 486,
502
+ "обжарка": 487,
503
+ "**форма**:": 488,
504
+ "слайды**:": 489,
505
+ "онлайн": 490,
506
+ "**выберите": 491,
507
+ "начинающих": 492,
508
+ "изучения": 493,
509
+ "математика": 494,
510
+ "**где": 495,
511
+ "разработка": 496,
512
+ "автоматизация": 497,
513
+ "человек": 498,
514
+ "5000": 499
515
+ },
516
+ "unk_token": "<unk>"
517
+ }
518
+ }