alphagpt-photon / tokenizer.json
prostochel097's picture
Create tokenizer.json
c81048f verified
{
"version": "1.0",
"truncation": null,
"padding": null,
"added_tokens": [],
"normalizer": null,
"pre_tokenizer": {
"type": "Whitespace"
},
"post_processor": null,
"decoder": null,
"model": {
"type": "WordLevel",
"vocab": {
"<pad>": 0,
"<s>": 1,
"</s>": 2,
"<unk>": 3,
"-": 4,
".": 5,
",": 6,
"1": 7,
"2": 8,
"3": 9,
"в": 10,
"на": 11,
"с": 12,
"не": 13,
"для": 14,
"4": 15,
"и": 16,
"?": 17,
"как": 18,
"!": 19,
"*": 20,
"а": 21,
"5": 22,
"или": 23,
"если": 24,
"к": 25,
"без": 26,
"за": 27,
"минут": 28,
"до": 29,
"от": 30,
"по": 31,
"при": 32,
"**не": 33,
"после": 34,
"→": 35,
"руб": 36,
"2-3": 37,
"день": 38,
"время": 39,
"но": 40,
"все": 41,
"(не": 42,
"через": 43,
"перед": 44,
"что": 45,
"30": 46,
"у": 47,
"это": 48,
"из": 49,
"+": 50,
"только": 51,
"правильно": 52,
"10": 53,
"раз": 54,
"**важно**:": 55,
"000": 56,
"1-2": 57,
"'я": 58,
"есть": 59,
"**этап": 60,
"можно": 61,
"неделю": 62,
"используйте": 63,
"часа": 64,
"**что": 65,
"часов": 66,
"под": 67,
"месяцев": 68,
"водой": 69,
"воду": 70,
"лучше": 71,
"**если": 72,
"минуты": 73,
"1:": 74,
"2:": 75,
"каждые": 76,
"6": 77,
"чтобы": 78,
"вместо": 79,
"дня": 80,
"сразу": 81,
"лет": 82,
"проверить": 83,
"3:": 84,
"воды": 85,
"**техника": 86,
"(для": 87,
"!)": 88,
"раза": 89,
"во": 90,
"вдох": 91,
"использовать": 92,
"**после": 93,
"витамин": 94,
"**причина**:": 95,
"8": 96,
"разных": 97,
"боль": 98,
"дней": 99,
"когда": 100,
"7": 101,
"месяца": 102,
"делать": 103,
"мин": 104,
"3-4": 105,
"начать": 106,
"**метод": 107,
"чем": 108,
".л": 109,
"!**": 110,
"кофе": 111,
"руб)": 112,
"часто": 113,
"даже": 114,
"месяц": 115,
"**способ": 116,
"один": 117,
"?'": 118,
"км": 119,
"бега": 120,
"**шаг": 121,
"3-5": 122,
"выдох": 123,
"см": 124,
"вода": 125,
"заморозить": 126,
"более": 127,
"spf": 128,
"могу": 129,
"меня": 130,
"продукты": 131,
"обязательно": 132,
"я": 133,
"часть": 134,
"недели": 135,
"**для": 136,
"ребенок": 137,
"воздуха": 138,
"(если": 139,
"грибы": 140,
"мг": 141,
"делать**:": 142,
"d": 143,
"**решение**:": 144,
"вот": 145,
"нет": 146,
"со": 147,
"вы": 148,
"первые": 149,
"**месяц": 150,
"постоянно": 151,
"какие": 152,
"нужно": 153,
"телефон": 154,
"быть": 155,
"секунд": 156,
"потом": 157,
"**в": 158,
"каждый": 159,
"**совет**:": 160,
"мл": 161,
"движения": 162,
"10-15": 163,
"!)**:": 164,
"очень": 165,
"**неделя": 166,
"выбросить": 167,
"c": 168,
"**для**:": 169,
"**витамин": 170,
"**дозировка**:": 171,
"начните": 172,
"больше": 173,
"ребенка": 174,
"молоко": 175,
"бы": 176,
"нормально": 177,
"время:": 178,
"50": 179,
"года": 180,
"15": 181,
"мало": 182,
"полив": 183,
"дома": 184,
"работы": 185,
"дыхание": 186,
"о": 187,
"=": 188,
"всех": 189,
"г": 190,
"20": 191,
"дыхания": 192,
"**время": 193,
"'что": 194,
".'": 195,
"**выбор": 196,
"буквы": 197,
"**день": 198,
"нарезать": 199,
"**профилактика": 200,
"сухой": 201,
"**пропорции**:": 202,
"мне": 203,
"купите": 204,
"между": 205,
"чай": 206,
"маленькие": 207,
"света": 208,
"где": 209,
"неделя": 210,
"растения": 211,
"много": 212,
"выше": 213,
"самые": 214,
"выбрать": 215,
"первый": 216,
"зарядки": 217,
"масла": 218,
"техника": 219,
"минут**:": 220,
"**за": 221,
"5-7": 222,
"4:": 223,
"**время**:": 224,
"регулярно": 225,
"холодной": 226,
"говорить": 227,
"сделать": 228,
"масло": 229,
"ст": 230,
"правило**:": 231,
"сначала": 232,
"**когда": 233,
"(кроме": 234,
"**общие": 235,
"температура": 236,
"безопасности": 237,
"**признаки": 238,
"залить": 239,
"запах": 240,
"средства": 241,
"хранить": 242,
"температура:": 243,
"собака": 244,
"спирта": 245,
"чистка": 246,
"e": 247,
"**температура**:": 248,
"чистить": 249,
"снять": 250,
"промыть": 251,
"**помол**:": 252,
"прогулки": 253,
"приложения": 254,
"большие": 255,
"продуктов**:": 256,
"(без": 257,
"они": 258,
"другой": 259,
"информации": 260,
"**первые": 261,
"просто": 262,
"ведите": 263,
"решения**:": 264,
"телефона": 265,
"сделайте": 266,
"500": 267,
"мячики": 268,
"играть": 269,
"стороны": 270,
"режим": 271,
"3x10": 272,
"(с": 273,
".5": 274,
"**план": 275,
"немного": 276,
"прием": 277,
"риск": 278,
"их": 279,
"мин)": 280,
"минуту": 281,
"замена": 282,
"гб": 283,
"холодильнике": 284,
"добавить": 285,
"обжарить": 286,
"15-20": 287,
"убрать": 288,
"окон": 289,
"может": 290,
"стоимость:": 291,
"выдохе": 292,
"работает": 293,
"усн": 294,
"правила**:": 295,
"(только": 296,
"каждого": 297,
"кожу": 298,
"пальцев": 299,
"**правила": 300,
"упражнения": 301,
"менять": 302,
"слишком": 303,
"мягкая": 304,
"особенности:": 305,
"крем": 306,
"место": 307,
"**уход": 308,
"**чего": 309,
"**первая": 310,
"**примеры**:": 311,
"задержка": 312,
"срок": 313,
"дать": 314,
"шага": 315,
"**1": 316,
"**2": 317,
"**3": 318,
"витамины": 319,
"помочь": 320,
"всего": 321,
"заранее": 322,
"нуля": 323,
"решение": 324,
"**ресурсы**:": 325,
"ежедневно": 326,
"обучение": 327,
"/": 328,
"семьи": 329,
"бюджет": 330,
"макароны": 331,
"покупайте": 332,
"лук": 333,
"овощи": 334,
"соусов": 335,
"рыба": 336,
"две": 337,
"тот": 338,
"же": 339,
"работают": 340,
"задачи": 341,
"план": 342,
"удалите": 343,
"свои": 344,
"контакты": 345,
"новые": 346,
"отношения": 347,
"список": 348,
"**технические": 349,
"постепенно": 350,
"подписки": 351,
"б": 352,
"храните": 353,
"выделите": 354,
"платежи": 355,
"солнца": 356,
"(2": 357,
"(от": 358,
"небо": 359,
"воздух": 360,
"белые": 361,
"смешать": 362,
"почти": 363,
"накрыть": 364,
"**техники": 365,
"задачу": 366,
"вечером": 367,
"**физические": 368,
"приемы**:": 369,
"положите": 370,
"тыс": 371,
"тренировок": 372,
"жим": 373,
"веса": 374,
"**до": 375,
"возьмите": 376,
"научиться": 377,
"(10": 378,
"**правило": 379,
"0": 380,
"ходьба": 381,
"(ноги": 382,
"минут)**:": 383,
"ии": 384,
"9": 385,
"**практические": 386,
"себя": 387,
"пример:": 388,
"15-30": 389,
"5:": 390,
"идеально:": 391,
"медленно": 392,
"затем": 393,
"температуру": 394,
"возможно": 395,
"lenovo": 396,
"air": 397,
"тяжелые": 398,
"батареи": 399,
"нужны": 400,
"вслух": 401,
"английском": 402,
"упражнения**:": 403,
"ошибки": 404,
"быстро": 405,
"перемешать": 406,
"чеснок": 407,
"50%": 408,
"создает": 409,
"уже": 410,
"вопросы": 411,
"должна": 412,
"4-6": 413,
"назначения": 414,
"врача": 415,
"некоторые": 416,
"(что": 417,
"движениями": 418,
"вперед": 419,
"врачу": 420,
"устройства": 421,
"действительно": 422,
"эффективность:": 423,
"начале": 424,
"виды": 425,
"доход": 426,
"проверьте": 427,
"пакеты": 428,
"охладить": 429,
"слой": 430,
"**процесс**:": 431,
"очистить": 432,
"мыть": 433,
"протереть": 434,
"разложить": 435,
"варить": 436,
"льда": 437,
"6-8": 438,
"**ведро": 439,
"3-6": 440,
"этой": 441,
"волосы": 442,
"мытья": 443,
"**температура": 444,
"головы": 445,
"смыть": 446,
"повторить": 447,
"внутри": 448,
"хороший:": 449,
"плохой:": 450,
"заваривать": 451,
"чай**:": 452,
"ч": 453,
"будет": 454,
"горячей": 455,
"человеку": 456,
"**профессиональная": 457,
"подготовить": 458,
"**особые": 459,
"цена": 460,
"ответ:": 461,
"am": 462,
"неделя**:": 463,
"окна": 464,
"окно": 465,
"**тип**:": 466,
"**критерии**:": 467,
"легкие": 468,
"бюджет:": 469,
"pro": 470,
"средние:": 471,
"премиум:": 472,
"глубокий": 473,
"омега-3": 474,
"**на": 475,
"слить": 476,
"просеять": 477,
"запасы": 478,
"продуктов": 479,
"дышать": 480,
"отсоединить": 481,
"**4": 482,
"поверхности": 483,
"воронки": 484,
"эспрессо": 485,
"комнатной": 486,
"обжарка": 487,
"**форма**:": 488,
"слайды**:": 489,
"онлайн": 490,
"**выберите": 491,
"начинающих": 492,
"изучения": 493,
"математика": 494,
"**где": 495,
"разработка": 496,
"автоматизация": 497,
"человек": 498,
"5000": 499
},
"unk_token": "<unk>"
}
}