PML-6L / tokenizer.json
K0D3IN's picture
Upload folder using huggingface_hub
971d341 verified
Raw
History Blame Contribute Delete
26.8 kB
{
"version": "1.0",
"truncation": null,
"padding": null,
"added_tokens": [
{
"id": 0,
"content": "<PAD>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 1,
"content": "<BOS>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 2,
"content": "<EOS>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 3,
"content": "<UNK>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
}
],
"normalizer": null,
"pre_tokenizer": {
"type": "ByteLevel",
"add_prefix_space": false,
"trim_offsets": true,
"use_regex": true
},
"post_processor": null,
"decoder": {
"type": "ByteLevel",
"add_prefix_space": true,
"trim_offsets": true,
"use_regex": true
},
"model": {
"type": "BPE",
"dropout": null,
"unk_token": "<UNK>",
"continuing_subword_prefix": null,
"end_of_word_suffix": null,
"fuse_unk": false,
"byte_fallback": false,
"ignore_merges": false,
"vocab": {
"<PAD>": 0,
"<BOS>": 1,
"<EOS>": 2,
"<UNK>": 3,
"!": 4,
"\"": 5,
"#": 6,
"$": 7,
"%": 8,
"&": 9,
"'": 10,
"(": 11,
")": 12,
"*": 13,
"+": 14,
",": 15,
"-": 16,
".": 17,
"/": 18,
"0": 19,
"1": 20,
"2": 21,
"3": 22,
"4": 23,
"5": 24,
"6": 25,
"7": 26,
"8": 27,
"9": 28,
":": 29,
";": 30,
"<": 31,
"=": 32,
">": 33,
"?": 34,
"@": 35,
"A": 36,
"B": 37,
"C": 38,
"D": 39,
"E": 40,
"F": 41,
"G": 42,
"H": 43,
"I": 44,
"J": 45,
"K": 46,
"L": 47,
"M": 48,
"N": 49,
"O": 50,
"P": 51,
"Q": 52,
"R": 53,
"S": 54,
"T": 55,
"U": 56,
"V": 57,
"W": 58,
"X": 59,
"Y": 60,
"Z": 61,
"[": 62,
"\\": 63,
"]": 64,
"^": 65,
"_": 66,
"`": 67,
"a": 68,
"b": 69,
"c": 70,
"d": 71,
"e": 72,
"f": 73,
"g": 74,
"h": 75,
"i": 76,
"j": 77,
"k": 78,
"l": 79,
"m": 80,
"n": 81,
"o": 82,
"p": 83,
"q": 84,
"r": 85,
"s": 86,
"t": 87,
"u": 88,
"v": 89,
"w": 90,
"x": 91,
"y": 92,
"z": 93,
"{": 94,
"|": 95,
"}": 96,
"~": 97,
"Ċ": 98,
"Ġ": 99,
"an": 100,
"12": 101,
"er": 102,
"ar": 103,
"19": 104,
"in": 105,
"00": 106,
"08": 107,
"el": 108,
"on": 109,
"al": 110,
"10": 111,
"en": 112,
"am": 113,
"il": 114,
"es": 115,
"ch": 116,
"11": 117,
"as": 118,
"is": 119,
"at": 120,
"13": 121,
"14": 122,
"22": 123,
"or": 124,
"09": 125,
"it": 126,
"15": 127,
"lo": 128,
"23": 129,
"25": 130,
"ad": 131,
"18": 132,
"07": 133,
"05": 134,
"06": 135,
"16": 136,
"le": 137,
"24": 138,
"17": 139,
"04": 140,
"re": 141,
"ab": 142,
"03": 143,
"ro": 144,
"ie": 145,
"ay": 146,
"ic": 147,
"123": 148,
"26": 149,
"89": 150,
"45": 151,
"27": 152,
"88": 153,
"ol": 154,
"29": 155,
"ac": 156,
"69": 157,
"33": 158,
"sh": 159,
"28": 160,
"77": 161,
"ve": 162,
"im": 163,
"un": 164,
"66": 165,
"200": 166,
"55": 167,
"ra": 168,
"et": 169,
"oo": 170,
"99": 171,
"and": 172,
"om": 173,
"20": 174,
"se": 175,
"199": 176,
"87": 177,
"ma": 178,
"ir": 179,
"44": 180,
"ot": 181,
"em": 182,
"la": 183,
"us": 184,
"85": 185,
"jo": 186,
"ik": 187,
"21": 188,
"lu": 189,
"id": 190,
"86": 191,
"ia": 192,
"ig": 193,
"ey": 194,
"os": 195,
"ak": 196,
"ed": 197,
"43": 198,
"mar": 199,
"ur": 200,
"83": 201,
"65": 202,
"67": 203,
"ut": 204,
"bo": 205,
"02": 206,
"ck": 207,
"ah": 208,
"01": 209,
"ly": 210,
"84": 211,
"93": 212,
"63": 213,
"ap": 214,
"95": 215,
"co": 216,
"de": 217,
"li": 218,
"47": 219,
"me": 220,
"ang": 221,
"75": 222,
"be": 223,
"my": 224,
"ing": 225,
"35": 226,
"ev": 227,
"ri": 228,
"94": 229,
"ag": 230,
"97": 231,
"ul": 232,
"ann": 233,
"st": 234,
"64": 235,
"do": 236,
"ha": 237,
"da": 238,
"bab": 239,
"AN": 240,
"73": 241,
"he": 242,
"love": 243,
"br": 244,
"79": 245,
"34": 246,
"ee": 247,
"ty": 248,
"az": 249,
"74": 250,
"op": 251,
"ilo": 252,
"96": 253,
"um": 254,
"53": 255,
"man": 256,
"100": 257,
"qu": 258,
"mo": 259,
"78": 260,
"car": 261,
"54": 262,
"ry": 263,
"ick": 264,
"te": 265,
"92": 266,
"ne": 267,
"av": 268,
"iz": 269,
"90": 270,
"56": 271,
"98": 272,
"no": 273,
"io": 274,
"dy": 275,
"76": 276,
"ka": 277,
"30": 278,
"th": 279,
"ug": 280,
"82": 281,
"ip": 282,
"ita": 283,
"ff": 284,
"ky": 285,
"ER": 286,
"ell": 287,
"ter": 288,
"ke": 289,
"ris": 290,
"ana": 291,
"ko": 292,
"ale": 293,
"AR": 294,
"ess": 295,
"80": 296,
"ber": 297,
"36": 298,
"46": 299,
"all": 300,
"baby": 301,
"bb": 302,
"ho": 303,
"ju": 304,
"fe": 305,
"di": 306,
"go": 307,
"sa": 308,
"mon": 309,
"ver": 310,
"112": 311,
"ce": 312,
"ant": 313,
"ine": 314,
"ina": 315,
"ilove": 316,
"pe": 317,
"57": 318,
"91": 319,
"pa": 320,
"dan": 321,
"ash": 322,
"mi": 323,
"po": 324,
"32": 325,
"lil": 326,
"37": 327,
"ja": 328,
"est": 329,
"xy": 330,
"bu": 331,
"na": 332,
"ru": 333,
"ca": 334,
"IN": 335,
"je": 336,
"irl": 337,
"68": 338,
"ass": 339,
"ki": 340,
"010": 341,
"ou": 342,
"ack": 343,
"ill": 344,
"ny": 345,
"085": 346,
"boy": 347,
"to": 348,
"ON": 349,
"ta": 350,
"48": 351,
"49": 352,
"ph": 353,
"110": 354,
"per": 355,
"EL": 356,
"012": 357,
"gr": 358,
"81": 359,
"pr": 360,
"31": 361,
"bl": 362,
"iss": 363,
"girl": 364,
"ito": 365,
"AL": 366,
"sm": 367,
"ian": 368,
"39": 369,
"42": 370,
"kat": 371,
"by": 372,
"hot": 373,
"gu": 374,
"59": 375,
"ers": 376,
"AM": 377,
"fr": 378,
"ba": 379,
"yn": 380,
"ge": 381,
"ink": 382,
"com": 383,
"so": 384,
"143": 385,
"sam": 386,
"58": 387,
"72": 388,
"iv": 389,
"12345": 390,
"iel": 391,
"IL": 392,
"EN": 393,
"38": 394,
"sc": 395,
"50": 396,
"ong": 397,
"zy": 398,
"uv": 399,
"jam": 400,
"one": 401,
"ES": 402,
"rock": 403,
"boo": 404,
"52": 405,
"za": 406,
"1234": 407,
"ard": 408,
"fu": 409,
"kar": 410,
"du": 411,
"ever": 412,
"62": 413,
"pl": 414,
"red": 415,
"ast": 416,
"aw": 417,
"ion": 418,
"luv": 419,
"her": 420,
"40": 421,
"angel": 422,
"han": 423,
"cat": 424,
"ent": 425,
"087": 426,
"101": 427,
"jan": 428,
"CH": 429,
"083": 430,
"for": 431,
"70": 432,
"60": 433,
"AS": 434,
"ust": 435,
"che": 436,
"sexy": 437,
"art": 438,
"dr": 439,
"ss": 440,
"cc": 441,
"mat": 442,
"jay": 443,
"pu": 444,
"2007": 445,
"lin": 446,
"084": 447,
"son": 448,
"mel": 449,
"ib": 450,
"ish": 451,
"IS": 452,
"min": 453,
"ley": 454,
"cu": 455,
"amo": 456,
"hn": 457,
"sk": 458,
"fa": 459,
"007": 460,
"py": 461,
"gg": 462,
"mc": 463,
"cho": 464,
"OR": 465,
"jen": 466,
"lor": 467,
"089": 468,
"iy": 469,
"2006": 470,
"har": 471,
"lov": 472,
"ica": 473,
"ate": 474,
"ero": 475,
"igh": 476,
"cor": 477,
"dar": 478,
"AT": 479,
"IT": 480,
"cut": 481,
"ena": 482,
"ds": 483,
"may": 484,
"cl": 485,
"ga": 486,
"cha": 487,
"210": 488,
"if": 489,
"mr": 490,
"ben": 491,
"ms": 492,
"ara": 493,
"den": 494,
"LO": 495,
"ton": 496,
"wn": 497,
"ok": 498,
"jh": 499
},
"merges": [
[
"a",
"n"
],
[
"1",
"2"
],
[
"e",
"r"
],
[
"a",
"r"
],
[
"1",
"9"
],
[
"i",
"n"
],
[
"0",
"0"
],
[
"0",
"8"
],
[
"e",
"l"
],
[
"o",
"n"
],
[
"a",
"l"
],
[
"1",
"0"
],
[
"e",
"n"
],
[
"a",
"m"
],
[
"i",
"l"
],
[
"e",
"s"
],
[
"c",
"h"
],
[
"1",
"1"
],
[
"a",
"s"
],
[
"i",
"s"
],
[
"a",
"t"
],
[
"1",
"3"
],
[
"1",
"4"
],
[
"2",
"2"
],
[
"o",
"r"
],
[
"0",
"9"
],
[
"i",
"t"
],
[
"1",
"5"
],
[
"l",
"o"
],
[
"2",
"3"
],
[
"2",
"5"
],
[
"a",
"d"
],
[
"1",
"8"
],
[
"0",
"7"
],
[
"0",
"5"
],
[
"0",
"6"
],
[
"1",
"6"
],
[
"l",
"e"
],
[
"2",
"4"
],
[
"1",
"7"
],
[
"0",
"4"
],
[
"r",
"e"
],
[
"a",
"b"
],
[
"0",
"3"
],
[
"r",
"o"
],
[
"i",
"e"
],
[
"a",
"y"
],
[
"i",
"c"
],
[
"12",
"3"
],
[
"2",
"6"
],
[
"8",
"9"
],
[
"4",
"5"
],
[
"2",
"7"
],
[
"8",
"8"
],
[
"o",
"l"
],
[
"2",
"9"
],
[
"a",
"c"
],
[
"6",
"9"
],
[
"3",
"3"
],
[
"s",
"h"
],
[
"2",
"8"
],
[
"7",
"7"
],
[
"v",
"e"
],
[
"i",
"m"
],
[
"u",
"n"
],
[
"6",
"6"
],
[
"2",
"00"
],
[
"5",
"5"
],
[
"r",
"a"
],
[
"e",
"t"
],
[
"o",
"o"
],
[
"9",
"9"
],
[
"an",
"d"
],
[
"o",
"m"
],
[
"2",
"0"
],
[
"s",
"e"
],
[
"19",
"9"
],
[
"8",
"7"
],
[
"m",
"a"
],
[
"i",
"r"
],
[
"4",
"4"
],
[
"o",
"t"
],
[
"e",
"m"
],
[
"l",
"a"
],
[
"u",
"s"
],
[
"8",
"5"
],
[
"j",
"o"
],
[
"i",
"k"
],
[
"2",
"1"
],
[
"l",
"u"
],
[
"i",
"d"
],
[
"8",
"6"
],
[
"i",
"a"
],
[
"i",
"g"
],
[
"e",
"y"
],
[
"o",
"s"
],
[
"a",
"k"
],
[
"e",
"d"
],
[
"4",
"3"
],
[
"m",
"ar"
],
[
"u",
"r"
],
[
"8",
"3"
],
[
"6",
"5"
],
[
"6",
"7"
],
[
"u",
"t"
],
[
"b",
"o"
],
[
"0",
"2"
],
[
"c",
"k"
],
[
"a",
"h"
],
[
"0",
"1"
],
[
"l",
"y"
],
[
"8",
"4"
],
[
"9",
"3"
],
[
"6",
"3"
],
[
"a",
"p"
],
[
"9",
"5"
],
[
"c",
"o"
],
[
"d",
"e"
],
[
"l",
"i"
],
[
"4",
"7"
],
[
"m",
"e"
],
[
"an",
"g"
],
[
"7",
"5"
],
[
"b",
"e"
],
[
"m",
"y"
],
[
"in",
"g"
],
[
"3",
"5"
],
[
"e",
"v"
],
[
"r",
"i"
],
[
"9",
"4"
],
[
"a",
"g"
],
[
"9",
"7"
],
[
"u",
"l"
],
[
"an",
"n"
],
[
"s",
"t"
],
[
"6",
"4"
],
[
"d",
"o"
],
[
"h",
"a"
],
[
"d",
"a"
],
[
"b",
"ab"
],
[
"A",
"N"
],
[
"7",
"3"
],
[
"h",
"e"
],
[
"lo",
"ve"
],
[
"b",
"r"
],
[
"7",
"9"
],
[
"3",
"4"
],
[
"e",
"e"
],
[
"t",
"y"
],
[
"a",
"z"
],
[
"7",
"4"
],
[
"o",
"p"
],
[
"il",
"o"
],
[
"9",
"6"
],
[
"u",
"m"
],
[
"5",
"3"
],
[
"m",
"an"
],
[
"1",
"00"
],
[
"q",
"u"
],
[
"m",
"o"
],
[
"7",
"8"
],
[
"c",
"ar"
],
[
"5",
"4"
],
[
"r",
"y"
],
[
"ic",
"k"
],
[
"t",
"e"
],
[
"9",
"2"
],
[
"n",
"e"
],
[
"a",
"v"
],
[
"i",
"z"
],
[
"9",
"0"
],
[
"5",
"6"
],
[
"9",
"8"
],
[
"n",
"o"
],
[
"i",
"o"
],
[
"d",
"y"
],
[
"7",
"6"
],
[
"k",
"a"
],
[
"3",
"0"
],
[
"t",
"h"
],
[
"u",
"g"
],
[
"8",
"2"
],
[
"i",
"p"
],
[
"it",
"a"
],
[
"f",
"f"
],
[
"k",
"y"
],
[
"E",
"R"
],
[
"el",
"l"
],
[
"t",
"er"
],
[
"k",
"e"
],
[
"r",
"is"
],
[
"an",
"a"
],
[
"k",
"o"
],
[
"al",
"e"
],
[
"A",
"R"
],
[
"es",
"s"
],
[
"8",
"0"
],
[
"b",
"er"
],
[
"3",
"6"
],
[
"4",
"6"
],
[
"al",
"l"
],
[
"bab",
"y"
],
[
"b",
"b"
],
[
"h",
"o"
],
[
"j",
"u"
],
[
"f",
"e"
],
[
"d",
"i"
],
[
"g",
"o"
],
[
"s",
"a"
],
[
"m",
"on"
],
[
"v",
"er"
],
[
"1",
"12"
],
[
"c",
"e"
],
[
"an",
"t"
],
[
"in",
"e"
],
[
"in",
"a"
],
[
"ilo",
"ve"
],
[
"p",
"e"
],
[
"5",
"7"
],
[
"9",
"1"
],
[
"p",
"a"
],
[
"d",
"an"
],
[
"as",
"h"
],
[
"m",
"i"
],
[
"p",
"o"
],
[
"3",
"2"
],
[
"l",
"il"
],
[
"3",
"7"
],
[
"j",
"a"
],
[
"es",
"t"
],
[
"x",
"y"
],
[
"b",
"u"
],
[
"n",
"a"
],
[
"r",
"u"
],
[
"c",
"a"
],
[
"I",
"N"
],
[
"j",
"e"
],
[
"ir",
"l"
],
[
"6",
"8"
],
[
"as",
"s"
],
[
"k",
"i"
],
[
"0",
"10"
],
[
"o",
"u"
],
[
"ac",
"k"
],
[
"il",
"l"
],
[
"n",
"y"
],
[
"08",
"5"
],
[
"bo",
"y"
],
[
"t",
"o"
],
[
"O",
"N"
],
[
"t",
"a"
],
[
"4",
"8"
],
[
"4",
"9"
],
[
"p",
"h"
],
[
"1",
"10"
],
[
"p",
"er"
],
[
"E",
"L"
],
[
"0",
"12"
],
[
"g",
"r"
],
[
"8",
"1"
],
[
"p",
"r"
],
[
"3",
"1"
],
[
"b",
"l"
],
[
"is",
"s"
],
[
"g",
"irl"
],
[
"it",
"o"
],
[
"A",
"L"
],
[
"s",
"m"
],
[
"i",
"an"
],
[
"3",
"9"
],
[
"4",
"2"
],
[
"k",
"at"
],
[
"b",
"y"
],
[
"h",
"ot"
],
[
"g",
"u"
],
[
"5",
"9"
],
[
"er",
"s"
],
[
"A",
"M"
],
[
"f",
"r"
],
[
"b",
"a"
],
[
"y",
"n"
],
[
"g",
"e"
],
[
"in",
"k"
],
[
"c",
"om"
],
[
"s",
"o"
],
[
"14",
"3"
],
[
"s",
"am"
],
[
"5",
"8"
],
[
"7",
"2"
],
[
"i",
"v"
],
[
"123",
"45"
],
[
"i",
"el"
],
[
"I",
"L"
],
[
"E",
"N"
],
[
"3",
"8"
],
[
"s",
"c"
],
[
"5",
"0"
],
[
"on",
"g"
],
[
"z",
"y"
],
[
"u",
"v"
],
[
"j",
"am"
],
[
"on",
"e"
],
[
"E",
"S"
],
[
"ro",
"ck"
],
[
"b",
"oo"
],
[
"5",
"2"
],
[
"z",
"a"
],
[
"123",
"4"
],
[
"ar",
"d"
],
[
"f",
"u"
],
[
"k",
"ar"
],
[
"d",
"u"
],
[
"ev",
"er"
],
[
"6",
"2"
],
[
"p",
"l"
],
[
"re",
"d"
],
[
"as",
"t"
],
[
"a",
"w"
],
[
"i",
"on"
],
[
"lu",
"v"
],
[
"h",
"er"
],
[
"4",
"0"
],
[
"ang",
"el"
],
[
"h",
"an"
],
[
"c",
"at"
],
[
"en",
"t"
],
[
"08",
"7"
],
[
"10",
"1"
],
[
"j",
"an"
],
[
"C",
"H"
],
[
"08",
"3"
],
[
"f",
"or"
],
[
"7",
"0"
],
[
"6",
"0"
],
[
"A",
"S"
],
[
"us",
"t"
],
[
"ch",
"e"
],
[
"se",
"xy"
],
[
"ar",
"t"
],
[
"d",
"r"
],
[
"s",
"s"
],
[
"c",
"c"
],
[
"m",
"at"
],
[
"j",
"ay"
],
[
"p",
"u"
],
[
"200",
"7"
],
[
"l",
"in"
],
[
"08",
"4"
],
[
"s",
"on"
],
[
"m",
"el"
],
[
"i",
"b"
],
[
"is",
"h"
],
[
"I",
"S"
],
[
"m",
"in"
],
[
"le",
"y"
],
[
"c",
"u"
],
[
"am",
"o"
],
[
"h",
"n"
],
[
"s",
"k"
],
[
"f",
"a"
],
[
"00",
"7"
],
[
"p",
"y"
],
[
"g",
"g"
],
[
"m",
"c"
],
[
"ch",
"o"
],
[
"O",
"R"
],
[
"j",
"en"
],
[
"l",
"or"
],
[
"08",
"9"
],
[
"i",
"y"
],
[
"200",
"6"
],
[
"h",
"ar"
],
[
"lo",
"v"
],
[
"ic",
"a"
],
[
"at",
"e"
],
[
"er",
"o"
],
[
"ig",
"h"
],
[
"c",
"or"
],
[
"d",
"ar"
],
[
"A",
"T"
],
[
"I",
"T"
],
[
"c",
"ut"
],
[
"en",
"a"
],
[
"d",
"s"
],
[
"m",
"ay"
],
[
"c",
"l"
],
[
"g",
"a"
],
[
"ch",
"a"
],
[
"2",
"10"
],
[
"i",
"f"
],
[
"m",
"r"
],
[
"b",
"en"
],
[
"m",
"s"
],
[
"ar",
"a"
],
[
"d",
"en"
],
[
"L",
"O"
],
[
"t",
"on"
],
[
"w",
"n"
],
[
"o",
"k"
],
[
"j",
"h"
]
]
}
}