tokenizer.json

{
  "itos": [
    "<unk>",
    "\t",
    "\n",
    "\u000b",
    "\f",
    "\r",
    " ",
    "!",
    "\"",
    "#",
    "$",
    "%",
    "&",
    "'",
    "(",
    ")",
    "*",
    "+",
    ",",
    "-",
    ".",
    "/",
    "0",
    "1",
    "2",
    "3",
    "4",
    "5",
    "6",
    "7",
    "8",
    "9",
    ":",
    ";",
    "<",
    "=",
    ">",
    "?",
    "@",
    "A",
    "B",
    "C",
    "D",
    "E",
    "F",
    "G",
    "H",
    "I",
    "J",
    "K",
    "L",
    "M",
    "N",
    "O",
    "P",
    "Q",
    "R",
    "S",
    "T",
    "U",
    "V",
    "W",
    "X",
    "Y",
    "Z",
    "[",
    "\\",
    "]",
    "^",
    "_",
    "`",
    "a",
    "b",
    "c",
    "d",
    "e",
    "f",
    "g",
    "h",
    "i",
    "j",
    "k",
    "l",
    "m",
    "n",
    "o",
    "p",
    "q",
    "r",
    "s",
    "t",
    "u",
    "v",
    "w",
    "x",
    "y",
    "z",
    "{",
    "|",
    "}",
    "~",
    "¡",
    "¦",
    "©",
    "«",
    "±",
    "³",
    "»",
    "Â",
    "Ã",
    "â",
    "œ",
    "˜",
    "“",
    "”",
    "€",
    "™"
  ],
  "stoi": {
    "\t": 1,
    "\n": 2,
    "\u000b": 3,
    "\f": 4,
    "\r": 5,
    " ": 6,
    "!": 7,
    "\"": 8,
    "#": 9,
    "$": 10,
    "%": 11,
    "&": 12,
    "'": 13,
    "(": 14,
    ")": 15,
    "*": 16,
    "+": 17,
    ",": 18,
    "-": 19,
    ".": 20,
    "/": 21,
    "0": 22,
    "1": 23,
    "2": 24,
    "3": 25,
    "4": 26,
    "5": 27,
    "6": 28,
    "7": 29,
    "8": 30,
    "9": 31,
    ":": 32,
    ";": 33,
    "<": 34,
    "<unk>": 0,
    "=": 35,
    ">": 36,
    "?": 37,
    "@": 38,
    "A": 39,
    "B": 40,
    "C": 41,
    "D": 42,
    "E": 43,
    "F": 44,
    "G": 45,
    "H": 46,
    "I": 47,
    "J": 48,
    "K": 49,
    "L": 50,
    "M": 51,
    "N": 52,
    "O": 53,
    "P": 54,
    "Q": 55,
    "R": 56,
    "S": 57,
    "T": 58,
    "U": 59,
    "V": 60,
    "W": 61,
    "X": 62,
    "Y": 63,
    "Z": 64,
    "[": 65,
    "\\": 66,
    "]": 67,
    "^": 68,
    "_": 69,
    "`": 70,
    "a": 71,
    "b": 72,
    "c": 73,
    "d": 74,
    "e": 75,
    "f": 76,
    "g": 77,
    "h": 78,
    "i": 79,
    "j": 80,
    "k": 81,
    "l": 82,
    "m": 83,
    "n": 84,
    "o": 85,
    "p": 86,
    "q": 87,
    "r": 88,
    "s": 89,
    "t": 90,
    "u": 91,
    "v": 92,
    "w": 93,
    "x": 94,
    "y": 95,
    "z": 96,
    "{": 97,
    "|": 98,
    "}": 99,
    "~": 100,
    "¡": 101,
    "¦": 102,
    "©": 103,
    "«": 104,
    "±": 105,
    "³": 106,
    "»": 107,
    "Â": 108,
    "Ã": 109,
    "â": 110,
    "œ": 111,
    "˜": 112,
    "“": 113,
    "”": 114,
    "€": 115,
    "™": 116
  },
  "type": "character-level",
  "unk_token": "<unk>",
  "vocab_size": 117
}