tokenizer.json

{
  "type": "char_level",
  "vocab_size": 74,
  "chars": [
    "\n",
    " ",
    "!",
    "\"",
    "$",
    "'",
    ",",
    "-",
    ".",
    "0",
    "1",
    "2",
    "3",
    "8",
    ":",
    ";",
    "?",
    "A",
    "B",
    "C",
    "D",
    "E",
    "F",
    "G",
    "H",
    "I",
    "J",
    "K",
    "L",
    "M",
    "N",
    "O",
    "P",
    "Q",
    "R",
    "S",
    "T",
    "U",
    "V",
    "W",
    "Y",
    "Z",
    "a",
    "b",
    "c",
    "d",
    "e",
    "f",
    "g",
    "h",
    "i",
    "j",
    "k",
    "l",
    "m",
    "n",
    "o",
    "p",
    "q",
    "r",
    "s",
    "t",
    "u",
    "v",
    "w",
    "x",
    "y",
    "z",
    "\u00e2",
    "\u0153",
    "\u201c",
    "\u201d",
    "\u20ac",
    "\u2122"
  ],
  "stoi": {
    "\n": 0,
    " ": 1,
    "!": 2,
    "\"": 3,
    "$": 4,
    "'": 5,
    ",": 6,
    "-": 7,
    ".": 8,
    "0": 9,
    "1": 10,
    "2": 11,
    "3": 12,
    "8": 13,
    ":": 14,
    ";": 15,
    "?": 16,
    "A": 17,
    "B": 18,
    "C": 19,
    "D": 20,
    "E": 21,
    "F": 22,
    "G": 23,
    "H": 24,
    "I": 25,
    "J": 26,
    "K": 27,
    "L": 28,
    "M": 29,
    "N": 30,
    "O": 31,
    "P": 32,
    "Q": 33,
    "R": 34,
    "S": 35,
    "T": 36,
    "U": 37,
    "V": 38,
    "W": 39,
    "Y": 40,
    "Z": 41,
    "a": 42,
    "b": 43,
    "c": 44,
    "d": 45,
    "e": 46,
    "f": 47,
    "g": 48,
    "h": 49,
    "i": 50,
    "j": 51,
    "k": 52,
    "l": 53,
    "m": 54,
    "n": 55,
    "o": 56,
    "p": 57,
    "q": 58,
    "r": 59,
    "s": 60,
    "t": 61,
    "u": 62,
    "v": 63,
    "w": 64,
    "x": 65,
    "y": 66,
    "z": 67,
    "\u00e2": 68,
    "\u0153": 69,
    "\u201c": 70,
    "\u201d": 71,
    "\u20ac": 72,
    "\u2122": 73
  },
  "itos": {
    "0": "\n",
    "1": " ",
    "2": "!",
    "3": "\"",
    "4": "$",
    "5": "'",
    "6": ",",
    "7": "-",
    "8": ".",
    "9": "0",
    "10": "1",
    "11": "2",
    "12": "3",
    "13": "8",
    "14": ":",
    "15": ";",
    "16": "?",
    "17": "A",
    "18": "B",
    "19": "C",
    "20": "D",
    "21": "E",
    "22": "F",
    "23": "G",
    "24": "H",
    "25": "I",
    "26": "J",
    "27": "K",
    "28": "L",
    "29": "M",
    "30": "N",
    "31": "O",
    "32": "P",
    "33": "Q",
    "34": "R",
    "35": "S",
    "36": "T",
    "37": "U",
    "38": "V",
    "39": "W",
    "40": "Y",
    "41": "Z",
    "42": "a",
    "43": "b",
    "44": "c",
    "45": "d",
    "46": "e",
    "47": "f",
    "48": "g",
    "49": "h",
    "50": "i",
    "51": "j",
    "52": "k",
    "53": "l",
    "54": "m",
    "55": "n",
    "56": "o",
    "57": "p",
    "58": "q",
    "59": "r",
    "60": "s",
    "61": "t",
    "62": "u",
    "63": "v",
    "64": "w",
    "65": "x",
    "66": "y",
    "67": "z",
    "68": "\u00e2",
    "69": "\u0153",
    "70": "\u201c",
    "71": "\u201d",
    "72": "\u20ac",
    "73": "\u2122"
  }
}