tokenizer.json

{
  "type": "character-level",
  "vocab_size": 72,
  "stoi": {
    "\n": 0,
    " ": 1,
    "!": 2,
    "\"": 3,
    "'": 4,
    ",": 5,
    "-": 6,
    ".": 7,
    "0": 8,
    "1": 9,
    "3": 10,
    ":": 11,
    ";": 12,
    "<": 13,
    ">": 14,
    "?": 15,
    "A": 16,
    "B": 17,
    "C": 18,
    "D": 19,
    "E": 20,
    "F": 21,
    "G": 22,
    "H": 23,
    "I": 24,
    "J": 25,
    "K": 26,
    "L": 27,
    "M": 28,
    "N": 29,
    "O": 30,
    "P": 31,
    "Q": 32,
    "R": 33,
    "S": 34,
    "T": 35,
    "U": 36,
    "V": 37,
    "W": 38,
    "X": 39,
    "Y": 40,
    "Z": 41,
    "a": 42,
    "b": 43,
    "c": 44,
    "d": 45,
    "e": 46,
    "f": 47,
    "g": 48,
    "h": 49,
    "i": 50,
    "j": 51,
    "k": 52,
    "l": 53,
    "m": 54,
    "n": 55,
    "o": 56,
    "p": 57,
    "q": 58,
    "r": 59,
    "s": 60,
    "t": 61,
    "u": 62,
    "v": 63,
    "w": 64,
    "x": 65,
    "y": 66,
    "z": 67,
    "|": 68,
    "\u2019": 69,
    "\u201c": 70,
    "\u201d": 71
  },
  "itos": {
    "0": "\n",
    "1": " ",
    "2": "!",
    "3": "\"",
    "4": "'",
    "5": ",",
    "6": "-",
    "7": ".",
    "8": "0",
    "9": "1",
    "10": "3",
    "11": ":",
    "12": ";",
    "13": "<",
    "14": ">",
    "15": "?",
    "16": "A",
    "17": "B",
    "18": "C",
    "19": "D",
    "20": "E",
    "21": "F",
    "22": "G",
    "23": "H",
    "24": "I",
    "25": "J",
    "26": "K",
    "27": "L",
    "28": "M",
    "29": "N",
    "30": "O",
    "31": "P",
    "32": "Q",
    "33": "R",
    "34": "S",
    "35": "T",
    "36": "U",
    "37": "V",
    "38": "W",
    "39": "X",
    "40": "Y",
    "41": "Z",
    "42": "a",
    "43": "b",
    "44": "c",
    "45": "d",
    "46": "e",
    "47": "f",
    "48": "g",
    "49": "h",
    "50": "i",
    "51": "j",
    "52": "k",
    "53": "l",
    "54": "m",
    "55": "n",
    "56": "o",
    "57": "p",
    "58": "q",
    "59": "r",
    "60": "s",
    "61": "t",
    "62": "u",
    "63": "v",
    "64": "w",
    "65": "x",
    "66": "y",
    "67": "z",
    "68": "|",
    "69": "\u2019",
    "70": "\u201c",
    "71": "\u201d"
  }
}