tokenizer.json

{
  "char_to_idx": {
    " ": 0,
    "!": 1,
    "\"": 2,
    "'": 3,
    "(": 4,
    ")": 5,
    ",": 6,
    "-": 7,
    ".": 8,
    "0": 9,
    "1": 10,
    "2": 11,
    "3": 12,
    "4": 13,
    "5": 14,
    "6": 15,
    "7": 16,
    "8": 17,
    "9": 18,
    ":": 19,
    ";": 20,
    "?": 21,
    "A": 22,
    "B": 23,
    "C": 24,
    "D": 25,
    "E": 26,
    "F": 27,
    "G": 28,
    "H": 29,
    "I": 30,
    "J": 31,
    "K": 32,
    "L": 33,
    "M": 34,
    "N": 35,
    "O": 36,
    "P": 37,
    "Q": 38,
    "R": 39,
    "S": 40,
    "T": 41,
    "U": 42,
    "V": 43,
    "W": 44,
    "X": 45,
    "Y": 46,
    "Z": 47,
    "a": 48,
    "b": 49,
    "c": 50,
    "d": 51,
    "e": 52,
    "f": 53,
    "g": 54,
    "h": 55,
    "i": 56,
    "j": 57,
    "k": 58,
    "l": 59,
    "m": 60,
    "n": 61,
    "o": 62,
    "p": 63,
    "q": 64,
    "r": 65,
    "s": 66,
    "t": 67,
    "u": 68,
    "v": 69,
    "w": 70,
    "x": 71,
    "y": 72,
    "z": 73
  },
  "idx_to_char": {
    "0": " ",
    "1": "!",
    "2": "\"",
    "3": "'",
    "4": "(",
    "5": ")",
    "6": ",",
    "7": "-",
    "8": ".",
    "9": "0",
    "10": "1",
    "11": "2",
    "12": "3",
    "13": "4",
    "14": "5",
    "15": "6",
    "16": "7",
    "17": "8",
    "18": "9",
    "19": ":",
    "20": ";",
    "21": "?",
    "22": "A",
    "23": "B",
    "24": "C",
    "25": "D",
    "26": "E",
    "27": "F",
    "28": "G",
    "29": "H",
    "30": "I",
    "31": "J",
    "32": "K",
    "33": "L",
    "34": "M",
    "35": "N",
    "36": "O",
    "37": "P",
    "38": "Q",
    "39": "R",
    "40": "S",
    "41": "T",
    "42": "U",
    "43": "V",
    "44": "W",
    "45": "X",
    "46": "Y",
    "47": "Z",
    "48": "a",
    "49": "b",
    "50": "c",
    "51": "d",
    "52": "e",
    "53": "f",
    "54": "g",
    "55": "h",
    "56": "i",
    "57": "j",
    "58": "k",
    "59": "l",
    "60": "m",
    "61": "n",
    "62": "o",
    "63": "p",
    "64": "q",
    "65": "r",
    "66": "s",
    "67": "t",
    "68": "u",
    "69": "v",
    "70": "w",
    "71": "x",
    "72": "y",
    "73": "z"
  },
  "vocab_size": 77,
  "uchars": [
    " ",
    "!",
    "\"",
    "'",
    "(",
    ")",
    ",",
    "-",
    ".",
    "0",
    "1",
    "2",
    "3",
    "4",
    "5",
    "6",
    "7",
    "8",
    "9",
    ":",
    ";",
    "?",
    "A",
    "B",
    "C",
    "D",
    "E",
    "F",
    "G",
    "H",
    "I",
    "J",
    "K",
    "L",
    "M",
    "N",
    "O",
    "P",
    "Q",
    "R",
    "S",
    "T",
    "U",
    "V",
    "W",
    "X",
    "Y",
    "Z",
    "a",
    "b",
    "c",
    "d",
    "e",
    "f",
    "g",
    "h",
    "i",
    "j",
    "k",
    "l",
    "m",
    "n",
    "o",
    "p",
    "q",
    "r",
    "s",
    "t",
    "u",
    "v",
    "w",
    "x",
    "y",
    "z"
  ],
  "special_tokens": {
    "BOS": 74,
    "EOS": 75,
    "PAD": 76
  }
}