tokenizer.json

{
  "vocab": {
    "<PAD>": 0,
    "N": 1,
    "5": 2,
    "b": 3,
    "g": 4,
    "6": 5,
    "e": 6,
    "h": 7,
    "2": 8,
    "a": 9,
    "1": 10,
    "7": 11,
    "R": 12,
    "d": 13,
    "B": 14,
    "3": 15,
    "K": 16,
    "8": 17,
    "Q": 18,
    "f": 19,
    "c": 20,
    "P": 21,
    "4": 22,
    "-": 23,
    ".": 24,
    "+": 25,
    "#": 26,
    "9": 27,
    "x": 28,
    "0": 29,
    "O": 30,
    "=": 31,
    " ": 32,
    "\n": 33,
    "\t": 34,
    ",": 35,
    "'": 36,
    "[": 37,
    "\"": 38,
    "]": 39,
    ")": 40,
    "!": 41,
    "/": 42,
    "(": 43
  },
  "id2token": {
    "0": "<PAD>",
    "1": "N",
    "2": "5",
    "3": "b",
    "4": "g",
    "5": "6",
    "6": "e",
    "7": "h",
    "8": "2",
    "9": "a",
    "10": "1",
    "11": "7",
    "12": "R",
    "13": "d",
    "14": "B",
    "15": "3",
    "16": "K",
    "17": "8",
    "18": "Q",
    "19": "f",
    "20": "c",
    "21": "P",
    "22": "4",
    "23": "-",
    "24": ".",
    "25": "+",
    "26": "#",
    "27": "9",
    "28": "x",
    "29": "0",
    "30": "O",
    "31": "=",
    "32": " ",
    "33": "\n",
    "34": "\t",
    "35": ",",
    "36": "'",
    "37": "[",
    "38": "\"",
    "39": "]",
    "40": ")",
    "41": "!",
    "42": "/",
    "43": "("
  },
  "valid_chars": [
    "N",
    "5",
    ".",
    "b",
    "9",
    "[",
    "g",
    "=",
    "6",
    "e",
    " ",
    "-",
    "h",
    "2",
    "\"",
    "]",
    "a",
    "1",
    "7",
    "R",
    "'",
    "d",
    "B",
    "x",
    "3",
    "0",
    "O",
    ")",
    "(",
    "\n",
    "K",
    "\t",
    "+",
    ",",
    "8",
    "#",
    "Q",
    "f",
    "c",
    "P",
    "!",
    "4",
    "/"
  ]
}