tokenizer.json

{
  "pad_id": 0,
  "bos_id": 1,
  "eos_id": 2,
  "stoi": {
    "<pad>": 0,
    "<bos>": 1,
    "<eos>": 2,
    "<unk>": 3,
    "a": 4,
    "c": 5,
    "o": 6,
    "r": 7,
    "d": 8,
    "i": 9,
    "n": 10,
    "g": 11,
    "|": 12,
    "t": 13,
    "h": 14,
    "e": 15,
    "s": 16,
    "m": 17,
    "y": 18,
    ",": 19,
    "p": 20,
    "l": 21,
    "w": 22,
    "b": 23,
    "f": 24,
    "u": 25,
    ".": 26,
    "k": 27,
    "-": 28,
    "j": 29,
    "v": 30,
    "x": 31,
    ":": 32,
    "'": 33,
    "q": 34,
    "?": 35,
    ";": 36,
    "z": 37,
    "!": 38
  },
  "itos": [
    "<pad>",
    "<bos>",
    "<eos>",
    "<unk>",
    "a",
    "c",
    "o",
    "r",
    "d",
    "i",
    "n",
    "g",
    "|",
    "t",
    "h",
    "e",
    "s",
    "m",
    "y",
    ",",
    "p",
    "l",
    "w",
    "b",
    "f",
    "u",
    ".",
    "k",
    "-",
    "j",
    "v",
    "x",
    ":",
    "'",
    "q",
    "?",
    ";",
    "z",
    "!"
  ]
}