hf_scripts/tokenizer_v3.json

{
  "chars": [
    "\t",
    "\n",
    " ",
    "!",
    "\"",
    "#",
    "$",
    "%",
    "&",
    "'",
    "(",
    ")",
    "*",
    "+",
    ",",
    "-",
    ".",
    "/",
    "0",
    "1",
    "2",
    "3",
    "4",
    "5",
    "6",
    "7",
    "8",
    "9",
    ":",
    ";",
    "<",
    "=",
    ">",
    "?",
    "@",
    "A",
    "B",
    "C",
    "D",
    "E",
    "F",
    "G",
    "H",
    "I",
    "J",
    "K",
    "L",
    "M",
    "N",
    "O",
    "P",
    "Q",
    "R",
    "S",
    "T",
    "U",
    "V",
    "W",
    "X",
    "Y",
    "Z",
    "[",
    "\\",
    "]",
    "^",
    "_",
    "`",
    "a",
    "b",
    "c",
    "d",
    "e",
    "f",
    "g",
    "h",
    "i",
    "j",
    "k",
    "l",
    "m",
    "n",
    "o",
    "p",
    "q",
    "r",
    "s",
    "t",
    "u",
    "v",
    "w",
    "x",
    "y",
    "z",
    "{",
    "|",
    "}",
    "~",
    "«",
    "»",
    "¿",
    "À",
    "Â",
    "Ä",
    "Æ",
    "Ç",
    "È",
    "É",
    "Ê",
    "Ë",
    "Î",
    "Ï",
    "Ô",
    "Ù",
    "Û",
    "Ü",
    "ß",
    "à",
    "â",
    "ä",
    "æ",
    "ç",
    "è",
    "é",
    "ê",
    "ë",
    "î",
    "ï",
    "ñ",
    "ô",
    "ù",
    "û",
    "ü",
    "ÿ",
    "Œ",
    "œ",
    "Ÿ"
  ],
  "vocab_size": 136
}