checkpoint_medium/tokenizer.json

{
  "type": "character",
  "vocab_size": 190,
  "char_to_idx": {
    "\t": 0,
    "\n": 1,
    " ": 2,
    "!": 3,
    "\"": 4,
    "#": 5,
    "$": 6,
    "%": 7,
    "&": 8,
    "'": 9,
    "(": 10,
    ")": 11,
    "*": 12,
    "+": 13,
    ",": 14,
    "-": 15,
    ".": 16,
    "/": 17,
    "0": 18,
    "1": 19,
    "2": 20,
    "3": 21,
    "4": 22,
    "5": 23,
    "6": 24,
    "7": 25,
    "8": 26,
    "9": 27,
    ":": 28,
    ";": 29,
    "<": 30,
    "=": 31,
    ">": 32,
    "?": 33,
    "@": 34,
    "A": 35,
    "B": 36,
    "C": 37,
    "D": 38,
    "E": 39,
    "F": 40,
    "G": 41,
    "H": 42,
    "I": 43,
    "J": 44,
    "K": 45,
    "L": 46,
    "M": 47,
    "N": 48,
    "O": 49,
    "P": 50,
    "Q": 51,
    "R": 52,
    "S": 53,
    "T": 54,
    "U": 55,
    "V": 56,
    "W": 57,
    "X": 58,
    "Y": 59,
    "Z": 60,
    "[": 61,
    "\\": 62,
    "]": 63,
    "^": 64,
    "_": 65,
    "`": 66,
    "a": 67,
    "b": 68,
    "c": 69,
    "d": 70,
    "e": 71,
    "f": 72,
    "g": 73,
    "h": 74,
    "i": 75,
    "j": 76,
    "k": 77,
    "l": 78,
    "m": 79,
    "n": 80,
    "o": 81,
    "p": 82,
    "q": 83,
    "r": 84,
    "s": 85,
    "t": 86,
    "u": 87,
    "v": 88,
    "w": 89,
    "x": 90,
    "y": 91,
    "z": 92,
    "{": 93,
    "|": 94,
    "}": 95,
    "~": 96,
    " ": 97,
    "¡": 98,
    "¢": 99,
    "£": 100,
    "¥": 101,
    "¦": 102,
    "§": 103,
    "¨": 104,
    "©": 105,
    "ª": 106,
    "«": 107,
    "¬": 108,
    "®": 109,
    "¯": 110,
    "°": 111,
    "±": 112,
    "²": 113,
    "³": 114,
    "´": 115,
    "µ": 116,
    "¶": 117,
    "·": 118,
    "¸": 119,
    "¹": 120,
    "º": 121,
    "»": 122,
    "¼": 123,
    "½": 124,
    "¾": 125,
    "¿": 126,
    "À": 127,
    "Á": 128,
    "Â": 129,
    "Ã": 130,
    "Ä": 131,
    "Å": 132,
    "Æ": 133,
    "Ç": 134,
    "È": 135,
    "É": 136,
    "Ê": 137,
    "Ë": 138,
    "Ì": 139,
    "Í": 140,
    "Î": 141,
    "Ï": 142,
    "Ð": 143,
    "Ñ": 144,
    "Ò": 145,
    "Ó": 146,
    "Ô": 147,
    "Õ": 148,
    "Ö": 149,
    "×": 150,
    "Ø": 151,
    "Ú": 152,
    "Û": 153,
    "Ü": 154,
    "Ý": 155,
    "Þ": 156,
    "ß": 157,
    "à": 158,
    "á": 159,
    "â": 160,
    "ã": 161,
    "ä": 162,
    "å": 163,
    "æ": 164,
    "ç": 165,
    "è": 166,
    "é": 167,
    "ê": 168,
    "ë": 169,
    "ì": 170,
    "í": 171,
    "î": 172,
    "ï": 173,
    "ð": 174,
    "ñ": 175,
    "ò": 176,
    "ó": 177,
    "ô": 178,
    "õ": 179,
    "ö": 180,
    "÷": 181,
    "ø": 182,
    "ù": 183,
    "ú": 184,
    "û": 185,
    "ü": 186,
    "ý": 187,
    "þ": 188,
    "ÿ": 189
  },
  "idx_to_char": {
    "0": "\t",
    "1": "\n",
    "2": " ",
    "3": "!",
    "4": "\"",
    "5": "#",
    "6": "$",
    "7": "%",
    "8": "&",
    "9": "'",
    "10": "(",
    "11": ")",
    "12": "*",
    "13": "+",
    "14": ",",
    "15": "-",
    "16": ".",
    "17": "/",
    "18": "0",
    "19": "1",
    "20": "2",
    "21": "3",
    "22": "4",
    "23": "5",
    "24": "6",
    "25": "7",
    "26": "8",
    "27": "9",
    "28": ":",
    "29": ";",
    "30": "<",
    "31": "=",
    "32": ">",
    "33": "?",
    "34": "@",
    "35": "A",
    "36": "B",
    "37": "C",
    "38": "D",
    "39": "E",
    "40": "F",
    "41": "G",
    "42": "H",
    "43": "I",
    "44": "J",
    "45": "K",
    "46": "L",
    "47": "M",
    "48": "N",
    "49": "O",
    "50": "P",
    "51": "Q",
    "52": "R",
    "53": "S",
    "54": "T",
    "55": "U",
    "56": "V",
    "57": "W",
    "58": "X",
    "59": "Y",
    "60": "Z",
    "61": "[",
    "62": "\\",
    "63": "]",
    "64": "^",
    "65": "_",
    "66": "`",
    "67": "a",
    "68": "b",
    "69": "c",
    "70": "d",
    "71": "e",
    "72": "f",
    "73": "g",
    "74": "h",
    "75": "i",
    "76": "j",
    "77": "k",
    "78": "l",
    "79": "m",
    "80": "n",
    "81": "o",
    "82": "p",
    "83": "q",
    "84": "r",
    "85": "s",
    "86": "t",
    "87": "u",
    "88": "v",
    "89": "w",
    "90": "x",
    "91": "y",
    "92": "z",
    "93": "{",
    "94": "|",
    "95": "}",
    "96": "~",
    "97": " ",
    "98": "¡",
    "99": "¢",
    "100": "£",
    "101": "¥",
    "102": "¦",
    "103": "§",
    "104": "¨",
    "105": "©",
    "106": "ª",
    "107": "«",
    "108": "¬",
    "109": "®",
    "110": "¯",
    "111": "°",
    "112": "±",
    "113": "²",
    "114": "³",
    "115": "´",
    "116": "µ",
    "117": "¶",
    "118": "·",
    "119": "¸",
    "120": "¹",
    "121": "º",
    "122": "»",
    "123": "¼",
    "124": "½",
    "125": "¾",
    "126": "¿",
    "127": "À",
    "128": "Á",
    "129": "Â",
    "130": "Ã",
    "131": "Ä",
    "132": "Å",
    "133": "Æ",
    "134": "Ç",
    "135": "È",
    "136": "É",
    "137": "Ê",
    "138": "Ë",
    "139": "Ì",
    "140": "Í",
    "141": "Î",
    "142": "Ï",
    "143": "Ð",
    "144": "Ñ",
    "145": "Ò",
    "146": "Ó",
    "147": "Ô",
    "148": "Õ",
    "149": "Ö",
    "150": "×",
    "151": "Ø",
    "152": "Ú",
    "153": "Û",
    "154": "Ü",
    "155": "Ý",
    "156": "Þ",
    "157": "ß",
    "158": "à",
    "159": "á",
    "160": "â",
    "161": "ã",
    "162": "ä",
    "163": "å",
    "164": "æ",
    "165": "ç",
    "166": "è",
    "167": "é",
    "168": "ê",
    "169": "ë",
    "170": "ì",
    "171": "í",
    "172": "î",
    "173": "ï",
    "174": "ð",
    "175": "ñ",
    "176": "ò",
    "177": "ó",
    "178": "ô",
    "179": "õ",
    "180": "ö",
    "181": "÷",
    "182": "ø",
    "183": "ù",
    "184": "ú",
    "185": "û",
    "186": "ü",
    "187": "ý",
    "188": "þ",
    "189": "ÿ"
  }
}