tokenizer.json

{
    "version": "1.0",
    "truncation": null,
    "padding": null,
    "added_tokens": [
        {
            "id": 256,
            "special": true,
            "content": "<bos>",
            "single_word": false,
            "lstrip": false,
            "rstrip": false,
            "normalized": false
        },
        {
            "id": 257,
            "special": true,
            "content": "<eos>",
            "single_word": false,
            "lstrip": false,
            "rstrip": false,
            "normalized": false
        }
    ],
    "normalizer": null,
    "pre_tokenizer": null,
    "post_processor": {
        "type": "TemplateProcessing",
        "single": [
            { "SpecialToken": { "id": "<bos>", "type_id": 0 } },
            { "Sequence": { "id": "A", "type_id": 0 } },
            { "SpecialToken": { "id": "<eos>", "type_id": 0 } }
        ],
        "pair": [
            { "Sequence": { "id": "A", "type_id": 0 } },
            { "Sequence": { "id": "B", "type_id": 1 } }
        ],
        "special_tokens": {
            "<bos>": { "id": "<bos>", "ids": [256], "tokens": ["<bos>"] },
            "<eos>": { "id": "<eos>", "ids": [257], "tokens": ["<eos>"] }
        }
    },
    "decoder": null,
    "model": {
        "unk_id": null,
        "vocab": [
            ["\u0000", 0.0],
            ["\u0001", 1.0],
            ["\u0002", 2.0],
            ["\u0003", 3.0],
            ["\u0004", 4.0],
            ["\u0005", 5.0],
            ["\u0006", 6.0],
            ["\u0007", 7.0],
            ["\b", 8.0],
            ["\t", 9.0],
            ["\n", 10.0],
            ["\u000b", 11.0],
            ["\f", 12.0],
            ["\r", 13.0],
            ["\u000e", 14.0],
            ["\u000f", 15.0],
            ["\u0010", 16.0],
            ["\u0011", 17.0],
            ["\u0012", 18.0],
            ["\u0013", 19.0],
            ["\u0014", 20.0],
            ["\u0015", 21.0],
            ["\u0016", 22.0],
            ["\u0017", 23.0],
            ["\u0018", 24.0],
            ["\u0019", 25.0],
            ["\u001a", 26.0],
            ["\u001b", 27.0],
            ["\u001c", 28.0],
            ["\u001d", 29.0],
            ["\u001e", 30.0],
            ["\u001f", 31.0],
            [" ", 32.0],
            ["!", 33.0],
            ["\"", 34.0],
            ["#", 35.0],
            ["$", 36.0],
            ["%", 37.0],
            ["&", 38.0],
            ["'", 39.0],
            ["(", 40.0],
            [")", 41.0],
            ["*", 42.0],
            ["+", 43.0],
            [",", 44.0],
            ["-", 45.0],
            [".", 46.0],
            ["/", 47.0],
            ["0", 48.0],
            ["1", 49.0],
            ["2", 50.0],
            ["3", 51.0],
            ["4", 52.0],
            ["5", 53.0],
            ["6", 54.0],
            ["7", 55.0],
            ["8", 56.0],
            ["9", 57.0],
            [":", 58.0],
            [";", 59.0],
            ["<", 60.0],
            ["=", 61.0],
            [">", 62.0],
            ["?", 63.0],
            ["@", 64.0],
            ["A", 65.0],
            ["B", 66.0],
            ["C", 67.0],
            ["D", 68.0],
            ["E", 69.0],
            ["F", 70.0],
            ["G", 71.0],
            ["H", 72.0],
            ["I", 73.0],
            ["J", 74.0],
            ["K", 75.0],
            ["L", 76.0],
            ["M", 77.0],
            ["N", 78.0],
            ["O", 79.0],
            ["P", 80.0],
            ["Q", 81.0],
            ["R", 82.0],
            ["S", 83.0],
            ["T", 84.0],
            ["U", 85.0],
            ["V", 86.0],
            ["W", 87.0],
            ["X", 88.0],
            ["Y", 89.0],
            ["Z", 90.0],
            ["[", 91.0],
            ["\\", 92.0],
            ["]", 93.0],
            ["^", 94.0],
            ["_", 95.0],
            ["`", 96.0],
            ["a", 97.0],
            ["b", 98.0],
            ["c", 99.0],
            ["d", 100.0],
            ["e", 101.0],
            ["f", 102.0],
            ["g", 103.0],
            ["h", 104.0],
            ["i", 105.0],
            ["j", 106.0],
            ["k", 107.0],
            ["l", 108.0],
            ["m", 109.0],
            ["n", 110.0],
            ["o", 111.0],
            ["p", 112.0],
            ["q", 113.0],
            ["r", 114.0],
            ["s", 115.0],
            ["t", 116.0],
            ["u", 117.0],
            ["v", 118.0],
            ["w", 119.0],
            ["x", 120.0],
            ["y", 121.0],
            ["z", 122.0],
            ["{", 123.0],
            ["|", 124.0],
            ["}", 125.0],
            ["~", 126.0],
            ["", 127.0],
            ["€", 128.0],
            ["", 129.0],
            ["‚", 130.0],
            ["ƒ", 131.0],
            ["„", 132.0],
            ["…", 133.0],
            ["†", 134.0],
            ["‡", 135.0],
            ["ˆ", 136.0],
            ["‰", 137.0],
            ["Š", 138.0],
            ["‹", 139.0],
            ["Œ", 140.0],
            ["", 141.0],
            ["Ž", 142.0],
            ["", 143.0],
            ["", 144.0],
            ["‘", 145.0],
            ["’", 146.0],
            ["“", 147.0],
            ["”", 148.0],
            ["•", 149.0],
            ["–", 150.0],
            ["—", 151.0],
            ["˜", 152.0],
            ["™", 153.0],
            ["š", 154.0],
            ["›", 155.0],
            ["œ", 156.0],
            ["", 157.0],
            ["ž", 158.0],
            ["Ÿ", 159.0],
            [" ", 160.0],
            ["¡", 161.0],
            ["¢", 162.0],
            ["£", 163.0],
            ["¤", 164.0],
            ["¥", 165.0],
            ["¦", 166.0],
            ["§", 167.0],
            ["¨", 168.0],
            ["©", 169.0],
            ["ª", 170.0],
            ["«", 171.0],
            ["¬", 172.0],
            ["­", 173.0],
            ["®", 174.0],
            ["¯", 175.0],
            ["°", 176.0],
            ["±", 177.0],
            ["²", 178.0],
            ["³", 179.0],
            ["´", 180.0],
            ["µ", 181.0],
            ["¶", 182.0],
            ["·", 183.0],
            ["¸", 184.0],
            ["¹", 185.0],
            ["º", 186.0],
            ["»", 187.0],
            ["¼", 188.0],
            ["½", 189.0],
            ["¾", 190.0],
            ["¿", 191.0],
            ["À", 192.0],
            ["Á", 193.0],
            ["Â", 194.0],
            ["Ã", 195.0],
            ["Ä", 196.0],
            ["Å", 197.0],
            ["Æ", 198.0],
            ["Ç", 199.0],
            ["È", 200.0],
            ["É", 201.0],
            ["Ê", 202.0],
            ["Ë", 203.0],
            ["Ì", 204.0],
            ["Í", 205.0],
            ["Î", 206.0],
            ["Ï", 207.0],
            ["Ð", 208.0],
            ["Ñ", 209.0],
            ["Ò", 210.0],
            ["Ó", 211.0],
            ["Ô", 212.0],
            ["Õ", 213.0],
            ["Ö", 214.0],
            ["×", 215.0],
            ["Ø", 216.0],
            ["Ù", 217.0],
            ["Ú", 218.0],
            ["Û", 219.0],
            ["Ü", 220.0],
            ["Ý", 221.0],
            ["Þ", 222.0],
            ["ß", 223.0],
            ["à", 224.0],
            ["á", 225.0],
            ["â", 226.0],
            ["ã", 227.0],
            ["ä", 228.0],
            ["å", 229.0],
            ["æ", 230.0],
            ["ç", 231.0],
            ["è", 232.0],
            ["é", 233.0],
            ["ê", 234.0],
            ["ë", 235.0],
            ["ì", 236.0],
            ["í", 237.0],
            ["î", 238.0],
            ["ï", 239.0],
            ["ð", 240.0],
            ["ñ", 241.0],
            ["ò", 242.0],
            ["ó", 243.0],
            ["ô", 244.0],
            ["õ", 245.0],
            ["ö", 246.0],
            ["÷", 247.0],
            ["ø", 248.0],
            ["ù", 249.0],
            ["ú", 250.0],
            ["û", 251.0],
            ["ü", 252.0],
            ["ý", 253.0],
            ["þ", 254.0],
            ["ÿ", 255.0]
        ]
    }
}