| { | |
| "version": "1.0", | |
| "truncation": null, | |
| "padding": null, | |
| "added_tokens": [ | |
| { | |
| "id": 0, | |
| "content": "<s>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 1, | |
| "content": "<\\s>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 2, | |
| "content": "<pad>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 3, | |
| "content": "<UNK>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 329, | |
| "content": "</s>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 330, | |
| "content": "<unk>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| } | |
| ], | |
| "normalizer": null, | |
| "pre_tokenizer": { | |
| "type": "ByteLevel", | |
| "add_prefix_space": false, | |
| "trim_offsets": true, | |
| "use_regex": false | |
| }, | |
| "post_processor": { | |
| "type": "ByteLevel", | |
| "add_prefix_space": true, | |
| "trim_offsets": true, | |
| "use_regex": true | |
| }, | |
| "decoder": { | |
| "type": "ByteLevel", | |
| "add_prefix_space": true, | |
| "trim_offsets": true, | |
| "use_regex": true | |
| }, | |
| "model": { | |
| "type": "BPE", | |
| "dropout": null, | |
| "unk_token": "<UNK>", | |
| "continuing_subword_prefix": null, | |
| "end_of_word_suffix": null, | |
| "fuse_unk": false, | |
| "byte_fallback": false, | |
| "vocab": { | |
| "<s>": 0, | |
| "<\\s>": 1, | |
| "<pad>": 2, | |
| "<UNK>": 3, | |
| "!": 4, | |
| "%": 5, | |
| "&": 6, | |
| "(": 7, | |
| ")": 8, | |
| "*": 9, | |
| "+": 10, | |
| ",": 11, | |
| "-": 12, | |
| ".": 13, | |
| "/": 14, | |
| "0": 15, | |
| "1": 16, | |
| "2": 17, | |
| "3": 18, | |
| "4": 19, | |
| "5": 20, | |
| "6": 21, | |
| "7": 22, | |
| "8": 23, | |
| "9": 24, | |
| ":": 25, | |
| ";": 26, | |
| "<": 27, | |
| "=": 28, | |
| ">": 29, | |
| "?": 30, | |
| "A": 31, | |
| "B": 32, | |
| "C": 33, | |
| "D": 34, | |
| "E": 35, | |
| "F": 36, | |
| "G": 37, | |
| "H": 38, | |
| "I": 39, | |
| "J": 40, | |
| "K": 41, | |
| "L": 42, | |
| "M": 43, | |
| "N": 44, | |
| "O": 45, | |
| "P": 46, | |
| "Q": 47, | |
| "R": 48, | |
| "S": 49, | |
| "T": 50, | |
| "U": 51, | |
| "V": 52, | |
| "W": 53, | |
| "X": 54, | |
| "Y": 55, | |
| "Z": 56, | |
| "[": 57, | |
| "\\": 58, | |
| "]": 59, | |
| "_": 60, | |
| "`": 61, | |
| "a": 62, | |
| "b": 63, | |
| "c": 64, | |
| "d": 65, | |
| "e": 66, | |
| "f": 67, | |
| "g": 68, | |
| "h": 69, | |
| "i": 70, | |
| "j": 71, | |
| "k": 72, | |
| "l": 73, | |
| "m": 74, | |
| "n": 75, | |
| "o": 76, | |
| "p": 77, | |
| "q": 78, | |
| "r": 79, | |
| "s": 80, | |
| "t": 81, | |
| "u": 82, | |
| "v": 83, | |
| "w": 84, | |
| "x": 85, | |
| "y": 86, | |
| "z": 87, | |
| "|": 88, | |
| "~": 89, | |
| "¡": 90, | |
| "¢": 91, | |
| "£": 92, | |
| "¤": 93, | |
| "¥": 94, | |
| "¦": 95, | |
| "§": 96, | |
| "¨": 97, | |
| "©": 98, | |
| "ª": 99, | |
| "«": 100, | |
| "¬": 101, | |
| "®": 102, | |
| "¯": 103, | |
| "°": 104, | |
| "±": 105, | |
| "²": 106, | |
| "³": 107, | |
| "µ": 108, | |
| "¶": 109, | |
| "·": 110, | |
| "¸": 111, | |
| "¹": 112, | |
| "¼": 113, | |
| "½": 114, | |
| "¾": 115, | |
| "¿": 116, | |
| "Â": 117, | |
| "Ã": 118, | |
| "Ë": 119, | |
| "à": 120, | |
| "â": 121, | |
| "Ġ": 122, | |
| "Ģ": 123, | |
| "ģ": 124, | |
| "Ĥ": 125, | |
| "ĥ": 126, | |
| "Ħ": 127, | |
| "ħ": 128, | |
| "Ĩ": 129, | |
| "ĩ": 130, | |
| "Ī": 131, | |
| "ī": 132, | |
| "Ĭ": 133, | |
| "ĭ": 134, | |
| "Į": 135, | |
| "į": 136, | |
| "ı": 137, | |
| "IJ": 138, | |
| "ij": 139, | |
| "Ĵ": 140, | |
| "ĵ": 141, | |
| "Ķ": 142, | |
| "ķ": 143, | |
| "ĸ": 144, | |
| "Ĺ": 145, | |
| "ĺ": 146, | |
| "Ļ": 147, | |
| "ļ": 148, | |
| "Ľ": 149, | |
| "ľ": 150, | |
| "Ŀ": 151, | |
| "ŀ": 152, | |
| "Ł": 153, | |
| "ł": 154, | |
| "Ń": 155, | |
| "à¤": 156, | |
| "à¥": 157, | |
| "à¦": 158, | |
| "à¨": 159, | |
| "âĢ": 160, | |
| "à§": 161, | |
| "à©": 162, | |
| "s>": 163, | |
| "<\\": 164, | |
| "<p": 165, | |
| "ad": 166, | |
| "°": 167, | |
| "²": 168, | |
| "á": 169, | |
| "è": 170, | |
| "é": 171, | |
| "÷": 172, | |
| "ÃĹ": 173, | |
| "Ëļ": 174, | |
| "âĪ": 175, | |
| "ड": 176, | |
| "ढ": 177, | |
| "ण": 178, | |
| "त": 179, | |
| "थ": 180, | |
| "द": 181, | |
| "ध": 182, | |
| "न": 183, | |
| "प": 184, | |
| "फ": 185, | |
| "ब": 186, | |
| "म": 187, | |
| "य": 188, | |
| "र": 189, | |
| "ल": 190, | |
| "ळ": 191, | |
| "व": 192, | |
| "श": 193, | |
| "ष": 194, | |
| "स": 195, | |
| "ह": 196, | |
| "़": 197, | |
| "ऽ": 198, | |
| "ा": 199, | |
| "ि": 200, | |
| "à¤ģ": 201, | |
| "à¤Ĥ": 202, | |
| "à¤ĥ": 203, | |
| "à¤ħ": 204, | |
| "à¤Ĩ": 205, | |
| "à¤ĩ": 206, | |
| "à¤Ī": 207, | |
| "à¤ī": 208, | |
| "à¤Ĭ": 209, | |
| "à¤ĭ": 210, | |
| "à¤į": 211, | |
| "à¤ı": 212, | |
| "à¤IJ": 213, | |
| "à¤ij": 214, | |
| "à¤ĵ": 215, | |
| "à¤Ķ": 216, | |
| "à¤ķ": 217, | |
| "à¤ĸ": 218, | |
| "à¤Ĺ": 219, | |
| "à¤ĺ": 220, | |
| "à¤Ļ": 221, | |
| "à¤ļ": 222, | |
| "à¤Ľ": 223, | |
| "à¤ľ": 224, | |
| "à¤Ŀ": 225, | |
| "à¤ŀ": 226, | |
| "à¤Ł": 227, | |
| "à¤ł": 228, | |
| "à¤Ń": 229, | |
| "।": 230, | |
| "॥": 231, | |
| "०": 232, | |
| "१": 233, | |
| "२": 234, | |
| "३": 235, | |
| "४": 236, | |
| "५": 237, | |
| "६": 238, | |
| "८": 239, | |
| "९": 240, | |
| "à¥Ģ": 241, | |
| "à¥ģ": 242, | |
| "à¥Ĥ": 243, | |
| "à¥ĥ": 244, | |
| "à¥Ħ": 245, | |
| "à¥ħ": 246, | |
| "à¥ĩ": 247, | |
| "à¥Ī": 248, | |
| "à¥ī": 249, | |
| "à¥Ĭ": 250, | |
| "à¥ĭ": 251, | |
| "à¥Į": 252, | |
| "à¥į": 253, | |
| "à¥IJ": 254, | |
| "à¥ĺ": 255, | |
| "à¥Ļ": 256, | |
| "à¥ļ": 257, | |
| "à¥Ľ": 258, | |
| "à¥ľ": 259, | |
| "à¥Ŀ": 260, | |
| "à¥ŀ": 261, | |
| "à¥Ł": 262, | |
| "à¥ł": 263, | |
| "à¥Ń": 264, | |
| "ত": 265, | |
| "থ": 266, | |
| "ন": 267, | |
| "প": 268, | |
| "ব": 269, | |
| "ম": 270, | |
| "য": 271, | |
| "ল": 272, | |
| "স": 273, | |
| "হ": 274, | |
| "়": 275, | |
| "া": 276, | |
| "ি": 277, | |
| "à¦Ĩ": 278, | |
| "à¦ĩ": 279, | |
| "à¦ı": 280, | |
| "à¦ķ": 281, | |
| "à¦Ĺ": 282, | |
| "à¦ļ": 283, | |
| "à¦Ľ": 284, | |
| "à¦ľ": 285, | |
| "à¦ł": 286, | |
| "ਤ": 287, | |
| "ਦ": 288, | |
| "ਨ": 289, | |
| "ਪ": 290, | |
| "ਬ": 291, | |
| "ਮ": 292, | |
| "ਲ": 293, | |
| "ਵ": 294, | |
| "ਸ਼": 295, | |
| "ਸ": 296, | |
| "ਹ": 297, | |
| "਼": 298, | |
| "ਾ": 299, | |
| "ਿ": 300, | |
| "à¨ħ": 301, | |
| "à¨Ĩ": 302, | |
| "à¨ī": 303, | |
| "à¨ķ": 304, | |
| "à¨ĸ": 305, | |
| "à¨ļ": 306, | |
| "âĢ¦": 307, | |
| "âĢĮ": 308, | |
| "âĢį": 309, | |
| "âĢĵ": 310, | |
| "âĢĺ": 311, | |
| "âĢĻ": 312, | |
| "âĢľ": 313, | |
| "âĢĿ": 314, | |
| "ৰ": 315, | |
| "ৱ": 316, | |
| "à§Ī": 317, | |
| "à§ĭ": 318, | |
| "à§į": 319, | |
| "à§Ł": 320, | |
| "à©°": 321, | |
| "ੱ": 322, | |
| "à©ģ": 323, | |
| "à©Ĥ": 324, | |
| "à©ĩ": 325, | |
| "à©Ī": 326, | |
| "<pad": 327, | |
| "âĪĴ": 328 | |
| }, | |
| "merges": [ | |
| "à ¤", | |
| "à ¥", | |
| "à ¦", | |
| "à ¨", | |
| "â Ģ", | |
| "à §", | |
| "à ©", | |
| "s >", | |
| "< \\", | |
| "< p", | |
| "< s>", | |
| "a d", | |
| "Â °", | |
| "Â ²", | |
| "Ã ¡", | |
| "Ã ¨", | |
| "Ã ©", | |
| "Ã ·", | |
| "Ã Ĺ", | |
| "Ë ļ", | |
| "â Ī", | |
| "ठ¡", | |
| "ठ¢", | |
| "ठ£", | |
| "ठ¤", | |
| "ठ¥", | |
| "ठ¦", | |
| "ठ§", | |
| "ठ¨", | |
| "ठª", | |
| "ठ«", | |
| "ठ¬", | |
| "ठ®", | |
| "ठ¯", | |
| "ठ°", | |
| "ठ²", | |
| "ठ³", | |
| "ठµ", | |
| "ठ¶", | |
| "ठ·", | |
| "ठ¸", | |
| "ठ¹", | |
| "ठ¼", | |
| "ठ½", | |
| "ठ¾", | |
| "ठ¿", | |
| "ठģ", | |
| "ठĤ", | |
| "ठĥ", | |
| "ठħ", | |
| "ठĨ", | |
| "ठĩ", | |
| "ठĪ", | |
| "ठī", | |
| "ठĬ", | |
| "ठĭ", | |
| "ठį", | |
| "ठı", | |
| "ठIJ", | |
| "ठij", | |
| "ठĵ", | |
| "ठĶ", | |
| "ठķ", | |
| "ठĸ", | |
| "ठĹ", | |
| "ठĺ", | |
| "ठĻ", | |
| "ठļ", | |
| "ठĽ", | |
| "ठľ", | |
| "ठĿ", | |
| "ठŀ", | |
| "ठŁ", | |
| "ठł", | |
| "ठŃ", | |
| "ॠ¤", | |
| "ॠ¥", | |
| "ॠ¦", | |
| "ॠ§", | |
| "ॠ¨", | |
| "ॠ©", | |
| "ॠª", | |
| "ॠ«", | |
| "ॠ¬", | |
| "ॠ®", | |
| "ॠ¯", | |
| "ॠĢ", | |
| "ॠģ", | |
| "ॠĤ", | |
| "ॠĥ", | |
| "ॠĦ", | |
| "ॠħ", | |
| "ॠĩ", | |
| "ॠĪ", | |
| "ॠī", | |
| "ॠĬ", | |
| "ॠĭ", | |
| "ॠĮ", | |
| "ॠį", | |
| "ॠIJ", | |
| "ॠĺ", | |
| "ॠĻ", | |
| "ॠļ", | |
| "ॠĽ", | |
| "ॠľ", | |
| "ॠĿ", | |
| "ॠŀ", | |
| "ॠŁ", | |
| "ॠł", | |
| "ॠŃ", | |
| "ঠ¤", | |
| "ঠ¥", | |
| "ঠ¨", | |
| "ঠª", | |
| "ঠ¬", | |
| "ঠ®", | |
| "ঠ¯", | |
| "ঠ²", | |
| "ঠ¸", | |
| "ঠ¹", | |
| "ঠ¼", | |
| "ঠ¾", | |
| "ঠ¿", | |
| "ঠĨ", | |
| "ঠĩ", | |
| "ঠı", | |
| "ঠķ", | |
| "ঠĹ", | |
| "ঠļ", | |
| "ঠĽ", | |
| "ঠľ", | |
| "ঠł", | |
| "ਠ¤", | |
| "ਠ¦", | |
| "ਠ¨", | |
| "ਠª", | |
| "ਠ¬", | |
| "ਠ®", | |
| "ਠ²", | |
| "ਠµ", | |
| "ਠ¶", | |
| "ਠ¸", | |
| "ਠ¹", | |
| "ਠ¼", | |
| "ਠ¾", | |
| "ਠ¿", | |
| "ਠħ", | |
| "ਠĨ", | |
| "ਠī", | |
| "ਠķ", | |
| "ਠĸ", | |
| "ਠļ", | |
| "âĢ ¦", | |
| "âĢ Į", | |
| "âĢ į", | |
| "âĢ ĵ", | |
| "âĢ ĺ", | |
| "âĢ Ļ", | |
| "âĢ ľ", | |
| "âĢ Ŀ", | |
| "ৠ°", | |
| "ৠ±", | |
| "ৠĪ", | |
| "ৠĭ", | |
| "ৠį", | |
| "ৠŁ", | |
| "à© °", | |
| "à© ±", | |
| "à© ģ", | |
| "à© Ĥ", | |
| "à© ĩ", | |
| "à© Ī", | |
| "<\\ s>", | |
| "<p ad", | |
| "âĪ Ĵ", | |
| "<pad >" | |
| ] | |
| } | |
| } |