| { | |
| "model_name": "Supernova-Nepali-Tokenizer-V3-Absolute-Power", | |
| "version": "3.0.0", | |
| "vocab": { | |
| "0": "\u0000", | |
| "1": "\u0001", | |
| "2": "\u0002", | |
| "3": "\u0003", | |
| "4": "\u0004", | |
| "5": "\u0005", | |
| "6": "\u0006", | |
| "7": "\u0007", | |
| "8": "\b", | |
| "9": "\t", | |
| "10": "\n", | |
| "11": "\u000b", | |
| "12": "\f", | |
| "13": "\r", | |
| "14": "\u000e", | |
| "15": "\u000f", | |
| "16": "\u0010", | |
| "17": "\u0011", | |
| "18": "\u0012", | |
| "19": "\u0013", | |
| "20": "\u0014", | |
| "21": "\u0015", | |
| "22": "\u0016", | |
| "23": "\u0017", | |
| "24": "\u0018", | |
| "25": "\u0019", | |
| "26": "\u001a", | |
| "27": "\u001b", | |
| "28": "\u001c", | |
| "29": "\u001d", | |
| "30": "\u001e", | |
| "31": "\u001f", | |
| "32": " ", | |
| "33": "!", | |
| "34": "\"", | |
| "35": "#", | |
| "36": "$", | |
| "37": "%", | |
| "38": "&", | |
| "39": "'", | |
| "40": "(", | |
| "41": ")", | |
| "42": "*", | |
| "43": "+", | |
| "44": ",", | |
| "45": "-", | |
| "46": ".", | |
| "47": "/", | |
| "48": "0", | |
| "49": "1", | |
| "50": "2", | |
| "51": "3", | |
| "52": "4", | |
| "53": "5", | |
| "54": "6", | |
| "55": "7", | |
| "56": "8", | |
| "57": "9", | |
| "58": ":", | |
| "59": ";", | |
| "60": "<", | |
| "61": "=", | |
| "62": ">", | |
| "63": "?", | |
| "64": "@", | |
| "65": "A", | |
| "66": "B", | |
| "67": "C", | |
| "68": "D", | |
| "69": "E", | |
| "70": "F", | |
| "71": "G", | |
| "72": "H", | |
| "73": "I", | |
| "74": "J", | |
| "75": "K", | |
| "76": "L", | |
| "77": "M", | |
| "78": "N", | |
| "79": "O", | |
| "80": "P", | |
| "81": "Q", | |
| "82": "R", | |
| "83": "S", | |
| "84": "T", | |
| "85": "U", | |
| "86": "V", | |
| "87": "W", | |
| "88": "X", | |
| "89": "Y", | |
| "90": "Z", | |
| "91": "[", | |
| "92": "\\", | |
| "93": "]", | |
| "94": "^", | |
| "95": "_", | |
| "96": "`", | |
| "97": "a", | |
| "98": "b", | |
| "99": "c", | |
| "100": "d", | |
| "101": "e", | |
| "102": "f", | |
| "103": "g", | |
| "104": "h", | |
| "105": "i", | |
| "106": "j", | |
| "107": "k", | |
| "108": "l", | |
| "109": "m", | |
| "110": "n", | |
| "111": "o", | |
| "112": "p", | |
| "113": "q", | |
| "114": "r", | |
| "115": "s", | |
| "116": "t", | |
| "117": "u", | |
| "118": "v", | |
| "119": "w", | |
| "120": "x", | |
| "121": "y", | |
| "122": "z", | |
| "123": "{", | |
| "124": "|", | |
| "125": "}", | |
| "126": "~", | |
| "127": "", | |
| "128": "", | |
| "129": "", | |
| "130": "", | |
| "131": "", | |
| "132": "", | |
| "133": "", | |
| "134": "", | |
| "135": "", | |
| "136": "", | |
| "137": "", | |
| "138": "", | |
| "139": "", | |
| "140": "", | |
| "141": "", | |
| "142": "", | |
| "143": "", | |
| "144": "", | |
| "145": "", | |
| "146": "", | |
| "147": "", | |
| "148": "", | |
| "149": "", | |
| "150": "", | |
| "151": "", | |
| "152": "", | |
| "153": "", | |
| "154": "", | |
| "155": "", | |
| "156": "", | |
| "157": "", | |
| "158": "", | |
| "159": "", | |
| "160": "", | |
| "161": "", | |
| "162": "", | |
| "163": "", | |
| "164": "", | |
| "165": "", | |
| "166": "", | |
| "167": "", | |
| "168": "", | |
| "169": "", | |
| "170": "", | |
| "171": "", | |
| "172": "", | |
| "173": "", | |
| "174": "", | |
| "175": "", | |
| "176": "", | |
| "177": "", | |
| "178": "", | |
| "179": "", | |
| "180": "", | |
| "181": "", | |
| "182": "", | |
| "183": "", | |
| "184": "", | |
| "185": "", | |
| "186": "", | |
| "187": "", | |
| "188": "", | |
| "189": "", | |
| "190": "", | |
| "191": "", | |
| "192": "", | |
| "193": "", | |
| "194": "", | |
| "195": "", | |
| "196": "", | |
| "197": "", | |
| "198": "", | |
| "199": "", | |
| "200": "", | |
| "201": "", | |
| "202": "", | |
| "203": "", | |
| "204": "", | |
| "205": "", | |
| "206": "", | |
| "207": "", | |
| "208": "", | |
| "209": "", | |
| "210": "", | |
| "211": "", | |
| "212": "", | |
| "213": "", | |
| "214": "", | |
| "215": "", | |
| "216": "", | |
| "217": "", | |
| "218": "", | |
| "219": "", | |
| "220": "", | |
| "221": "", | |
| "222": "", | |
| "223": "", | |
| "224": "", | |
| "225": "", | |
| "226": "", | |
| "227": "", | |
| "228": "", | |
| "229": "", | |
| "230": "", | |
| "231": "", | |
| "232": "", | |
| "233": "", | |
| "234": "", | |
| "235": "", | |
| "236": "", | |
| "237": "", | |
| "238": "", | |
| "239": "", | |
| "240": "", | |
| "241": "", | |
| "242": "", | |
| "243": "", | |
| "244": "", | |
| "245": "", | |
| "246": "", | |
| "247": "", | |
| "248": "", | |
| "249": "", | |
| "250": "", | |
| "251": "", | |
| "252": "", | |
| "253": "", | |
| "254": "", | |
| "255": "", | |
| "256": "", | |
| "257": "", | |
| "258": "ा", | |
| "259": "न", | |
| "260": "े", | |
| "261": "े", | |
| "262": "ा", | |
| "263": "्", | |
| "264": "स", | |
| "265": "र", | |
| "266": "क", | |
| "267": "ने", | |
| "268": "नेप", | |
| "269": "नेपा", | |
| "270": "नेपाल", | |
| "271": "द", | |
| "272": "ग", | |
| "273": "ो", | |
| "274": "।", | |
| "275": "ं", | |
| "276": "ु", | |
| "277": "ि", | |
| "278": "ी", | |
| "279": "त", | |
| "280": "ति", | |
| "281": "गर", | |
| "282": "ए", | |
| "283": "एक", | |
| "284": "सु", | |
| "285": "सुन", | |
| "286": "सुन्", | |
| "287": "सुन्द", | |
| "288": "सुन्दर", | |
| "289": "दे", | |
| "290": "देश", | |
| "291": "ह", | |
| "292": "हो", | |
| "293": "हो।", | |
| "294": "नेपाली", | |
| "295": "भ", | |
| "296": "भा", | |
| "297": "भाष", | |
| "298": "भाषा", | |
| "299": "सं", | |
| "300": "संस", | |
| "301": "संस्", | |
| "302": "संस्क", | |
| "303": "संस्क", | |
| "304": "संस्कृ", | |
| "305": "संस्कृति", | |
| "306": "संस्कृतिक", | |
| "307": "संस्कृतिको", | |
| "308": "ज", | |
| "309": "जग", | |
| "310": "जगे", | |
| "311": "जगेर", | |
| "312": "जगेर्", | |
| "313": "जगेर्न", | |
| "314": "जगेर्ना", | |
| "315": "गर", | |
| "316": "गरौ", | |
| "317": "गरौं", | |
| "318": "गरौं।", | |
| "319": "गरौं।नेपाल", | |
| "320": "म", | |
| "321": "ाथ", | |
| "322": "्", | |
| "323": "प", | |
| "324": "सगर", | |
| "325": "सगरम", | |
| "326": "सगरमाथ", | |
| "327": "सगरमाथा", | |
| "328": "ल", | |
| "329": "लु", | |
| "330": "लुम", | |
| "331": "लुम्", | |
| "332": "लुम्ब", | |
| "333": "लुम्बि", | |
| "334": "लुम्बिन", | |
| "335": "लुम्बिनी", | |
| "336": "प", | |
| "337": "पश", | |
| "338": "पशु", | |
| "339": "पशुप", | |
| "340": "पशुपति", | |
| "341": "पशुपतिन", | |
| "342": "पशुपतिनाथ", | |
| "343": "ब", | |
| "344": "बु", | |
| "345": "बुद", | |
| "346": "बुद्", | |
| "347": "बुद्ध" | |
| }, | |
| "merges": { | |
| "224,164": 256, | |
| "224,165": 257, | |
| "256,190": 258, | |
| "256,168": 259, | |
| "257,135": 260, | |
| "260,256": 261, | |
| "258,256": 262, | |
| "257,141": 263, | |
| "256,184": 264, | |
| "256,176": 265, | |
| "256,149": 266, | |
| "259,261": 267, | |
| "267,170": 268, | |
| "268,262": 269, | |
| "269,178": 270, | |
| "256,166": 271, | |
| "256,151": 272, | |
| "257,139": 273, | |
| "257,164": 274, | |
| "256,130": 275, | |
| "257,129": 276, | |
| "256,191": 277, | |
| "257,128": 278, | |
| "256,164": 279, | |
| "279,277": 280, | |
| "272,265": 281, | |
| "256,143": 282, | |
| "282,266": 283, | |
| "264,276": 284, | |
| "284,259": 285, | |
| "285,263": 286, | |
| "286,271": 287, | |
| "287,265": 288, | |
| "271,261": 289, | |
| "289,182": 290, | |
| "256,185": 291, | |
| "291,273": 292, | |
| "292,274": 293, | |
| "270,278": 294, | |
| "256,173": 295, | |
| "295,262": 296, | |
| "296,183": 297, | |
| "297,258": 298, | |
| "264,275": 299, | |
| "299,264": 300, | |
| "300,263": 301, | |
| "301,266": 302, | |
| "302,257": 303, | |
| "303,131": 304, | |
| "304,280": 305, | |
| "305,266": 306, | |
| "306,273": 307, | |
| "256,156": 308, | |
| "308,272": 309, | |
| "309,261": 310, | |
| "310,176": 311, | |
| "311,263": 312, | |
| "312,259": 313, | |
| "313,258": 314, | |
| "281,257": 315, | |
| "315,140": 316, | |
| "316,275": 317, | |
| "317,274": 318, | |
| "318,270": 319, | |
| "256,174": 320, | |
| "262,165": 321, | |
| "263,256": 322, | |
| "256,170": 323, | |
| "264,281": 324, | |
| "324,320": 325, | |
| "325,321": 326, | |
| "326,258": 327, | |
| "256,178": 328, | |
| "328,276": 329, | |
| "329,320": 330, | |
| "330,322": 331, | |
| "331,172": 332, | |
| "332,277": 333, | |
| "333,259": 334, | |
| "334,278": 335, | |
| "323,256": 336, | |
| "336,182": 337, | |
| "337,276": 338, | |
| "338,323": 339, | |
| "339,280": 340, | |
| "340,259": 341, | |
| "341,321": 342, | |
| "256,172": 343, | |
| "343,276": 344, | |
| "344,271": 345, | |
| "345,322": 346, | |
| "346,167": 347 | |
| }, | |
| "architecture": "Trie-based Max-Match Priority Encoder" | |
| } |