tokenizer_indic.json.manifest.json

{
  "languages": [
    "ml"
  ],
  "added_token_count": 119,
  "final_vocab_size": 2573,
  "added_tokens": [
    "[ml]",
    "ഀ",
    "ഁ",
    "ം",
    "ഃ",
    "ഄ",
    "അ",
    "ആ",
    "ഇ",
    "ഈ",
    "ഉ",
    "ഊ",
    "ഋ",
    "ഌ",
    "എ",
    "ഏ",
    "ഐ",
    "ഒ",
    "ഓ",
    "ഔ",
    "ക",
    "ഖ",
    "ഗ",
    "ഘ",
    "ങ",
    "ച",
    "ഛ",
    "ജ",
    "ഝ",
    "ഞ",
    "ട",
    "ഠ",
    "ഡ",
    "ഢ",
    "ണ",
    "ത",
    "ഥ",
    "ദ",
    "ധ",
    "ന",
    "ഩ",
    "പ",
    "ഫ",
    "ബ",
    "ഭ",
    "മ",
    "യ",
    "ര",
    "റ",
    "ല",
    "ള",
    "ഴ",
    "വ",
    "ശ",
    "ഷ",
    "സ",
    "ഹ",
    "ഺ",
    "഻",
    "഼",
    "ഽ",
    "ാ",
    "ി",
    "ീ",
    "ു",
    "ൂ",
    "ൃ",
    "ൄ",
    "െ",
    "േ",
    "ൈ",
    "ൊ",
    "ോ",
    "ൌ",
    "്",
    "ൎ",
    "൏",
    "ൔ",
    "ൕ",
    "ൖ",
    "ൗ",
    "൘",
    "൙",
    "൚",
    "൛",
    "൜",
    "൝",
    "൞",
    "ൟ",
    "ൠ",
    "ൡ",
    "ൢ",
    "ൣ",
    "൦",
    "൧",
    "൨",
    "൩",
    "൪",
    "൫",
    "൬",
    "൭",
    "൮",
    "൯",
    "൰",
    "൱",
    "൲",
    "൳",
    "൴",
    "൵",
    "൶",
    "൷",
    "൸",
    "൹",
    "ൺ",
    "ൻ",
    "ർ",
    "ൽ",
    "ൾ",
    "ൿ"
  ]
}