tokenizer/extension_report.json

{
  "base_vocab_size": 2454,
  "new_vocab_size": 2698,
  "added_tokens_count": 244,
  "added_tokens": [
    "ሀ",
    "ሁ",
    "ሂ",
    "ሃ",
    "ሄ",
    "ህ",
    "ሆ",
    "ለ",
    "ሉ",
    "ሊ",
    "ላ",
    "ሌ",
    "ል",
    "ሎ",
    "ሏ",
    "ሗ",
    "መ",
    "ሙ",
    "ሚ",
    "ማ",
    "ሜ",
    "ም",
    "ሞ",
    "ሟ",
    "ሧ",
    "ረ",
    "ሩ",
    "ሪ",
    "ራ",
    "ሬ",
    "ር",
    "ሮ",
    "ሯ",
    "ሰ",
    "ሱ",
    "ሲ",
    "ሳ",
    "ሴ",
    "ስ",
    "ሶ",
    "ሷ",
    "ሸ",
    "ሹ",
    "ሺ",
    "ሻ",
    "ሼ",
    "ሽ",
    "ሾ",
    "ሿ",
    "ቀ",
    "ቁ",
    "ቂ",
    "ቃ",
    "ቄ",
    "ቅ",
    "ቆ",
    "ቈ",
    "ቊ",
    "ቋ",
    "ቍ",
    "በ",
    "ቡ",
    "ቢ",
    "ባ",
    "ቤ",
    "ብ",
    "ቦ",
    "ቧ",
    "ቨ",
    "ቩ",
    "ቪ",
    "ቫ",
    "ቬ",
    "ቭ",
    "ቮ",
    "ቯ",
    "ተ",
    "ቱ",
    "ቲ",
    "ታ",
    "ቴ",
    "ት",
    "ቶ",
    "ቷ",
    "ቸ",
    "ቹ",
    "ቺ",
    "ቻ",
    "ቼ",
    "ች",
    "ቾ",
    "ቿ",
    "ነ",
    "ኑ",
    "ኒ",
    "ና",
    "ኔ",
    "ን",
    "ኖ",
    "ኗ",
    "ኘ",
    "ኙ",
    "ኚ",
    "ኛ",
    "ኜ",
    "ኝ",
    "ኞ",
    "ኟ",
    "አ",
    "ኡ",
    "ኢ",
    "ኣ",
    "ኤ",
    "እ",
    "ኦ",
    "ኧ",
    "ከ",
    "ኩ",
    "ኪ",
    "ካ",
    "ኬ",
    "ክ",
    "ኮ",
    "ኰ",
    "ኲ",
    "ኳ",
    "ኴ",
    "ኵ",
    "ኸ",
    "ኹ",
    "ኻ",
    "ኼ",
    "ኽ",
    "ኾ",
    "ዃ",
    "ወ",
    "ዉ",
    "ዊ",
    "ዋ",
    "ዌ",
    "ው",
    "ዎ",
    "ዏ",
    "ዘ",
    "ዙ",
    "ዚ",
    "ዛ",
    "ዜ",
    "ዝ",
    "ዞ",
    "ዟ",
    "ዠ",
    "ዡ",
    "ዢ",
    "ዣ",
    "ዤ",
    "ዥ",
    "ዦ",
    "ዧ",
    "የ",
    "ዩ",
    "ዪ",
    "ያ",
    "ዬ",
    "ይ",
    "ዮ",
    "ዯ",
    "ደ",
    "ዱ",
    "ዲ",
    "ዳ",
    "ዴ",
    "ድ",
    "ዶ",
    "ዷ",
    "ዽ",
    "ጀ",
    "ጁ",
    "ጂ",
    "ጃ",
    "ጄ",
    "ጅ",
    "ጆ",
    "ጇ",
    "ገ",
    "ጉ",
    "ጊ",
    "ጋ",
    "ጌ",
    "ግ",
    "ጎ",
    "ጏ",
    "ጐ",
    "ጓ",
    "ጕ",
    "ጠ",
    "ጡ",
    "ጢ",
    "ጣ",
    "ጤ",
    "ጥ",
    "ጦ",
    "ጧ",
    "ጨ",
    "ጩ",
    "ጪ",
    "ጫ",
    "ጬ",
    "ጭ",
    "ጮ",
    "ጯ",
    "ጰ",
    "ጲ",
    "ጳ",
    "ጴ",
    "ጵ",
    "ጶ",
    "ጸ",
    "ጹ",
    "ጺ",
    "ጻ",
    "ጼ",
    "ጽ",
    "ጾ",
    "ጿ",
    "ፈ",
    "ፉ",
    "ፊ",
    "ፋ",
    "ፌ",
    "ፍ",
    "ፎ",
    "ፏ",
    "ፐ",
    "ፑ",
    "ፒ",
    "ፓ",
    "ፔ",
    "ፕ",
    "ፖ",
    "።",
    "፣",
    "፤",
    "፟"
  ],
  "sentences_checked": 339,
  "unknown_token_id": 1,
  "tokenizer_path": "/workspace/runs/chatterbox-am-oss-v1/tokenizer/tokenizer.json"
}