Suchinthana
/

Extended-LLAMA-Si-Tokenizer

Model card Files Files and versions

Suchinthana commited on Sep 5, 2023

Commit

1a76a5d

·

1 Parent(s): 3d4db09

Upload tokenizer

Files changed (1) hide show

tokenizer.json +61 -1

tokenizer.json CHANGED Viewed

@@ -51188,7 +51188,67 @@
       "කා ර්ය",
       "ශි ල්",
       "ඇ ගේ",
-      "පරි ගණ"
     ]
   }
 }

       "කා ර්ය",
       "ශි ල්",
       "ඇ ගේ",
+      "පරි ගණ",
+      "a v",
+      "හො ඳ",
+      "වි වාහ",
+      "ට න්",
+      "ට ර්",
+      "පළ ා",
+      "අන ෙකු",
+      "නි ර්",
+      "සිය ලු",
+      "ංග ු",
+      "තොර තුරු",
+      "බා හිර",
+      "ලංක ාව",
+      "o v",
+      "වාර් තා",
+      "හ ය",
+      "යැ යි",
+      "පිහි ටා",
+      "යි ක",
+      "ාව ලිය",
+      "o s",
+      "ළ ිය",
+      "රාජ ධා",
+      "අනෙකු ත්",
+      "වි ෂ",
+      "තා න්‍ය",
+      "කු රු",
+      "කිර ීම්",
+      "මූ ලික",
+      "ද්‍ර ව්‍ය",
+      "බ ේ",
+      "අවස්ථ ාව",
+      "පි ලි",
+      "ගැ ට",
+      "ඉ ඩ",
+      "ක යා",
+      "3 0",
+      "ඇතැ ම්",
+      "නාට ්‍ය",
+      "වී ම්",
+      "ග්‍ර ා",
+      "ලි ංග",
+      "යො මු",
+      "ව ච",
+      "අ ර්ථ",
+      "ක්‍ර ියාව",
+      "ම ළ",
+      "ග නි",
+      "මඟ ින්",
+      "ලබ යි",
+      "ෙන් ම",
+      "wi th",
+      "නිරූප ණය",
+      "d i",
+      "ප්‍ර ිය",
+      "බ්‍රි තාන්‍ය",
+      "ර න්",
+      "උදා හර",
+      "පරි දි",
+      "පැහැ දි"
     ]
   }
 }