Upload tokenizer

tokenizer.json

@@ -50213,22 +50213,18 @@
       "ව ු",
       "ල ා",
       "ලෙ ස",
-      "i n",
       "ද ෙ",
-      "a n",
       "ප ැ",
       "ක් ෂ",
       "ප ු",
       "කි ර",
       "ය ට",
-      "e r",
       "ිය ා",
       "ස ම",
       "ත ්‍ර",
       "ට ්",
       "ස ේ",
       "ය න්",
-      "t h",
       "ව ල",
       "ග ැ",
       "1 9",
@@ -50240,7 +50236,6 @@
       "ය ෙන්",
       "සි න්",
       "ව ර්",
-      "o n",
       "මෙ ම",
       "්‍ය ා",
       "ක ළ",
@@ -50271,7 +50266,6 @@
       "ත ිය",
       "වි ශ",
       "ට ි",
-      "e s",
       "ස ම්",
       "න් ද",
       "න ැ",
@@ -50279,19 +50273,14 @@
       "ළ ි",
       "ාව ේ",
       "ත් ව",
-      "a l",
-      "a t",
       "දේ ශ",
-      "e n",
       "වි සින්",
       "ම ැ",
       "ල ය",
-      "o r",
       "ව ර",
       "සඳ හා",
       "න් ත",
       "ප ්",
-      "a r",
       "රා ජ",
       "වි ද",
       "ෙ හි",
@@ -50312,7 +50301,6 @@
       "ගැ න",
       "ෂ ්",
       "ණ ්",
-      "i s",
       "ව ත්",
       "ව ෙන",
       "පි ළි",
@@ -50323,7 +50311,6 @@
       "ම ය",
       "ල ේ",
       "ප ෙ",
-      "e d",
       "ච ි",
       "න්න ේ",
       "ර ෝ",
@@ -50335,7 +50322,6 @@
       "ස ර",
       "o f",
       "බ ැ",
-      "i c",
       "ශ්‍ර ී",
       "න ිය",
       "එ ය",
@@ -50373,7 +50359,6 @@
       "ති ක",
       "ර ූ",
       "ස මා",
-      "i t",
       "බ ො",
       "ව ්",
       "ග ත්",
@@ -50383,15 +50368,12 @@
       "ර ිය",
       "ලැ බ",
       "පා ල",
-      "a s",
       "ල් ල",
       "ග ු",
       "0 0",
-      "i on",
       "දි න",
       "හ ො",
       "සි දු",
-      "an d",
       "ග ා",
       "බ ඳ",
       "ල දී",
@@ -50408,7 +50390,6 @@
       "න ේ",
       "ළ ු",
       "ද ිය",
-      "r e",
       "වැ නි",
       "ය ො",
       "ච ා",
@@ -50440,7 +50421,6 @@
       "ග ය",
       "ව ශ",
       "ුව න්",
-      "in g",
       "එ ක",
       "ස ො",
       "ය නු",
@@ -50453,7 +50433,6 @@
       "ස න්",
       "ඳ ු",
       "කා ල",
-      "l e",
       "ං ශ",
       "ස ුව",
       "ද හ",
@@ -50472,15 +50451,12 @@
       "කිරීම ට",
       "ප හ",
       "ක ෘ",
-      "s t",
       "බ ්",
       "වශ යෙන්",
       "ත ේ",
       "පිළි බඳ",
       "ත ය",
       "ති බ",
-      "o m",
-      "o u",
       "ේ ෂ",
       "ල ු",
       "ධා න",
@@ -50520,7 +50496,6 @@
       "රාජ ්‍ය",
       "t o",
       "ව ය",
-      "c h",
       "ඔහු ගේ",
       "හි ර",
       "ග ණ",
@@ -50538,11 +50513,9 @@
       "ද ුව",
       "පැ ව",
       "මෙ හි",
-      "en t",
       "ලි ක",
       "පා ද",
       "සි ං",
-      "a m",
       "ධ ි",
       "න මු",
       "ද ෙන",
@@ -50559,7 +50532,6 @@
       "ම් බ",
       "අ ය",
       "පි ට",
-      "o l",
       "ම ක්",
       "විශ ්",
       "ම න්",
@@ -50569,14 +50541,12 @@
       "ල බ",
       "බව ට",
       "ක ෝ",
-      "e l",
       "න ට",
       "ප ය",
       "සා මා",
       "ම ට",
       "ප්‍ර ධාන",
       "ප්‍ර ා",
-      "i l",
       "තු ල",
       "චිත්‍ර පට",
       "ස ෙ",
@@ -50605,7 +50575,6 @@
       "‍ ්‍ර",
       "බ ෝ",
       "භාවි තා",
-      "h e",
       "බ ෙ",
       "වර් ධ",
       "සැ ල",
@@ -50646,7 +50615,6 @@
       "ල ක්",
       "සම ග",
       "ඉ න්",
-      "at ion",
       "ී ම්",
       "ණ් ඩා",
       "ප්‍ර මා",
@@ -50654,19 +50622,14 @@
       "ඉ හ",
       "අධ ි",
       "ප ිය",
-      "e t",
       "නය ට",
       "අ ප",
       "ව ්‍යා",
       "ඒ වා",
       "කර නු",
-      "r i",
-      "a d",
-      "r o",
       "ග න්නා",
       "ත ො",
       "ති හා",
-      "c t",
       "ාව න්",
       "19 9",
       "න ෙ",
@@ -50704,7 +50667,6 @@
       "නි ෂ්",
       "කර ණ",
       "ෑ ම",
-      "u s",
       "භා ෂ",
       "රජ ු",
       "ණය ක්",
@@ -50739,14 +50701,11 @@
       "විවි ධ",
       "ද ීම",
       "පු ද්",
-      "u r",
       "අධ ්‍ය",
       "වර් ෂ",
-      "is t",
       "ක්ෂ ණ",
       "ම ධ්‍ය",
       "පැ මි",
-      "i v",
       "ව ෙන්",
       "ට් ට",
       "අ ඩ",
@@ -50765,15 +50724,11 @@
       "ෆ ්",
       "ශ ්‍ය",
       "තු න්",
-      "t er",
       "මි ���ි",
       "ව ෘ",
       "තු ර",
       "ක ී",
-      "a g",
-      "i r",
       "ක ණ්ඩා",
-      "d e",
       "ත නය",
       "පූ ර්",
       "ී න",
@@ -50800,12 +50755,9 @@
       "රි ක",
       "හැ ර",
       "පව ති",
-      "i g",
-      "u n",
       "යෙ කු",
       "වා හ",
       "වි ත",
-      "c e",
       "විද්‍ය ාව",
       "අව ස්ථ",
       "I n",
@@ -50813,7 +50765,6 @@
       "ඉ තිහා",
       "හැ ඳින්",
       "ව නු",
-      "i a",
       "කිරීම ේ",
       "1 5",
       "ප ෘ",
@@ -50831,10 +50782,8 @@
       "උ ත්",
       "ඇ ම",
       "ක්ෂ ණය",
-      "er s",
       "ප ද්ධ",
       "පාල නය",
-      "e m",
       "කළ ේය",
       "අ යි",
       "අ ග",
@@ -50851,13 +50800,11 @@
       "ඇ ත්තේ",
       "මී ට",
       "පැ හැ",
-      "r a",
       "වි ස්",
       "ති බු",
       "ප න්",
       "ව ුව",
       "බ ට",
-      "i m",
       "අව ශ්‍ය",
       "අය ත්",
       "නැ වත",
@@ -50870,9 +50817,7 @@
       "සිය ව",
       "1 6",
       "බව යි",
-      "u l",
       "වා ස",
-      "u m",
       "ද කුණු",
       "ත වත්",
       "ස්ථා නය",
@@ -50911,7 +50856,6 @@
       "තර ග",
       "ත මා",
       "කි හි",
-      "a y",
       "නි ල",
       "්‍ ෂ",
       "ර යේ",
@@ -50941,22 +50885,17 @@
       "ශ ක්",
       "සඳ හන්",
       "මා ල",
-      "o w",
       "සම හර",
       "පැව ති",
       "තිබ ේ",
       "ආ ර්ථ",
       "බ ර්",
       "ප ක්ෂ",
-      "o p",
       "වෙන ත්",
       "ලෙ සින්",
-      "s e",
       "කෙ සේ",
       "ආර ක්ෂ",
       "ගී ත",
-      "l y",
-      "o t",
       "ට ෙ",
       "නා ට",
       "ග ුවන්",
@@ -50968,11 +50907,9 @@
       "ඔවු න්ගේ",
       "ප ුව",
       "ජ ේ",
-      "u t",
       "ල න්",
       "ධා නය",
       "ප ෝ",
-      "i d",
       "අ ම",
       "තු මා",
       "ක ථ",
@@ -50984,7 +50921,6 @@
       "ව න්",
       "ව ංශ",
       "සට හන්",
-      "a b",
       "දු ර",
       "මෙන් ම",
       "කෘ තිය",
@@ -51033,8 +50969,6 @@
       "ව ට",
       "ය න්න",
       "ප ල",
-      ") .",
-      "a p",
       "ය යි",
       "ස ර්",
       "ුව ට",
@@ -51060,7 +50994,6 @@
       "ශ ී",
       "ල ර්",
       "න් තු",
-      "o d",
       "19 5",
       "වරු න්",
       "නි රූප",
@@ -51093,7 +51026,6 @@
       "ඉදිරි පත්",
       "කොළ ඹ",
       "ස් වා",
-      "es t",
       "නිය ෝ",
       "නැ ත",
       "ප්‍රථ ම",
@@ -51115,11 +51047,9 @@
       "බ ී",
       "ලේ ඛ",
       "න් දු",
-      "o g",
       "ධි පති",
       "වා රි",
       "නුව ර",
-      "es s",
       "පැවැ ත්",
       "පාර්ලි මේ",
       "පා ර",
@@ -51127,7 +51057,6 @@
       "ක ඩ",
       "ල ද්",
       "ික ට්",
-      "h t",
       "බෞ ද්ධ",
       "වඩා ත්",
       "c om",
@@ -51139,7 +51068,6 @@
       "ක ූ",
       "පද්ධ තිය",
       "සු දු",
-      "c i",
       "ාව ෙන්",
       "හේතුව ෙන්",
       "ඉ ංග",
@@ -51173,7 +51101,6 @@
       "කළ ේ",
       "කොට ස්",
       "ප්‍රා දේශීය",
-      "t e",
       "නග ර",
       "p l",
       "රිකා නු",
@@ -51189,7 +51116,6 @@
       "ශි ල්",
       "ඇ ගේ",
       "පරි ගණ",
-      "a v",
       "හො ඳ",
       "වි වාහ",
       "ට න්",
@@ -51209,7 +51135,6 @@
       "පිහි ටා",
       "යි ක",
       "ාව ලිය",
-      "o s",
       "ළ ිය",
       "රාජ ධා",
       "අනෙකු ත්",
@@ -51355,7 +51280,6 @@
       "අ දා",
       "සි ර",
       "ඇතුළ ත්",
-      "p e",
       "ල ට",
       "රූපවාහි නී",
       "ම නා",
@@ -51364,7 +51288,6 @@
       "ගොඩ නැ",
       "ම ල්",
       "විද්‍යා ත්මක",
-      "at e",
       "පෙ ළ",
       "කර න්නේ",
       "ව්‍ය ව",
@@ -51378,7 +51301,6 @@
       "ප් ත",
       "පහ සු",
       "ය නය",
-      "ou r",
       "සා ධ",
       "නැ ගෙන",
       "ග නු",
@@ -51400,7 +51322,6 @@
       "කි සි",
       "පො ළ",
       "නො හැකි",
-      "a in",
       "බල න්න",
       "i es",
       "තු රුව",
@@ -51426,7 +51347,6 @@
       "ධ ිය",
       "නැ ති",
       "ස ෞ",
-      "al l",
       "ෂ් ට",
       "කෙ රු",
       "මා නය",
@@ -51438,7 +51358,6 @@
       "ති ර",
       "ජ ල",
       "න මින්",
-      "q u",
       "ත හ",
       "පාර්ලිමේ න්තු",
       "දෙක ක්",
@@ -51454,7 +51373,6 @@
       "ග ත්ත",
       "R e",
       "s h",
-      "u b",
       "නි ර",
       "ලි පි",
       "එක ක්",
@@ -51476,7 +51394,6 @@
       "වර්ධ න",
       "ලිංග ික",
       "අ දහස්",
-      "ar t",
       "පහ ත",
       "සා හි",
       "එ ස්",
@@ -51499,7 +51416,6 @@
       "ල ූ",
       "නි කුත්",
       "සංස් කෘ",
-      "an t",
       "ස ෙන",
       "කු ණ",
       "සං ගීත",
@@ -51557,7 +51473,6 @@
       "දර්ශ නය",
       "සංවි ධානය",
       "වි නාශ",
-      "i f",
       "ඉන්දිය ාවේ",
       "එ ල්",
       "තැ න්",
@@ -51622,7 +51537,6 @@
       "අන තුරුව",
       "ල ක",
       "වි හාර",
-      "in e",
       "| -",
       "අ ද",
       "න්‍ යා",
@@ -51657,7 +51571,368 @@
       "වේ ග",
       "ජන ප්‍රිය",
       "සට හ",
-      "තර ු"
+      "තර ු",
+      "▁ t",
+      "e r",
+      "i n",
+      "▁ a",
+      "e n",
+      "o n",
+      "▁t h",
+      "▁ th",
+      "e s",
+      "▁ s",
+      "▁ d",
+      "a t",
+      "o r",
+      "a n",
+      "▁ c",
+      "i s",
+      "r e",
+      "i t",
+      "▁t he",
+      "▁th e",
+      "▁ the",
+      "a r",
+      "l e",
+      "▁ w",
+      "▁ p",
+      "o u",
+      "a l",
+      "▁ f",
+      "▁ m",
+      "e d",
+      "▁ o",
+      "▁ b",
+      "o m",
+      "io n",
+      "i on",
+      "in g",
+      "i ng",
+      "i c",
+      "a s",
+      "e l",
+      "en t",
+      "e nt",
+      "▁i n",
+      "▁ in",
+      "▁ h",
+      "n d",
+      "e t",
+      "▁ l",
+      "▁ n",
+      "s t",
+      "▁t o",
+      "▁ to",
+      "c h",
+      "▁ I",
+      "r o",
+      "i l",
+      "▁o f",
+      "▁ of",
+      "d e",
+      "c t",
+      "▁ (",
+      "a m",
+      "▁ C",
+      "▁d e",
+      "▁ de",
+      "▁ S",
+      "▁ u",
+      "▁ A",
+      "▁ \\",
+      "▁ e",
+      "▁a nd",
+      "▁an d",
+      "▁ and",
+      "▁ T",
+      "o l",
+      "▁ v",
+      "i m",
+      "o t",
+      "a d",
+      "u t",
+      "▁ g",
+      "e m",
+      "u r",
+      "i d",
+      "▁ *",
+      "i g",
+      "r a",
+      "▁r e",
+      "▁ re",
+      "▁i s",
+      "▁ is",
+      "q u",
+      "o w",
+      "▁ M",
+      "es t",
+      "e st",
+      "▁ y",
+      "s e",
+      "v e",
+      "c e",
+      "i e",
+      "u n",
+      "▁ P",
+      "▁ B",
+      "a g",
+      "u l",
+      "▁ =",
+      "h e",
+      "en d",
+      "e nd",
+      "od e",
+      "o de",
+      "te r",
+      "t er",
+      "me nt",
+      "men t",
+      "m ent",
+      "o s",
+      "▁ D",
+      "i f",
+      "at ion",
+      "ati on",
+      "atio n",
+      "a tion",
+      "▁f or",
+      "▁fo r",
+      "▁ for",
+      "▁ r",
+      "▁ L",
+      "▁y ou",
+      "▁yo u",
+      "▁ you",
+      "▁b e",
+      "▁ be",
+      "l y",
+      "ve r",
+      "v er",
+      "a b",
+      "t e",
+      "▁i t",
+      "▁ it",
+      "▁o n",
+      "▁ on",
+      "r i",
+      "u s",
+      "▁ \"",
+      "▁w h",
+      "▁ wh",
+      "▁c on",
+      "▁co n",
+      "▁ con",
+      "▁ H",
+      "▁s t",
+      "▁ st",
+      "i r",
+      "▁ E",
+      "▁ F",
+      "c k",
+      "▁a n",
+      "▁ an",
+      "t h",
+      "e g",
+      "a y",
+      "it h",
+      "i th",
+      "▁ R",
+      "is t",
+      "i st",
+      "an d",
+      "a nd",
+      "▁t hat",
+      "▁th at",
+      "▁ that",
+      "▁a l",
+      "▁ al",
+      "▁ $",
+      "▁ #",
+      "o d",
+      "u m",
+      "▁ W",
+      "h t",
+      "co de",
+      "cod e",
+      "c ode",
+      "▁ G",
+      "at e",
+      "a te",
+      "es s",
+      "e ss",
+      "▁ N",
+      "er e",
+      "e re",
+      "p p",
+      "▁a s",
+      "▁ as",
+      "▁s e",
+      "▁ se",
+      "▁p ro",
+      "▁pr o",
+      "▁ pro",
+      "▁w ith",
+      "▁wit h",
+      "▁ with",
+      "p e",
+      "▁ k",
+      "er s",
+      "e rs",
+      "p t",
+      ") ;",
+      "l o",
+      "▁c om",
+      "▁co m",
+      "▁ com",
+      "am e",
+      "a me",
+      "▁ `",
+      "▁C om",
+      "▁Co m",
+      "▁ Com",
+      "i a",
+      "an t",
+      "a nt",
+      "▁l a",
+      "▁ la",
+      "▁ {",
+      "▁e n",
+      "▁ en",
+      "ct ion",
+      "c tion",
+      "▁e x",
+      "▁ ex",
+      "l d",
+      "u b",
+      "▁ j",
+      "l a",
+      "u e",
+      "▁ J",
+      "ic h",
+      "i ch",
+      "▁d o",
+      "▁ do",
+      "▁ O",
+      "▁q u",
+      "▁ qu",
+      "i v",
+      "or t",
+      "o rt",
+      "ar t",
+      "a rt",
+      "▁u n",
+      "▁ un",
+      "▁# #",
+      "▁ ##",
+      "▁t his",
+      "▁th is",
+      "▁ this",
+      "k e",
+      "▁h a",
+      "▁ ha",
+      "▁ -",
+      "ou t",
+      "o ut",
+      "▁T he",
+      "▁Th e",
+      "▁ The",
+      "▁n ot",
+      "▁no t",
+      "▁ not",
+      "▁n e",
+      "▁ ne",
+      "il l",
+      "i ll",
+      "▁l e",
+      "▁ le",
+      "c i",
+      "ro m",
+      "r om",
+      "in e",
+      "i ne",
+      "/ /",
+      "o p",
+      "eg in",
+      "e gin",
+      "▁Com ment",
+      "▁Comm ent",
+      "▁ Comment",
+      "be gin",
+      "beg in",
+      "b egin",
+      "с т",
+      "as s",
+      "a ss",
+      "i z",
+      ") .",
+      "o g",
+      "▁ п",
+      "▁o r",
+      "▁ or",
+      "▁w as",
+      "▁wa s",
+      "▁ was",
+      "▁a t",
+      "▁ at",
+      "ou r",
+      "o ur",
+      "▁ i",
+      "ai n",
+      "a in",
+      "▁ K",
+      "н а",
+      "▁ V",
+      "g e",
+      "▁s u",
+      "▁ su",
+      "a p",
+      "ag e",
+      "a ge",
+      "ou ld",
+      "oul d",
+      "o uld",
+      "n e",
+      "a v",
+      "x t",
+      "or e",
+      "o re",
+      "il e",
+      "i le",
+      "- -",
+      "▁ в",
+      "▁b y",
+      "▁ by",
+      "l i",
+      "at h",
+      "a th",
+      "р а",
+      "be r",
+      "b er",
+      "ac h",
+      "a ch",
+      "al l",
+      "a ll",
+      "▁T h",
+      "▁ Th",
+      "ul t",
+      "u lt",
+      "▁ }",
+      "▁ U",
+      "▁u s",
+      "▁ us",
+      "▁ z",
+      "us t",
+      "u st",
+      "▁h ave",
+      "▁ha ve",
+      "▁hav e",
+      "▁ have",
+      "li c",
+      "l ic",
+      "н и",
+      "▁c an",
+      "▁ca n"
     ]
   }
 }