Upload tokenizer

tokenizer.json

@@ -50494,7 +50494,6 @@
       "ත්ම ක",
       "න් නා",
       "රාජ ්‍ය",
-      "t o",
       "ව ය",
       "ඔහු ගේ",
       "හි ර",
@@ -50654,7 +50653,6 @@
       "කට යුතු",
       "වි වි",
       "සං ස්",
-      ". .",
       "ල ී",
       "දැ ක්",
       "වූ යේ",
@@ -50674,7 +50672,6 @@
       "හි මි",
       "ග ිය",
       "වා ර්",
-      ") ,",
       "ව හන්",
       "ආර ම්භ",
       "යො දා",
@@ -50760,7 +50757,6 @@
       "වි ත",
       "විද්‍ය ාව",
       "අව ස්ථ",
-      "I n",
       "ණ ිය",
       "ඉ තිහා",
       "හැ ඳින්",
@@ -50934,7 +50930,6 @@
       "ඳ ි",
       "තර ඟ",
       "දි ස්ත්‍ර",
-      "a c",
       "ස් ට්",
       "දි ග",
       "ද ය",
@@ -51012,7 +51007,6 @@
       "ද ූ",
       "ලිය න",
       "b y",
-      "c on",
       "ත ත්",
       "ල දි",
       "න ෝ",
@@ -51059,7 +51053,6 @@
       "ික ට්",
       "බෞ ද්ධ",
       "වඩා ත්",
-      "c om",
       "ෂ ණ",
       "පැ ර",
       "යෙ ක්",
@@ -51078,7 +51071,6 @@
       "ජ ො",
       "ක්‍ර ිකට්",
       "ඒ ක",
-      "p h",
       "එ නම්",
       "දැ ක",
       "ලේ කම්",
@@ -51102,13 +51094,11 @@
       "කොට ස්",
       "ප්‍රා දේශීය",
       "නග ර",
-      "p l",
       "රිකා නු",
       "පැමි ණ",
       "යු රෝ",
       "ස ෑම",
       "රෝ ග",
-      "a k",
       "වෙන ුවෙන්",
       "ඔ ක්",
       "ස් තුව",
@@ -51128,7 +51118,6 @@
       "තොර තුරු",
       "බා හිර",
       "ලංක ාව",
-      "o v",
       "වාර් තා",
       "හ ය",
       "යැ යි",
@@ -51203,7 +51192,6 @@
       "ඡ ා",
       "යුතු ය",
       "හේ තු",
-      "ar e",
       "ට ෝ",
       "ග හ",
       "ෂ ා",
@@ -51244,7 +51232,6 @@
       "2 5",
       "බ ලා",
       "ස තු",
-      "ar d",
       "ඉන්ද ිය",
       "හෙ වත්",
       "ත්‍ය න්තර",
@@ -51256,7 +51243,6 @@
       "තර ම්",
       "සි රි",
       "ඉංග්‍ර ී",
-      "it y",
       "පූර් ණ",
       "ජී ව",
       "මන් ත්‍ර",
@@ -51323,13 +51309,11 @@
       "පො ළ",
       "නො හැකි",
       "බල න්න",
-      "i es",
       "තු රුව",
       "සංඛ ්‍ය",
       "ප රී",
       "ඩ ී",
       "ෂ ්‍ය",
-      "an g",
       "නො වේ",
       "ශා ක",
       "ඉ වත්",
@@ -51381,7 +51365,6 @@
       "තී න්",
       "ග ික",
       "නි පද",
-      "th er",
       "ජනය ා",
       "කා න්ත",
       "ද සු",
@@ -51407,7 +51390,6 @@
       "I I",
       "සාමාන්‍ය යෙන්",
       "5 0",
-      "e w",
       "කා බ",
       "ඇ ල්",
       "පුද් ග",
@@ -51428,7 +51410,6 @@
       "උ ද",
       "ත්‍ර ි",
       "ic al",
-      "is h",
       "කිහි පයක්",
       "කාල යේ",
       "කෙ රෙහි",
@@ -51436,7 +51417,6 @@
       "සේ වය",
       "දී ය",
       "භ ි",
-      "i p",
       "නු ම්",
       "බි හි",
       "කර ුව",
@@ -51456,7 +51436,6 @@
       "යට ත්",
       "දෙ මළ",
       "ශ ය",
-      "p ro",
       "අප ේ",
       "සාර්ථ ක",
       "w as",
@@ -51481,7 +51460,6 @@
       "ක ියා",
       "ප්‍රති ඵල",
       "හඳු නා",
-      "u p",
       "භාෂ ාව",
       "ම යක්",
       "භ ෞ",
@@ -51490,7 +51468,6 @@
       "රට වල්",
       "යු ම්",
       "ස ෑ",
-      "u d",
       "ජ ිත",
       "ත ත්ව",
       "ක ෙන",
@@ -51508,7 +51485,6 @@
       "2 4",
       "ක ීය",
       "ලාංකි ක",
-      "c l",
       "මු ළු",
       "ලැ බු",
       "දෙන ෙකු",
@@ -51522,7 +51498,6 @@
       "ගු රු",
       "දි නය",
       "එ න්",
-      "e x",
       "ප ෞ",
       "ත ල",
       "ද ත්ත",
@@ -51557,8 +51532,6 @@
       "මා ර",
       "මු ද්‍ර",
       "භාෂ ා",
-      "p r",
-      "i an",
       "ට ො",
       "පුව ත්",
       "රෝ ධ",
@@ -51932,7 +51905,607 @@
       "l ic",
       "н и",
       "▁c an",
-      "▁ca n"
+      "▁ca n",
+      "▁ can",
+      "t r",
+      "co m",
+      "c om",
+      ") ,",
+      "▁I n",
+      "▁ In",
+      "in d",
+      "i nd",
+      "el l",
+      "e ll",
+      "▁f rom",
+      "▁fr om",
+      "▁fro m",
+      "▁ from",
+      "о в",
+      "t o",
+      "▁ [",
+      "ab le",
+      "abl e",
+      "a ble",
+      "os t",
+      "o st",
+      "▁c h",
+      "▁ ch",
+      "ec t",
+      "e ct",
+      "ig ht",
+      "igh t",
+      "in t",
+      "i nt",
+      "▁ '",
+      "▁a re",
+      "▁ar e",
+      "▁ are",
+      "▁i m",
+      "▁ im",
+      "▁s h",
+      "▁ sh",
+      "▁ <",
+      "▁A n",
+      "▁ An",
+      "▁ с",
+      "at a",
+      "a ta",
+      "ir e",
+      "i re",
+      "▁t r",
+      "▁ tr",
+      "co n",
+      "c on",
+      "or d",
+      "o rd",
+      "it y",
+      "i ty",
+      "ar d",
+      "a rd",
+      "▁h e",
+      "▁ he",
+      "▁b ut",
+      "▁bu t",
+      "▁ but",
+      "o c",
+      "= \"",
+      "▁p r",
+      "▁ pr",
+      "ur e",
+      "u re",
+      "pe r",
+      "p er",
+      "ac k",
+      "a ck",
+      "or k",
+      "on g",
+      "o ng",
+      "an s",
+      "a ns",
+      "к о",
+      "pl e",
+      "p le",
+      "▁d es",
+      "▁de s",
+      "▁ des",
+      "o k",
+      "or m",
+      "o rm",
+      "we r",
+      "w er",
+      "a k",
+      "p r",
+      "as e",
+      "a se",
+      "▁e l",
+      "▁ el",
+      "p h",
+      "a c",
+      "▁u nd",
+      "▁un d",
+      "▁ und",
+      "▁a r",
+      "▁ ar",
+      "▁i f",
+      "▁ if",
+      "u d",
+      "p s",
+      "it e",
+      "i te",
+      "bl e",
+      "b le",
+      "н о",
+      "fe r",
+      "f er",
+      "p l",
+      "iv e",
+      "i ve",
+      "an g",
+      "a ng",
+      "en s",
+      "e ns",
+      "р о",
+      "▁s o",
+      "▁ so",
+      "s o",
+      "as t",
+      "a st",
+      "( )",
+      "sw er",
+      "s wer",
+      "r u",
+      "ie s",
+      "i es",
+      "▁ :",
+      "a u",
+      "o v",
+      "р е",
+      "г о",
+      "▁d er",
+      "▁de r",
+      "▁ der",
+      "▁m y",
+      "▁ my",
+      "▁w e",
+      "▁ we",
+      "▁m e",
+      "▁ me",
+      "n t",
+      "▁a d",
+      "▁ ad",
+      "ur n",
+      "u rn",
+      "▁y our",
+      "▁you r",
+      "▁yo ur",
+      "▁ your",
+      ":/ /",
+      ": //",
+      "ar e",
+      "a re",
+      "▁a ll",
+      "▁al l",
+      "▁ all",
+      "f f",
+      "i o",
+      "es tion",
+      "est ion",
+      "esti on",
+      "im e",
+      "i me",
+      "▁e r",
+      "▁ er",
+      "la ss",
+      "las s",
+      "l ass",
+      "▁ и",
+      "▁wh ich",
+      "▁ which",
+      "om e",
+      "o me",
+      "on t",
+      "o nt",
+      "▁p ar",
+      "▁pa r",
+      "▁ par",
+      "▁m a",
+      "▁ ma",
+      "▁ Y",
+      "\" ,",
+      "▁ о",
+      "f t",
+      "ia l",
+      "i al",
+      "c c",
+      "ou nd",
+      "oun d",
+      "o und",
+      "▁l i",
+      "▁ li",
+      "▁re s",
+      "▁r es",
+      "▁ res",
+      "et h",
+      "e th",
+      "je ct",
+      "j ect",
+      "▁a pp",
+      "▁ap p",
+      "▁ app",
+      "▁S t",
+      "▁ St",
+      "ic e",
+      "i ce",
+      "▁a m",
+      "▁ am",
+      "ac t",
+      "a ct",
+      "▁d el",
+      "▁de l",
+      "▁ del",
+      "g r",
+      "at ed",
+      "ate d",
+      "a ted",
+      "ie r",
+      "i er",
+      "▁a b",
+      "▁ ab",
+      "▁e t",
+      "▁ et",
+      "al ly",
+      "all y",
+      ". .",
+      "po rt",
+      "por t",
+      "p ort",
+      "i k",
+      "▁p er",
+      "▁pe r",
+      "▁ per",
+      "▁c ont",
+      "▁con t",
+      "▁co nt",
+      "▁ cont",
+      "р и",
+      "к а",
+      "se r",
+      "s er",
+      "л и",
+      "l l",
+      "ie w",
+      "i ew",
+      "ig n",
+      "i gn",
+      "_ {",
+      "pu t",
+      "p ut",
+      "on e",
+      "o ne",
+      "un ction",
+      "unc tion",
+      "unct ion",
+      "▁d i",
+      "▁ di",
+      "ar y",
+      "a ry",
+      "it ion",
+      "iti on",
+      "i tion",
+      "m a",
+      "е н",
+      "ge t",
+      "g et",
+      "▁l o",
+      "▁ lo",
+      "▁v al",
+      "▁va l",
+      "▁ val",
+      "▁ Q",
+      "ra n",
+      "r an",
+      "▁ д",
+      "en ce",
+      "enc e",
+      "▁w ork",
+      "▁wor k",
+      "▁ work",
+      "▁н а",
+      "▁ на",
+      "i p",
+      "it em",
+      "ite m",
+      "i tem",
+      "yp e",
+      "y pe",
+      "▁ &",
+      "▁h is",
+      "▁hi s",
+      "▁ his",
+      "▁u se",
+      "▁us e",
+      "▁ use",
+      "de r",
+      "d er",
+      "▁An swer",
+      "▁Ans wer",
+      "▁ Answer",
+      "▁w ill",
+      "▁wil l",
+      "▁ will",
+      "iz e",
+      "i ze",
+      "т а",
+      "lo w",
+      "l ow",
+      "▁C h",
+      "▁ Ch",
+      "▁g et",
+      "▁ge t",
+      "▁ get",
+      "id e",
+      "i de",
+      "ou s",
+      "o us",
+      "in k",
+      "pt ion",
+      "p tion",
+      "л а",
+      "tu rn",
+      "t urn",
+      "un g",
+      "u ng",
+      "e c",
+      "u g",
+      "fo rm",
+      "for m",
+      "f orm",
+      "re s",
+      "r es",
+      "ht t",
+      "h tt",
+      "ou g",
+      "o ug",
+      "л ь",
+      "▁n o",
+      "▁ no",
+      "c l",
+      "▁r o",
+      "▁ ro",
+      "▁o ne",
+      "▁on e",
+      "▁ one",
+      "t t",
+      "cr i",
+      "c ri",
+      "d u",
+      "▁u p",
+      "▁ up",
+      "т о",
+      "( \"",
+      "▁o b",
+      "▁ ob",
+      "w e",
+      "or y",
+      "o ry",
+      "▁e st",
+      "▁es t",
+      "▁ est",
+      "er y",
+      "e ry",
+      "ie l",
+      "i el",
+      "st r",
+      "s tr",
+      "o b",
+      "▁qu e",
+      "▁q ue",
+      "▁ que",
+      "ia n",
+      "i an",
+      "▁o ut",
+      "▁ou t",
+      "▁ out",
+      "▁p l",
+      "▁ pl",
+      "▁n ew",
+      "▁ne w",
+      "▁ new",
+      "к и",
+      "▁ +",
+      "r y",
+      "ot h",
+      "o th",
+      "th er",
+      "the r",
+      "t her",
+      "▁v ar",
+      "▁va r",
+      "▁ var",
+      "▁w ould",
+      "▁wo uld",
+      "▁s er",
+      "▁se r",
+      "▁ ser",
+      "ter n",
+      "te rn",
+      "t ern",
+      "te xt",
+      "tex t",
+      "t ext",
+      "▁t here",
+      "▁th ere",
+      "▁the re",
+      "▁ther e",
+      "▁ there",
+      "is h",
+      "i sh",
+      "ro r",
+      "r or",
+      "т е",
+      "▁s et",
+      "▁se t",
+      "▁ set",
+      "▁ @",
+      "▁п о",
+      "▁ по",
+      "▁t e",
+      "▁ te",
+      "e x",
+      "▁re turn",
+      "▁ret urn",
+      "▁ return",
+      "ai l",
+      "a il",
+      "▁a ny",
+      "▁an y",
+      "▁ any",
+      "▁I t",
+      "▁ It",
+      "▁f unction",
+      "▁fun ction",
+      "▁func tion",
+      "▁ function",
+      "{ \\",
+      "' ,",
+      "é s",
+      "al e",
+      "a le",
+      "а н",
+      "▁w hen",
+      "▁wh en",
+      "▁whe n",
+      "▁ when",
+      "i b",
+      "▁g o",
+      "▁ go",
+      "an ce",
+      "anc e",
+      "▁h ad",
+      "▁ha d",
+      "▁ had",
+      "▁Q u",
+      "▁ Qu",
+      "▁c omp",
+      "▁com p",
+      "▁co mp",
+      "▁ comp",
+      "л е",
+      "▁ з",
+      "ma th",
+      "mat h",
+      "m ath",
+      "▁h as",
+      "▁ha s",
+      "▁ has",
+      "▁ м",
+      "▁p re",
+      "▁pr e",
+      "▁ pre",
+      "en er",
+      "ene r",
+      "e ner",
+      "▁p art",
+      "▁par t",
+      "▁pa rt",
+      "▁ part",
+      "el f",
+      "▁d ie",
+      "▁di e",
+      "▁ die",
+      "▁l ike",
+      "▁li ke",
+      "▁lik e",
+      "▁ like",
+      "ra y",
+      "r ay",
+      "ir st",
+      "irs t",
+      "▁d is",
+      "▁di s",
+      "▁ dis",
+      "▁m an",
+      "▁ma n",
+      "▁ man",
+      "ri t",
+      "r it",
+      "▁t hen",
+      "▁th en",
+      "▁the n",
+      "▁ then",
+      "▁c lass",
+      "▁cl ass",
+      "▁cla ss",
+      "▁clas s",
+      "▁ class",
+      "pr o",
+      "p ro",
+      "▁p o",
+      "▁ po",
+      "▁u sing",
+      "▁us ing",
+      "▁ using",
+      "e b",
+      "▁c ode",
+      "▁co de",
+      "▁cod e",
+      "▁ code",
+      "ow n",
+      "o wn",
+      "▁s ome",
+      "▁so me",
+      "▁som e",
+      "▁ some",
+      "ce s",
+      "c es",
+      "▁$ \\",
+      "▁ $\\",
+      "е р",
+      "le ct",
+      "l ect",
+      "▁a u",
+      "▁ au",
+      "is ch",
+      "isc h",
+      "i sch",
+      "▁c ol",
+      "▁co l",
+      "▁ col",
+      "▁ –",
+      "u p",
+      "on s",
+      "o ns",
+      "▁a dd",
+      "▁ad d",
+      "▁ add",
+      "il d",
+      "i ld",
+      "is s",
+      "i ss",
+      "va l",
+      "v al",
+      "ou nt",
+      "oun t",
+      "o unt",
+      "le s",
+      "l es",
+      "ve nt",
+      "ven t",
+      "v ent",
+      "▁ Z",
+      "I n",
+      "ro w",
+      "r ow",
+      "ea r",
+      "e ar",
+      "at ions",
+      "ation s",
+      "ati ons",
+      "atio ns",
+      "a h",
+      "qu e",
+      "q ue",
+      "ub lic",
+      "u blic",
+      "an k",
+      "▁s p",
+      "▁ sp",
+      "▁W h",
+      "▁ Wh",
+      "-- --",
+      "--- -",
+      "- ---",
+      "s k",
+      "e w",
+      "ag s",
+      "a gs",
+      "т и",
+      "an n",
+      "a nn",
+      "▁ —",
+      "er t",
+      "e rt"
     ]
   }
 }