Upload tokenizer

tokenizer.json

@@ -50320,7 +50320,6 @@
       "බ ල",
       "ත ුව",
       "ස ර",
-      "o f",
       "බ ැ",
       "ශ්‍ර ී",
       "න ිය",
@@ -50946,7 +50945,6 @@
       "කාර ී",
       "දෙ වන",
       "පුද් ගල",
-      "b e",
       "ග යේ",
       "මූ ලා",
       "ඩ ො",
@@ -51351,12 +51349,10 @@
       "කී ර්",
       "ඉංග්‍රී සි",
       "පර් යේ",
-      "S t",
       "න ූ",
       "ඩ ෝ",
       "ග ත්ත",
       "R e",
-      "s h",
       "නි ර",
       "ලි පි",
       "එක ක්",
@@ -51409,7 +51405,6 @@
       "සා ර්ථ",
       "උ ද",
       "ත්‍ර ි",
-      "ic al",
       "කිහි පයක්",
       "කාල යේ",
       "කෙ රෙහි",
@@ -52951,7 +52946,428 @@
       "a nn",
       "▁ —",
       "er t",
-      "e rt"
+      "e rt",
+      "ac e",
+      "a ce",
+      "sc h",
+      "s ch",
+      "▁n eed",
+      "▁ne ed",
+      "▁ need",
+      "▁ à",
+      "ie n",
+      "i en",
+      "ou gh",
+      "oug h",
+      "o ugh",
+      "н е",
+      "▁d ef",
+      "▁de f",
+      "▁ def",
+      "i j",
+      "er n",
+      "e rn",
+      "▁w hat",
+      "▁wh at",
+      "▁ what",
+      "▁A r",
+      "▁ Ar",
+      "w o",
+      "m l",
+      "< /",
+      "▁R e",
+      "▁ Re",
+      "▁e s",
+      "▁ es",
+      "▁in st",
+      "▁ins t",
+      "▁ inst",
+      "b o",
+      "a z",
+      "▁# ##",
+      "▁## #",
+      "▁ б",
+      "er m",
+      "e rm",
+      "▁A l",
+      "▁ Al",
+      "le d",
+      "l ed",
+      "д а",
+      "te n",
+      "t en",
+      "se t",
+      "s et",
+      "л о",
+      "▁c omm",
+      "▁com m",
+      "▁co mm",
+      "▁ comm",
+      "s h",
+      "в а",
+      "▁ /",
+      "▁d ata",
+      "▁da ta",
+      "▁dat a",
+      "▁ data",
+      "▁/ /",
+      "▁ //",
+      "] (",
+      "▁s tr",
+      "▁st r",
+      "▁ str",
+      "os e",
+      "o se",
+      "▁U n",
+      "▁ Un",
+      "ve n",
+      "v en",
+      "S t",
+      ".. .",
+      ". ..",
+      "▁ С",
+      "ys t",
+      "y st",
+      "▁ «",
+      "ic k",
+      "i ck",
+      "i x",
+      "pa r",
+      "p ar",
+      "▁ у",
+      "▁w ant",
+      "▁wa nt",
+      "n g",
+      "ot e",
+      "o te",
+      "▁g r",
+      "▁ gr",
+      "▁d u",
+      "▁ du",
+      "▁ .",
+      "un d",
+      "u nd",
+      "▁on ly",
+      "▁ only",
+      "▁s a",
+      "▁ sa",
+      "el y",
+      "e ly",
+      "ve rs",
+      "ver s",
+      "v ers",
+      "▁e nt",
+      "▁en t",
+      "▁ ent",
+      ") )",
+      "( '",
+      "▁m od",
+      "▁mo d",
+      "▁ mod",
+      "av a",
+      "a va",
+      "to n",
+      "t on",
+      "▁sh ould",
+      "▁sho uld",
+      "▁ should",
+      "em ent",
+      "eme nt",
+      "emen t",
+      "e ment",
+      "▁f orm",
+      "▁for m",
+      "▁fo rm",
+      "▁ form",
+      "▁al so",
+      "▁als o",
+      "▁ also",
+      "▁s c",
+      "▁ sc",
+      "in gs",
+      "ing s",
+      "▁Y ou",
+      "▁ You",
+      "ó n",
+      "▁k n",
+      "▁ kn",
+      "() ;",
+      "( );",
+      "▁ |",
+      "▁w ere",
+      "▁we re",
+      "▁wer e",
+      "s s",
+      "▁Qu estion",
+      "▁ Question",
+      "is e",
+      "i se",
+      "▁th ey",
+      "▁the y",
+      "▁ they",
+      "▁D e",
+      "▁ De",
+      "on d",
+      "o nd",
+      "▁s ol",
+      "▁so l",
+      "▁ sol",
+      "▁f ol",
+      "▁fo l",
+      "▁ fol",
+      "▁m ore",
+      "▁mo re",
+      "▁mor e",
+      "▁ more",
+      "▁h er",
+      "▁he r",
+      "▁ her",
+      "▁ _",
+      "▁ é",
+      "at ch",
+      "ft er",
+      "fte r",
+      "f ter",
+      "▁c re",
+      "▁cr e",
+      "▁ cre",
+      "lo ck",
+      "loc k",
+      "l ock",
+      "tr ing",
+      "tri ng",
+      "t ring",
+      "▁T his",
+      "▁Th is",
+      "▁ This",
+      "z e",
+      "ad o",
+      "a do",
+      "ul l",
+      "u ll",
+      "ge r",
+      "g er",
+      "b e",
+      "▁o ther",
+      "▁ot her",
+      "▁ other",
+      "▁T ags",
+      "▁Tag s",
+      "▁Ta gs",
+      "▁ Tags",
+      "ut ion",
+      "uti on",
+      "u tion",
+      "ic t",
+      "i ct",
+      "▁h ow",
+      "▁ho w",
+      "▁ how",
+      "▁ x",
+      "▁S e",
+      "▁ Se",
+      "▁c he",
+      "▁ch e",
+      "▁ che",
+      "cri pt",
+      "cr ipt",
+      "▁j ust",
+      "▁ju st",
+      "▁ just",
+      "▁p os",
+      "▁po s",
+      "▁ pos",
+      "an ge",
+      "ang e",
+      "if ic",
+      "ifi c",
+      "i fic",
+      "re e",
+      "r ee",
+      "} }",
+      "▁t ime",
+      "▁tim e",
+      "▁ti me",
+      "▁ time",
+      "ap p",
+      "a pp",
+      "н ы",
+      "▁f ile",
+      "▁fil e",
+      "▁fi le",
+      "▁ file",
+      "ar k",
+      "ic al",
+      "ica l",
+      "i cal",
+      "▁f irst",
+      "▁fir st",
+      "▁ first",
+      "▁in t",
+      "▁i nt",
+      "▁ int",
+      "▁ В",
+      "▁H e",
+      "▁ He",
+      "t a",
+      "um ent",
+      "ume nt",
+      "umen t",
+      "u ment",
+      "or s",
+      "o rs",
+      "le ment",
+      "lem ent",
+      "l ement",
+      "ra c",
+      "r ac",
+      "▁a g",
+      "▁ ag",
+      "▁do es",
+      "▁ does",
+      "y n",
+      "re ad",
+      "rea d",
+      "r ead",
+      "ua l",
+      "u al",
+      "▁L e",
+      "▁ Le",
+      "y s",
+      "▁e m",
+      "▁ em",
+      "▁n um",
+      "▁nu m",
+      "▁ num",
+      "ve l",
+      "v el",
+      "д и",
+      "ov er",
+      "ove r",
+      "o ver",
+      "▁d if",
+      "▁di f",
+      "et hod",
+      "eth od",
+      "▁I f",
+      "▁ If",
+      "▁s pe",
+      "▁sp e",
+      "▁ spe",
+      "y m",
+      "▁t hem",
+      "▁th em",
+      "▁the m",
+      "▁in to",
+      "▁int o",
+      "▁ into",
+      "▁l es",
+      "▁le s",
+      "▁ les",
+      "▁it s",
+      "▁i ts",
+      "▁ its",
+      "es e",
+      "e se",
+      "ie ld",
+      "iel d",
+      "i eld",
+      "▁p ublic",
+      "▁pub lic",
+      "▁pu blic",
+      "▁publi c",
+      "▁ public",
+      "▁ П",
+      "▁d en",
+      "▁de n",
+      "▁ den",
+      "yst em",
+      "ys tem",
+      "o f",
+      "▁o ver",
+      "▁ov er",
+      "▁ over",
+      "- >",
+      "▁f il",
+      "▁fi l",
+      "▁ fil",
+      "na me",
+      "nam e",
+      "n ame",
+      "in al",
+      "ina l",
+      "i nal",
+      "▁i l",
+      "▁ il",
+      "am ple",
+      "amp le",
+      "▁w ay",
+      "▁wa y",
+      "▁ way",
+      "ic a",
+      "i ca",
+      "в о",
+      "ce ss",
+      "ces s",
+      "c ess",
+      "it t",
+      "i tt",
+      "uc h",
+      "u ch",
+      "▁w here",
+      "▁wh ere",
+      "▁whe re",
+      "▁ where",
+      "м и",
+      "or g",
+      "o rg",
+      "htt ps",
+      "http s",
+      "▁v o",
+      "▁ vo",
+      "ie nt",
+      "ien t",
+      "i ent",
+      "ov e",
+      "o ve",
+      "▁val ue",
+      "▁valu e",
+      "▁ value",
+      "en g",
+      "e ng",
+      "▁L a",
+      "▁ La",
+      "^ {",
+      "re f",
+      "r ef",
+      "ie d",
+      "i ed",
+      "E R",
+      "▁s tat",
+      "▁st at",
+      "▁sta t",
+      "▁ stat",
+      "fi g",
+      "f ig",
+      "m e",
+      "▁v on",
+      "▁vo n",
+      "▁ von",
+      "▁in ter",
+      "▁int er",
+      "▁inte r",
+      "▁ inter",
+      "ro id",
+      "r oid",
+      "at er",
+      "ate r",
+      "a ter",
+      "▁the ir",
+      "▁b et",
+      "▁be t",
+      "▁ bet",
+      "▁e in",
+      "▁ ein"
     ]
   }
 }