Upload tokenizer

tokenizer.json

@@ -140,327 +140,7 @@
       "dii": 78,
       "nii": 79,
       "ts": 80,
-      "xwi": 81,
-      "Ġd": 82,
-      "Ġha": 83,
-      "uu": 84,
-      "Ġnee": 85,
-      "xs": 86,
-      "Ġyu": 87,
-      "Ġa": 88,
-      "ip": 89,
-      "kwhl": 90,
-      "wihl": 91,
-      "gi": 92,
-      "Ġk": 93,
-      "xw": 94,
-      "'m": 95,
-      "Ġxs": 96,
-      "Ġdim": 97,
-      "Ġneedii": 98,
-      "igi": 99,
-      "Ġb": 100,
-      "Ġligi": 101,
-      "Ġwili": 102,
-      "di": 103,
-      "Ġj": 104,
-      "Ġp": 105,
-      "Ġt": 106,
-      "Ġwihl": 107,
-      "sxwi": 108,
-      "Ġs": 109,
-      "Ġya": 110,
-      "in": 111,
-      "Ġhlaa": 112,
-      "Ġna": 113,
-      "Ġan": 114,
-      "ax": 115,
-      "ay": 116,
-      "ahl": 117,
-      "oot": 118,
-      "ni": 119,
-      "ol": 120,
-      "Ġyukwhl": 121,
-      "Ġnii": 122,
-      "Ġnaa": 123,
-      "Ġwilp": 124,
-      "ipe": 125,
-      "Ġpipe": 126,
-      "uxw": 127,
-      "tshl": 128,
-      "Ġyatshl": 129,
-      "ĠS": 130,
-      "na": 131,
-      "hli": 132,
-      "Ġaa": 133,
-      "Ġneediit": 134,
-      "Ġ\"": 135,
-      "̲'": 136,
-      "il": 137,
-      "Ġw": 138,
-      "Ġyee": 139,
-      "Ġloot": 140,
-      "at": 141,
-      "ck": 142,
-      "hol": 143,
-      "ka": 144,
-      "lhl": 145,
-      "ock": 146,
-      "tock": 147,
-      "ya": 148,
-      "wil": 149,
-      "Ġgya": 150,
-      "Ġiin": 151,
-      "Ġluu": 152,
-      "uuhl": 153,
-      "ĠStock": 154,
-      "holm": 155,
-      "ĠStockholm": 156,
-      "ad": 157,
-      "ls": 158,
-      "xu": 159,
-      "Ġts": 160,
-      "hla": 161,
-      "Ġwina": 162,
-      "Ġhlg": 163,
-      "Ġhahla": 164,
-      "uut": 165,
-      "Ġbag": 166,
-      "ayt": 167,
-      "Ġwag": 168,
-      "lsdi": 169,
-      "as": 170,
-      "ok": 171,
-      "Ġhe": 172,
-      "diit": 173,
-      "ain": 174,
-      "wit": 175,
-      "Ġxsa": 176,
-      "Ġxsi": 177,
-      "Ġja": 178,
-      "nit": 179,
-      "xhl": 180,
-      "xwhl": 181,
-      "iihli": 182,
-      "Ġgiihli": 183,
-      "Ġlax": 184,
-      "ak": 185,
-      "̲.": 186,
-      "eek": 187,
-      "Ġap": 188,
-      "Ġxseek": 189,
-      "Ġji": 190,
-      "Ġaats": 191,
-      "hahl": 192,
-      "un": 193,
-      "waa": 194,
-      "oos": 195,
-      "Ġanhahl": 196,
-      "Ġanhahla": 197,
-      "ĠA": 198,
-      "Ġneet": 199,
-      "Ġam": 200,
-      "akwhl": 201,
-      "Ġak": 202,
-      "--": 203,
-      "Can": 204,
-      "Dim": 205,
-      "bi": 206,
-      "da": 207,
-      "fl": 208,
-      "gwaa": 209,
-      "isxwi": 210,
-      "ika": 211,
-      "ja": 212,
-      "kst": 213,
-      "lt": 214,
-      "lst": 215,
-      "nag": 216,
-      "pja": 217,
-      "rain": 218,
-      "sii": 219,
-      "ska": 220,
-      "sgwaa": 221,
-      "upja": 222,
-      "yt": 223,
-      "Ġag": 224,
-      "ĠCan": 225,
-      "Ġfl": 226,
-      "Ġisxwi": 227,
-      "Ġupja": 228,
-      "ndoos": 229,
-      "Ġgi": 230,
-      "Ġgwil": 231,
-      "Ġguuhl": 232,
-      "aahli": 233,
-      "oodi": 234,
-      "Ġno": 235,
-      "anhl": 236,
-      "anwil": 237,
-      "anuut": 238,
-      "anska": 239,
-      "Ġlip": 240,
-      "imil": 241,
-      "niig": 242,
-      "niisgwaa": 243,
-      "Ġyuwi": 244,
-      "Ġandoos": 245,
-      "gihl": 246,
-      "Ġky": 247,
-      "dilhl": 248,
-      "Ġpol": 249,
-      "Ġtun": 250,
-      "Ġtrain": 251,
-      "Ġsgihl": 252,
-      "Ġsdilhl": 253,
-      "Ġyalt": 254,
-      "insxwi": 255,
-      "Ġnakst": 256,
-      "Ġant": 257,
-      "Ġansii": 258,
-      "ayoo": 259,
-      "uxwt": 260,
-      "Ġaam": 261,
-      "adanska": 262,
-      "Ġhlgu": 263,
-      "Ġxsawi": 264,
-      "Ġjabi": 265,
-      "nagwit": 266,
-      "Ġagwihl": 267,
-      "ĠCanadanska": 268,
-      "Ġflika": 269,
-      "Ġgwila": 270,
-      "aahlihl": 271,
-      "anwilat": 272,
-      "anuutxw": 273,
-      "Ġandoosda": 274,
-      "Ġpole": 275,
-      "Ġyaltxu": 276,
-      "Ġansiip": 277,
-      "Hl": 278,
-      "Nii": 279,
-      "Oo": 280,
-      "nim": 281,
-      "wahl": 282,
-      "yhl": 283,
-      "ĠHl": 284,
-      "ĠNii": 285,
-      "wii": 286,
-      "Ġguxw": 287,
-      "Ġguut": 288,
-      "aaxhl": 289,
-      "Ġyuxwhl": 290,
-      "Ġkw": 291,
-      "Ġbas": 292,
-      "inhl": 293,
-      "ootxwi": 294,
-      "nisxwi": 295,
-      "uxwsxwi": 296,
-      "ilx": 297,
-      "adaaxhl": 298,
-      "Ġhlguxwsxwi": 299,
-      "Ġbagu": 300,
-      "asinhl": 301,
-      "Ġamhl": 302,
-      "ĠHlaa": 303,
-      "Ġguxws": 304,
-      "Ġbasax": 305,
-      ".\"": 306,
-      "daa": 307,
-      "ix": 308,
-      "idaa": 309,
-      "loohl": 310,
-      "phl": 311,
-      "pain": 312,
-      "sx": 313,
-      "yim": 314,
-      "Ġxhl": 315,
-      "aahl": 316,
-      "aasx": 317,
-      "aayim": 318,
-      "ook": 319,
-      "Ġhlag": 320,
-      "Ġhlidaa": 321,
-      "xwit": 322,
-      "Ġdok": 323,
-      "Ġdaayim": 324,
-      "Ġyuxw": 325,
-      "Ġaloohl": 326,
-      "Ġbax": 327,
-      "Ġbaasx": 328,
-      "Ġligit": 329,
-      "Ġjok": 330,
-      "Ġsg": 331,
-      "Ġsi": 332,
-      "ĠSpain": 333,
-      "nakwhl": 334,
-      "Ġhehl": 335,
-      "Ġhediit": 336,
-      "diithl": 337,
-      "witxwit": 338,
-      "Ġjaphl": 339,
-      "nithl": 340,
-      "ytxwhl": 341,
-      "Ġxhlii": 342,
-      "Ġdaayimaahl": 343,
-      "Ġyuxwdiithl": 344,
-      "Ġbaasxi": 345,
-      "Nakwhl": 346,
-      "gwi": 347,
-      "ukwhl": 348,
-      "yukwhl": 349,
-      "ĠAk": 350,
-      "ĠAgwi": 351,
-      "ĠAgwiyukwhl": 352,
-      "BM": 353,
-      "De": 354,
-      "Gi": 355,
-      "IBM": 356,
-      "aw": 357,
-      "ail": 358,
-      "ce": 359,
-      "ff": 360,
-      "gee": 361,
-      "it": 362,
-      "iwaa": 363,
-      "ice": 364,
-      "jit": 365,
-      "ljit": 366,
-      "mar": 367,
-      "mail": 368,
-      "nmar": 369,
-      "oxs": 370,
-      "off": 371,
-      "si": 372,
-      "wan": 373,
-      "way": 374,
-      "yo": 375,
-      "ĠDe": 376,
-      "ĠGi": 377,
-      "ĠIBM": 378,
-      "Ġmail": 379,
-      "Ġoff": 380,
-      "niiwan": 381,
-      "niiyo": 382,
-      "xsiwaa": 383,
-      "Ġsaw": 384,
-      "nix": 385,
-      "Ġwok": 386,
-      "atdiit": 387,
-      "̲.\"": 388,
-      "oosun": 389,
-      "ĠAp": 390,
-      "Ġamxsiwaa": 391,
-      "Ġaks": 392,
-      "geenix": 393,
-      "nmark": 394,
-      "oxsxw": 395,
-      "wayi": 396,
-      "ĠDenmark": 397,
-      "ĠGigeenix": 398,
-      "Ġoffice": 399,
-      "Ġsawatdiit": 400,
-      "ytxw": 401
+      "xwi": 81
     },
     "merges": [
       "s t",
@@ -497,327 +177,7 @@
       "d ii",
       "n ii",
       "t s",
-      "x wi",
-      "Ġ d",
-      "Ġh a",
-      "u u",
-      "Ġn ee",
-      "x s",
-      "Ġy u",
-      "Ġ a",
-      "i p",
-      "k whl",
-      "wi hl",
-      "g i",
-      "Ġ k",
-      "x w",
-      "' m",
-      "Ġ xs",
-      "Ġd im",
-      "Ġnee dii",
-      "i gi",
-      "Ġ b",
-      "Ġl igi",
-      "Ġwil i",
-      "d i",
-      "Ġ j",
-      "Ġ p",
-      "Ġ t",
-      "Ġwi hl",
-      "s xwi",
-      "Ġ s",
-      "Ġy a",
-      "i n",
-      "Ġhl aa",
-      "Ġn a",
-      "Ġ an",
-      "a x",
-      "a y",
-      "a hl",
-      "oo t",
-      "n i",
-      "o l",
-      "Ġyu kwhl",
-      "Ġn ii",
-      "Ġn aa",
-      "Ġwil p",
-      "ip e",
-      "Ġp ipe",
-      "u xw",
-      "ts hl",
-      "Ġya tshl",
-      "Ġ S",
-      "n a",
-      "hl i",
-      "Ġ aa",
-      "Ġneedii t",
-      "Ġ \"",
-      "̲ '",
-      "i l",
-      "Ġ w",
-      "Ġy ee",
-      "Ġl oot",
-      "a t",
-      "c k",
-      "h ol",
-      "k a",
-      "l hl",
-      "o ck",
-      "t ock",
-      "y a",
-      "wi l",
-      "Ġg ya",
-      "Ġii n",
-      "Ġl uu",
-      "uu hl",
-      "ĠS tock",
-      "hol m",
-      "ĠStock holm",
-      "a d",
-      "l s",
-      "x u",
-      "Ġ ts",
-      "hl a",
-      "Ġwi na",
-      "Ġhl g",
-      "Ġha hla",
-      "uu t",
-      "Ġb ag",
-      "ay t",
-      "Ġw ag",
-      "ls di",
-      "a s",
-      "o k",
-      "Ġh e",
-      "dii t",
-      "a in",
-      "wi t",
-      "Ġxs a",
-      "Ġxs i",
-      "Ġj a",
-      "ni t",
-      "x hl",
-      "x whl",
-      "ii hli",
-      "Ġg iihli",
-      "Ġl ax",
-      "a k",
-      "̲ .",
-      "ee k",
-      "Ġa p",
-      "Ġxs eek",
-      "Ġj i",
-      "Ġaa ts",
-      "h ahl",
-      "u n",
-      "w aa",
-      "oo s",
-      "Ġan hahl",
-      "Ġanhahl a",
-      "Ġ A",
-      "Ġnee t",
-      "Ġa m",
-      "a kwhl",
-      "Ġa k",
-      "- -",
-      "C an",
-      "D im",
-      "b i",
-      "d a",
-      "f l",
-      "g waa",
-      "i sxwi",
-      "i ka",
-      "j a",
-      "k st",
-      "l t",
-      "l st",
-      "n ag",
-      "p ja",
-      "r ain",
-      "s ii",
-      "s ka",
-      "s gwaa",
-      "u pja",
-      "y t",
-      "Ġ ag",
-      "Ġ Can",
-      "Ġ fl",
-      "Ġ isxwi",
-      "Ġ upja",
-      "nd oos",
-      "Ġg i",
-      "Ġg wil",
-      "Ġg uuhl",
-      "aa hli",
-      "oo di",
-      "Ġn o",
-      "an hl",
-      "an wil",
-      "an uut",
-      "an ska",
-      "Ġl ip",
-      "im il",
-      "nii g",
-      "nii sgwaa",
-      "Ġyu wi",
-      "Ġa ndoos",
-      "gi hl",
-      "Ġk y",
-      "di lhl",
-      "Ġp ol",
-      "Ġt un",
-      "Ġt rain",
-      "Ġs gihl",
-      "Ġs dilhl",
-      "Ġya lt",
-      "in sxwi",
-      "Ġna kst",
-      "Ġan t",
-      "Ġan sii",
-      "ay oo",
-      "uxw t",
-      "Ġaa m",
-      "ad anska",
-      "Ġhlg u",
-      "Ġxsa wi",
-      "Ġja bi",
-      "nag wit",
-      "Ġag wihl",
-      "ĠCan adanska",
-      "Ġfl ika",
-      "Ġgwil a",
-      "aahli hl",
-      "anwil at",
-      "anuut xw",
-      "Ġandoos da",
-      "Ġpol e",
-      "Ġyalt xu",
-      "Ġansii p",
-      "H l",
-      "N ii",
-      "O o",
-      "n im",
-      "w ahl",
-      "y hl",
-      "Ġ Hl",
-      "Ġ Nii",
-      "wi i",
-      "Ġg uxw",
-      "Ġg uut",
-      "aa xhl",
-      "Ġyu xwhl",
-      "Ġk w",
-      "Ġb as",
-      "in hl",
-      "oot xwi",
-      "ni sxwi",
-      "uxw sxwi",
-      "il x",
-      "ad aaxhl",
-      "Ġhlg uxwsxwi",
-      "Ġbag u",
-      "as inhl",
-      "Ġam hl",
-      "ĠHl aa",
-      "Ġguxw s",
-      "Ġbas ax",
-      ". \"",
-      "d aa",
-      "i x",
-      "i daa",
-      "l oohl",
-      "p hl",
-      "p ain",
-      "s x",
-      "y im",
-      "Ġ xhl",
-      "aa hl",
-      "aa sx",
-      "aa yim",
-      "oo k",
-      "Ġhl ag",
-      "Ġhl idaa",
-      "xwi t",
-      "Ġd ok",
-      "Ġd aayim",
-      "Ġyu xw",
-      "Ġa loohl",
-      "Ġb ax",
-      "Ġb aasx",
-      "Ġligi t",
-      "Ġj ok",
-      "Ġs g",
-      "Ġs i",
-      "ĠS pain",
-      "na kwhl",
-      "Ġhe hl",
-      "Ġhe diit",
-      "diit hl",
-      "wit xwit",
-      "Ġja phl",
-      "nit hl",
-      "yt xwhl",
-      "Ġxhl ii",
-      "Ġdaayim aahl",
-      "Ġyuxw diithl",
-      "Ġbaasx i",
-      "N akwhl",
-      "g wi",
-      "u kwhl",
-      "y ukwhl",
-      "ĠA k",
-      "ĠA gwi",
-      "ĠAgwi yukwhl",
-      "B M",
-      "D e",
-      "G i",
-      "I BM",
-      "a w",
-      "a il",
-      "c e",
-      "f f",
-      "g ee",
-      "i t",
-      "i waa",
-      "i ce",
-      "j it",
-      "l jit",
-      "m ar",
-      "m ail",
-      "n mar",
-      "o xs",
-      "o ff",
-      "s i",
-      "w an",
-      "w ay",
-      "y o",
-      "Ġ De",
-      "Ġ Gi",
-      "Ġ IBM",
-      "Ġ mail",
-      "Ġ off",
-      "nii wan",
-      "nii yo",
-      "xs iwaa",
-      "Ġs aw",
-      "ni x",
-      "Ġw ok",
-      "at diit",
-      "̲. \"",
-      "oos un",
-      "ĠA p",
-      "Ġam xsiwaa",
-      "Ġak s",
-      "gee nix",
-      "nmar k",
-      "oxs xw",
-      "way i",
-      "ĠDe nmark",
-      "ĠGi geenix",
-      "Ġoff ice",
-      "Ġsaw atdiit",
-      "yt xw"
+      "x wi"
     ]
   }
 }