Upload tokenizer

special_tokens_map.json

@@ -3,4 +3,4 @@
   "eos_token": "</s>",
   "pad_token": "</s>",
   "unk_token": "<unk>"
-}
+}

tokenizer.json

@@ -8790,7 +8790,7 @@
       "\"?": 8652,
       "▁>>>": 8653,
       "Que": 8654,
-      "  ": 8655,
+      "  ": 8655,
       "▁plain": 8656,
       "ativa": 8657,
       "ocker": 8658,
@@ -18026,7 +18026,7 @@
       "▁farm": 17888,
       "▁rôle": 17889,
       "▁статьи": 17890,
-      "    ": 17891,
+      "    ": 17891,
       "subfigure": 17892,
       "èces": 17893,
       "ziel": 17894,
@@ -20381,7 +20381,7 @@
       "▁gcc": 20243,
       "▁scène": 20244,
       "Navigation": 20245,
-      "▁ ": 20246,
+      "▁ ": 20246,
       "▁кан": 20247,
       "▁towns": 20248,
       "Username": 20249,
@@ -30216,7 +30216,7 @@
       "æ": 30078,
       "њ": 30079,
       " ": 30080,
-      " ": 30081,
+      " ": 30081,
       "Э": 30082,
       "ë": 30083,
       "õ": 30084,
@@ -51054,7 +51054,7 @@
       "▁>> >",
       "Qu e",
       "Q ue",
-      "   ",
+      "   ",
       "▁p lain",
       "▁pl ain",
       "▁pla in",
@@ -70279,7 +70279,7 @@
       "▁fa rm",
       "▁r ôle",
       "▁стать и",
-      "     ",
+      "     ",
       "sub figure",
       "èce s",
       "è ces",
@@ -74942,7 +74942,7 @@
       "▁ gcc",
       "▁sc ène",
       "N avigation",
-      "▁  ",
+      "▁  ",
       "▁к ан",
       "▁ка н",
       "▁ кан",

tokenizer_config.json

@@ -1,6 +1,4 @@
 {
-  "add_bos_token": true,
-  "add_eos_token": false,
   "bos_token": {
     "__type": "AddedToken",
     "content": "<s>",
@@ -36,4 +34,4 @@
   },
   "use_default_system_prompt": true,
   "use_fast": true
-}
+}