Upload folder using huggingface_hub

special_tokens_map.json

@@ -2,14 +2,14 @@
   "bos_token": {
     "content": "<s>",
     "lstrip": false,
-    "normalized": true,
+    "normalized": false,
     "rstrip": false,
     "single_word": false
   },
   "eos_token": {
     "content": "</s>",
     "lstrip": false,
-    "normalized": true,
+    "normalized": false,
     "rstrip": false,
     "single_word": false
   },
@@ -17,7 +17,7 @@
   "unk_token": {
     "content": "<unk>",
     "lstrip": false,
-    "normalized": true,
+    "normalized": false,
     "rstrip": false,
     "single_word": false
   }

tokenizer.json

@@ -10,7 +10,7 @@
     "strategy": {
       "Fixed": 128
     },
-    "direction": "Left",
+    "direction": "Right",
     "pad_to_multiple_of": null,
     "pad_id": 2,
     "pad_type_id": 0,
@@ -23,7 +23,7 @@
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
-      "normalized": true,
+      "normalized": false,
       "special": true
     },
     {
@@ -32,7 +32,7 @@
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
-      "normalized": true,
+      "normalized": false,
       "special": true
     },
     {
@@ -41,7 +41,7 @@
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
-      "normalized": true,
+      "normalized": false,
       "special": true
     }
   ],
@@ -93280,126 +93280,126 @@
       "▁livre s",
       "lu b",
       "l ub",
+      "▁ ▁",
       "▁▁ ▁▁",
-      "▁▁ ▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁",
+      "▁▁▁ ▁",
+      "▁ ▁▁▁",
       "▁▁ ▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁",
-      "▁▁▁▁ ▁▁",
       "▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁ ▁▁",
+      "▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁",
+      "▁ ▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁",
       "▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁ ▁▁",
+      "▁ ▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁",
       "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁",
       "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁ ▁▁",
-      "▁▁▁ ▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
       "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁���▁▁▁ ▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁",
+      "▁▁▁▁ ▁▁",
+      "▁▁▁▁▁ ▁",
       "▁▁▁ ▁▁▁",
+      "▁ ▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁",
       "▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁",
       "▁ ▁▁",
-      "▁ ▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁▁",
       "▁ ▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁ ▁",
+      "▁▁▁ ▁▁▁▁",
       "▁ ▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁",
       "▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁"
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁"
     ]
   }
 }

tokenizer_config.json

@@ -3,7 +3,7 @@
     "0": {
       "content": "<unk>",
       "lstrip": false,
-      "normalized": true,
+      "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
@@ -11,7 +11,7 @@
     "1": {
       "content": "<s>",
       "lstrip": false,
-      "normalized": true,
+      "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
@@ -19,20 +19,21 @@
     "2": {
       "content": "</s>",
       "lstrip": false,
-      "normalized": true,
+      "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     }
   },
-  "additional_special_tokens": [],
   "bos_token": "<s>",
   "clean_up_tokenization_spaces": false,
   "eos_token": "</s>",
-  "model_max_length": 2048,
+  "legacy": false,
+  "model_max_length": 1000000000000000019884624838656,
   "pad_token": "</s>",
+  "padding_side": "right",
   "sp_model_kwargs": {},
   "tokenizer_class": "LlamaTokenizer",
   "unk_token": "<unk>",
-  "use_default_system_prompt": true
+  "use_default_system_prompt": false
 }