added the tokenizer

README.md

@@ -1,4 +1,20 @@
 ---
+widget:
+- text: Cathill Industries AB
+- text: Gunnar Lingås Stiftelse
+- text: Föreningen Hjärtlung Alvesta
+- text: Picsous Fastigheter Norrtälje KB
+- text: Vreta klosters församling
+- text: Alvengren & Söner Handelsbolag
+- text: Svenska Förläggareföreningen ek. för.
+- text: Länsförsäkringar Jämtland
+- text: Hälsinglands Sparbank
+- text: Dalarnas Försäkringsbolag
+- text: Södra Dalarnas Sparbank AB
+- text: Bostadsrättsföreningen Bryggan
+- text: Garantimyndigheten, Riksgäldskontoret
+- text: Edsbergs Häradsallmänning
+- text: Bostadsrättsföreningen Vik 7
 model-index:
 - name: Sociovestix/lenu_SE
   results:
@@ -20,22 +36,6 @@ model-index:
       name: f1 macro
       args:
         average: macro
-widget:
-- text: "Cathill Industries AB"
-- text: "Gunnar Lingås Stiftelse"
-- text: "Föreningen Hjärtlung Alvesta"
-- text: "Picsous Fastigheter Norrtälje KB"
-- text: "Vreta klosters församling"
-- text: "Alvengren & Söner Handelsbolag"
-- text: "Svenska Förläggareföreningen ek. för."
-- text: "Länsförsäkringar Jämtland"
-- text: "Hälsinglands Sparbank"
-- text: "Dalarnas Försäkringsbolag"
-- text: "Södra Dalarnas Sparbank AB"
-- text: "Bostadsrättsföreningen Bryggan"
-- text: "Garantimyndigheten, Riksgäldskontoret"
-- text: "Edsbergs Häradsallmänning"
-- text: "Bostadsrättsföreningen Vik 7"
 ---
 
 # LENU - Legal Entity Name Understanding for Sweden

tokenizer_config.json

@@ -1,15 +1,54 @@
 {
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "100": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
   "cls_token": "[CLS]",
-  "do_basic_tokenize": true,
-  "do_lower_case": false,
+  "do_lower_case": true,
   "mask_token": "[MASK]",
-  "model_max_length": 1000000000000000019884624838656,
-  "name_or_path": "KB/bert-base-swedish-cased",
-  "never_split": null,
+  "model_max_length": 512,
   "pad_token": "[PAD]",
   "sep_token": "[SEP]",
-  "special_tokens_map_file": "/root/.cache/huggingface/hub/models--KB--bert-base-swedish-cased/snapshots/81c7baa04742a30cb6732c181e678721868cb42e/special_tokens_map.json",
-  "strip_accents": false,
+  "strip_accents": null,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",
   "unk_token": "[UNK]"