added the tokenizer

README.md

@@ -1,4 +1,30 @@
 ---
+widget:
+- text: SOLITON INVEST AS
+- text: VERDIPAPIRFONDET NORNE AKSJE
+- text: STIFTELSEN HJELP TIL SELVHJELP
+- text: KMC PROPERTIES ASA
+- text: FELLESFORBUNDET
+- text: AGDER FYLKESKOMMUNE
+- text: ROMERIKE SPAREBANK
+- text: SPAREBANK 1 SMN PENSJONSKASSE
+- text: ES STUDIEKONSULT
+- text: J.THJØMØE SOLUTIONS
+- text: ANS ANDERSON
+- text: BORGEÅSEN BORETTSLAG
+- text: LINE OG LAURITZEN INVEST DA
+- text: FELLESKJØPET ROGALAND AGDER SA
+- text: NORD-AURDAL KOMMUNE
+- text: DEEP CYGNUS KS
+- text: MØRETRYGD GJENSIDIG FORSIKRING
+- text: NANNESTAD ALMENNING
+- text: NORDRE FOLLO KOMMUNE
+- text: GADUS SE
+- text: SAMEIET LUGOM
+- text: MEDIAKAREN AS TVANGSAVVIKLINGSBO
+- text: SUNNDAL BOLIGBYGGELAG
+- text: PARTREDERIET VLGC DA
+- text: KONSESJONSKRAFT IKS
 model-index:
 - name: Sociovestix/lenu_NO
   results:
@@ -20,32 +46,6 @@ model-index:
       name: f1 macro
       args:
         average: macro
-widget:
-- text: "SOLITON INVEST AS"
-- text: "VERDIPAPIRFONDET NORNE AKSJE"
-- text: "STIFTELSEN HJELP TIL SELVHJELP"
-- text: "KMC PROPERTIES ASA"
-- text: "FELLESFORBUNDET"
-- text: "AGDER FYLKESKOMMUNE"
-- text: "ROMERIKE SPAREBANK"
-- text: "SPAREBANK 1 SMN PENSJONSKASSE"
-- text: "ES STUDIEKONSULT"
-- text: "J.THJØMØE SOLUTIONS"
-- text: "ANS ANDERSON"
-- text: "BORGEÅSEN BORETTSLAG"
-- text: "LINE OG LAURITZEN INVEST DA"
-- text: "FELLESKJØPET ROGALAND AGDER SA"
-- text: "NORD-AURDAL KOMMUNE"
-- text: "DEEP CYGNUS KS"
-- text: "MØRETRYGD GJENSIDIG FORSIKRING"
-- text: "NANNESTAD ALMENNING"
-- text: "NORDRE FOLLO KOMMUNE"
-- text: "GADUS SE"
-- text: "SAMEIET LUGOM"
-- text: "MEDIAKAREN AS TVANGSAVVIKLINGSBO"
-- text: "SUNNDAL BOLIGBYGGELAG"
-- text: "PARTREDERIET VLGC DA"
-- text: "KONSESJONSKRAFT IKS"
 ---
 
 # LENU - Legal Entity Name Understanding for Norway

tokenizer.json

@@ -2,13 +2,13 @@
   "version": "1.0",
   "truncation": {
     "direction": "Right",
-    "max_length": 22,
+    "max_length": 25,
     "strategy": "LongestFirst",
     "stride": 0
   },
   "padding": {
     "strategy": {
-      "Fixed": 22
+      "Fixed": 25
     },
     "direction": "Right",
     "pad_to_multiple_of": null,

tokenizer_config.json

@@ -1,12 +1,53 @@
 {
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "100": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
   "cls_token": "[CLS]",
   "do_lower_case": true,
   "mask_token": "[MASK]",
   "model_max_length": 512,
-  "name_or_path": "bert-base-multilingual-uncased",
   "pad_token": "[PAD]",
   "sep_token": "[SEP]",
-  "special_tokens_map_file": null,
   "strip_accents": null,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",