added the tokenizer

README.md

@@ -1,4 +1,47 @@
 ---
+widget:
+- text: BetterMe Finland Oy
+- text: Kotkan Kuurojen Yhdistys ry
+- text: Kunnallisalan kehittämissäätiö sr
+- text: Eero Kurvinen Ky
+- text: OP-Tavoite 2 -sijoitusrahasto
+- text: Asunto Oy Mertamäki
+- text: Uponor Oyj
+- text: Keskinäinen Kiinteistö Oy Keijo Lounala
+- text: Kuusamon kaupunki
+- text: Ilmajoen Musiikkijuhlat ry
+- text: Hanne ja Timo Similä avoin yhtiö
+- text: Vehmersalmen Osuuspankki
+- text: Juvan seurakunta
+- text: Nesteen Henkilöstörahasto hr
+- text: Suur-Seudun Osuuskauppa SSO
+- text: Tmi Ida Lehmus
+- text: Pohjois-Karjalan sosiaali- ja terveyspalvelujen kuntayhtymä
+- text: Finlaysonin Forssan Tehtaitten Sairauskassa
+- text: Suomen Punainen Risti Savo-Karjalan piiri
+- text: L-Fashion Group Oy:n Eläkesäätiö
+- text: Gummandouran Osakaskunta
+- text: Suomen Keskinäinen Lääkevahinkovakuutusyhtiö
+- text: Työttömyyskassojen Tukikassa
+- text: Kuntien Takauskeskus
+- text: LUT-yliopiston ylioppilaskunta
+- text: Huoltovarmuuskeskus
+- text: Pohjois-Karjalan kauppakamari ry
+- text: Turun katolinen seurakunta (Pyhän Birgitan ja Autuaan Hemminginseurakunta)
+- text: Närpes Sjukvårdsfond
+- text: Kvevlax Sparbank
+- text: Valion Eläkekassa
+- text: Yhteismetsä Visa
+- text: Maatalousyhtymä Niinivehmas & Tallila
+- text: Suomen Vahinkovakuutus Oy
+- text: Pyhän Marian katolinen seurakunta
+- text: Kumpulainen Elma Sofia kuolinpesä
+- text: Afarak Group SE
+- text: Nordiska Miljöfinansieringsbolaget, Pohjoismaiden ympäristörahoitusyhtiö NEFCO,
+    Nordic Environment Finance Corporation
+- text: Österbottens Fiskeriförsäkringsförening
+- text: Joensuun ortodoksinen seurakunta
+- text: Scandia Mink Ab konkursbo
 model-index:
 - name: Sociovestix/lenu_FI
   results:
@@ -20,48 +63,6 @@ model-index:
       name: f1 macro
       args:
         average: macro
-widget:
-- text: "BetterMe Finland Oy"
-- text: "Kotkan Kuurojen Yhdistys ry"
-- text: "Kunnallisalan kehittämissäätiö sr"
-- text: "Eero Kurvinen Ky"
-- text: "OP-Tavoite 2 -sijoitusrahasto"
-- text: "Asunto Oy Mertamäki"
-- text: "Uponor Oyj"
-- text: "Keskinäinen Kiinteistö Oy Keijo Lounala"
-- text: "Kuusamon kaupunki"
-- text: "Ilmajoen Musiikkijuhlat ry"
-- text: "Hanne ja Timo Similä avoin yhtiö"
-- text: "Vehmersalmen Osuuspankki"
-- text: "Juvan seurakunta"
-- text: "Nesteen Henkilöstörahasto hr"
-- text: "Suur-Seudun Osuuskauppa SSO"
-- text: "Tmi Ida Lehmus"
-- text: "Pohjois-Karjalan sosiaali- ja terveyspalvelujen kuntayhtymä"
-- text: "Finlaysonin Forssan Tehtaitten Sairauskassa"
-- text: "Suomen Punainen Risti Savo-Karjalan piiri"
-- text: "L-Fashion Group Oy:n Eläkesäätiö"
-- text: "Gummandouran Osakaskunta"
-- text: "Suomen Keskinäinen Lääkevahinkovakuutusyhtiö"
-- text: "Työttömyyskassojen Tukikassa"
-- text: "Kuntien Takauskeskus"
-- text: "LUT-yliopiston ylioppilaskunta"
-- text: "Huoltovarmuuskeskus"
-- text: "Pohjois-Karjalan kauppakamari ry"
-- text: "Turun katolinen seurakunta (Pyhän Birgitan ja Autuaan Hemminginseurakunta)"
-- text: "Närpes Sjukvårdsfond"
-- text: "Kvevlax Sparbank"
-- text: "Valion Eläkekassa"
-- text: "Yhteismetsä Visa"
-- text: "Maatalousyhtymä Niinivehmas & Tallila"
-- text: "Suomen Vahinkovakuutus Oy"
-- text: "Pyhän Marian katolinen seurakunta"
-- text: "Kumpulainen Elma Sofia kuolinpesä"
-- text: "Afarak Group SE"
-- text: "Nordiska Miljöfinansieringsbolaget, Pohjoismaiden ympäristörahoitusyhtiö NEFCO, Nordic Environment Finance Corporation"
-- text: "Österbottens Fiskeriförsäkringsförening"
-- text: "Joensuun ortodoksinen seurakunta"
-- text: "Scandia Mink Ab konkursbo"
 ---
 # LENU - Legal Entity Name Understanding for Finland
 

tokenizer_config.json

@@ -1,12 +1,53 @@
 {
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "104": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
   "cls_token": "[CLS]",
-  "do_lower_case": false,
+  "do_lower_case": true,
   "mask_token": "[MASK]",
   "model_max_length": 512,
-  "name_or_path": "TurkuNLP/bert-base-finnish-cased-v1",
   "pad_token": "[PAD]",
   "sep_token": "[SEP]",
-  "special_tokens_map_file": null,
   "strip_accents": null,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",