added the tokenizer

README.md

@@ -1,4 +1,34 @@
 ---
+widget:
+- text: ALU – SV CZ, s.r.o.
+- text: CZ STAVEBNÍ HOLDING, a.s.
+- text: NOVA Real Estate - podfond 1
+- text: Město Libušín
+- text: Ing. Jan Řezník
+- text: Stavební bytové družstvo Jindřichův Hradec
+- text: SHERLOG SE
+- text: Interim Investment svěřenský fond
+- text: Arcidiecézní charita Praha
+- text: Nadace Kardiocentrum České Budějovice
+- text: Svaz modelářů České republiky z.s.
+- text: VAN GRAAF, k.s.
+- text: Odbory KOVO MB
+- text: Vilau v.o.s.
+- text: Společenství vlastníků jednotek Purkyňova 1106/17, Opava
+- text: OSMA - ČR - OJ034
+- text: Římskokatolická farnost Těchlovice
+- text: Nadační fond TELEPACE
+- text: MILNEA státní podnik v likvidaci
+- text: ČIPA, o.p.s.
+- text: Ústav pro evropskou integraci z.ú.
+- text: AWP P&C Česká republika - odštěpný závod zahraniční právnické osoby
+- text: Moravskoslezský kraj
+- text: ecoenerg Windkraft GmbH & Co. KG, organizační složka
+- text: Ústav experimentální botaniky AV ČR, v. v. i.
+- text: NIX.CZ, z.s.p.o.
+- text: Obvodní soud pro Prahu 9
+- text: Svazek obcí pro vodovody a kanalizace Šlapanicko
+- text: Intel Czech Tradings, Inc., organizační složka
 model-index:
 - name: Sociovestix/lenu_CZ
   results:
@@ -20,36 +50,6 @@ model-index:
       name: f1 macro
       args:
         average: macro
-widget:
-- text: "ALU – SV CZ, s.r.o."
-- text: "CZ STAVEBNÍ HOLDING, a.s."
-- text: "NOVA Real Estate - podfond 1"
-- text: "Město Libušín"
-- text: "Ing. Jan Řezník"
-- text: "Stavební bytové družstvo Jindřichův Hradec"
-- text: "SHERLOG SE"
-- text: "Interim Investment svěřenský fond"
-- text: "Arcidiecézní charita Praha"
-- text: "Nadace Kardiocentrum České Budějovice"
-- text: "Svaz modelářů České republiky z.s."
-- text: "VAN GRAAF, k.s."
-- text: "Odbory KOVO MB"
-- text: "Vilau v.o.s."
-- text: "Společenství vlastníků jednotek Purkyňova 1106/17, Opava"
-- text: "OSMA - ČR - OJ034"
-- text: "Římskokatolická farnost Těchlovice"
-- text: "Nadační fond TELEPACE"
-- text: "MILNEA státní podnik v likvidaci"
-- text: "ČIPA, o.p.s."
-- text: "Ústav pro evropskou integraci z.ú."
-- text: "AWP P&C Česká republika - odštěpný závod zahraniční právnické osoby"
-- text: "Moravskoslezský kraj"
-- text: "ecoenerg Windkraft GmbH & Co. KG, organizační složka"
-- text: "Ústav experimentální botaniky AV ČR, v. v. i."
-- text: "NIX.CZ, z.s.p.o."
-- text: "Obvodní soud pro Prahu 9"
-- text: "Svazek obcí pro vodovody a kanalizace Šlapanicko"
-- text: "Intel Czech Tradings, Inc., organizační složka"
 ---
 
 # LENU - Legal Entity Name Understanding for Czech Republic

tokenizer.json

@@ -2,13 +2,13 @@
   "version": "1.0",
   "truncation": {
     "direction": "Right",
-    "max_length": 25,
+    "max_length": 30,
     "strategy": "LongestFirst",
     "stride": 0
   },
   "padding": {
     "strategy": {
-      "Fixed": 25
+      "Fixed": 30
     },
     "direction": "Right",
     "pad_to_multiple_of": null,

tokenizer_config.json

@@ -1,12 +1,53 @@
 {
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "100": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
   "cls_token": "[CLS]",
   "do_lower_case": true,
   "mask_token": "[MASK]",
   "model_max_length": 512,
-  "name_or_path": "bert-base-multilingual-uncased",
   "pad_token": "[PAD]",
   "sep_token": "[SEP]",
-  "special_tokens_map_file": null,
   "strip_accents": null,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",