added the tokenizer

README.md

@@ -1,4 +1,34 @@
 ---
+widget:
+- text: Licht-Express Leuchtenvertrieb Gesellschaft mit beschränkter Haftung
+- text: Lux 16 Briest BO GmbH & Co. KG
+- text: Stiftung für Kunst und Kunstakademie Nürtingen - Stiftung des bürgerlichen
+    Rechts
+- text: Wasserverband Eifel-Rur
+- text: Altenstiftung zur Einigkeit
+- text: UFH-Börsenladies GbR
+- text: MunichFinancialServices AG Holding
+- text: Evangelisch-Lutherischer Kirchenbezirk Leipzig
+- text: Das Küchenkollektiv UG (haftungsbeschränkt)
+- text: Kath. Kirchenstiftung St. Johann Baptist Unterdarching
+- text: maratim eG
+- text: Kunststiftung Baden-Württemberg gGmbH
+- text: Tectrade 93 e.K.
+- text: SOLIDAR Versicherungsgemeinschaft Sterbegeldversicherung VVaG
+- text: Sparkasse Bielefeld
+- text: PKF WULF EGERMANN oHG Zollernalb Treuhand Wirtschaftsprüfungsgesellschaft
+    Steuerberatungsgesellschaft
+- text: Flink SE
+- text: Deutsche Gesellschaft zur Rettung Schiffbrüchiger
+- text: Fini Invest GmbH & Co. KGaA
+- text: Lengermann Hoffmann Partnerschaft mbB, Steuerberater
+- text: Rechtsanwälte Dr. Schmitt und Kollegen Partnerschaft
+- text: Krefelder Frauenverein für Kinder- und Altenfürsorge gegr. 1827
+- text: Urlaubs- und Lohnausgleichskasse der Bauwirtschaft
+- text: Weingärtner Esslingen e.G.
+- text: Relaxation and Security EWIV
+- text: DWS Investmentaktiengesellschaft mit Teilgesellschaftsvermögen
+- text: Feldmarkinteressentschaft Broitzem
 model-index:
 - name: Sociovestix/lenu_DE
   results:
@@ -20,34 +50,6 @@ model-index:
       name: f1 macro
       args:
         average: macro
-widget:
-- text: "Licht-Express Leuchtenvertrieb Gesellschaft mit beschränkter Haftung"
-- text: "Lux 16 Briest BO GmbH & Co. KG"
-- text: "Stiftung für Kunst und Kunstakademie Nürtingen - Stiftung des bürgerlichen Rechts"
-- text: "Wasserverband Eifel-Rur"
-- text: "Altenstiftung zur Einigkeit"
-- text: "UFH-Börsenladies GbR"
-- text: "MunichFinancialServices AG Holding"
-- text: "Evangelisch-Lutherischer Kirchenbezirk Leipzig"
-- text: "Das Küchenkollektiv UG (haftungsbeschränkt)"
-- text: "Kath. Kirchenstiftung St. Johann Baptist Unterdarching"
-- text: "maratim eG"
-- text: "Kunststiftung Baden-Württemberg gGmbH"
-- text: "Tectrade 93 e.K."
-- text: "SOLIDAR Versicherungsgemeinschaft Sterbegeldversicherung VVaG"
-- text: "Sparkasse Bielefeld"
-- text: "PKF WULF EGERMANN oHG Zollernalb Treuhand Wirtschaftsprüfungsgesellschaft Steuerberatungsgesellschaft"
-- text: "Flink SE"
-- text: "Deutsche Gesellschaft zur Rettung Schiffbrüchiger"
-- text: "Fini Invest GmbH & Co. KGaA"
-- text: "Lengermann Hoffmann Partnerschaft mbB, Steuerberater"
-- text: "Rechtsanwälte Dr. Schmitt und Kollegen Partnerschaft"
-- text: "Krefelder Frauenverein für Kinder- und Altenfürsorge gegr. 1827"
-- text: "Urlaubs- und Lohnausgleichskasse der Bauwirtschaft"
-- text: "Weingärtner Esslingen e.G."
-- text: "Relaxation and Security EWIV"
-- text: "DWS Investmentaktiengesellschaft mit Teilgesellschaftsvermögen"
-- text: "Feldmarkinteressentschaft Broitzem"
 ---
 # LENU - Legal Entity Name Understanding for Germany
 

tokenizer.json

@@ -1,21 +1,7 @@
 {
   "version": "1.0",
-  "truncation": {
-    "direction": "Right",
-    "max_length": 25,
-    "strategy": "LongestFirst",
-    "stride": 0
-  },
-  "padding": {
-    "strategy": {
-      "Fixed": 25
-    },
-    "direction": "Right",
-    "pad_to_multiple_of": null,
-    "pad_id": 0,
-    "pad_type_id": 0,
-    "pad_token": "[PAD]"
-  },
+  "truncation": null,
+  "padding": null,
   "added_tokens": [
     {
       "id": 0,

tokenizer_config.json

@@ -1,15 +1,56 @@
 {
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "104": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
   "cls_token": "[CLS]",
   "do_basic_tokenize": true,
   "do_lower_case": true,
   "mask_token": "[MASK]",
   "max_len": 512,
   "model_max_length": 512,
-  "name_or_path": "dbmdz/bert-base-german-uncased",
   "never_split": null,
   "pad_token": "[PAD]",
   "sep_token": "[SEP]",
-  "special_tokens_map_file": null,
   "strip_accents": null,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",