added the tokenizer

README.md

@@ -1,4 +1,13 @@
 ---
+widget:
+- text: 日本マスタートラスト信託銀行株式会社/400031066
+- text: オージーケー技研株式会社
+- text: GTAA SC Fund 4 (For QII Only)
+- text: シティグループ・ジャパン・ホールディングス合同会社
+- text: 大阪府信用農業協同組合連合会
+- text: ディーケ・シッピング有限会社
+- text: Wakwak Partners LLP
+- text: ナカムラ・ユーエスエー・インク
 model-index:
 - name: Sociovestix/lenu_JP
   results:
@@ -20,15 +29,6 @@ model-index:
       name: f1 macro
       args:
         average: macro
-widget:
-- text: "日本マスタートラスト信託銀行株式会社/400031066"
-- text: "オージーケー技研株式会社"
-- text: "GTAA SC Fund 4 (For QII Only)"
-- text: "シティグループ・ジャパン・ホールディングス合同会社"
-- text: "大阪府信用農業協同組合連合会"
-- text: "ディーケ・シッピング有限会社"
-- text: "Wakwak Partners LLP"
-- text: "ナカムラ・ユーエスエー・インク"
 ---
 
 # LENU - Legal Entity Name Understanding for Japan

tokenizer_config.json

@@ -1,4 +1,47 @@
 {
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
   "cls_token": "[CLS]",
   "do_lower_case": false,
   "do_subword_tokenize": true,
@@ -7,11 +50,9 @@
   "mask_token": "[MASK]",
   "mecab_kwargs": null,
   "model_max_length": 512,
-  "name_or_path": "cl-tohoku/bert-base-japanese",
   "never_split": null,
   "pad_token": "[PAD]",
   "sep_token": "[SEP]",
-  "special_tokens_map_file": null,
   "subword_tokenizer_type": "wordpiece",
   "sudachi_kwargs": null,
   "tokenizer_class": "BertJapaneseTokenizer",