yo

tokenizer_config.json

@@ -1,5 +1,7 @@
 {
     "auto_map": {
         "AutoTokenizer": "custom_model.CustomTokenizer"
-    }
+    },
+    "tokenizer_class": "CustomTokenizer"
+
 }