Create tokenizer_config.json

tokenizer_config.json

@@ -0,0 +1,9 @@
+{
+  "tokenizer_class": "MedTok",
+  "vocab_file": "vocab.json",
+  "code2tokens_file": "code2tokens.json",
+  "code2embedding_file": "code2embeddings.json",
+  "auto_map": {
+    "AutoTokenizer": "tokenizer.MedTok"
+  }
+}