tokenizer_config.json

{
  "tokenizer_class": "tokenizer.MedicalcodeTokenizer",
  "vocab_file": "vocab.json",
  "code2tokens_file": "code2tokens.json",
  "code2embedding_file": "code2embeddings.json",
  "auto_map": {
    "AutoTokenizer": ["tokenizer.MedicalcodeTokenizer", "tokenizer.MedicalcodeTokenizer"]
  }
}