tokenizer_config.json

{
  "tokenizer_class": "tokenization_hyformer.HyformerTokenizer",
  "auto_map": {
    "AutoTokenizer": "tokenization_hyformer.HyformerTokenizer"
  },
  "init_kwargs": {
    "mode": "aa",
    "bos_token": "<s>",
    "eos_token": "</s>",
    "pad_token": "<pad>",
    "unk_token": "<unk>",
    "mask_token": "<mask>"
  }
}