tokenizer_config.json

{
  "type": "char",
  "pad_token": "[PAD]",
  "unk_token": "[UNK]",
  "bos_token": "[BOS]",
  "eos_token": "[EOS]",
  "sep_token": "[SEP]",
  "extra_special_tokens": [],
  "vocab_size": 1851
}