tokenizer.json

{
  "model": {
    "type": "BPE",
    "vocab_size": 32000
  },
  "normalizer": {
    "type": "Lowercase"
  },
  "pre_tokenizer": {
    "type": "Whitespace"
  }
}