tokenizer_config.json

{
  "vocab_size": 32000,
  "special_tokens": [
    "<pad>",
    "",
    "<s>",
    "</s>",
    "<|im_start|>",
    "<|im_end|>",
    "<|system|>",
    "<|user|>",
    "<|assistant|>"
  ],
  "type": "BPE"
}