tokenizer_config.json

{
    "tokenizer_class": "TiktokenTokenizer",
    "auto_map": {
        "AutoTokenizer": "tiktoken.TiktokenTokenizer"
    },
    "tiktoken_encoding": "gpt2",
    "add_bos_token": false,
    "add_eos_token": false
}