34aa9f1
1
2
3
4
5
6
7
8
{ "tokenizer_class": "PreTrainedTokenizerFast", "unk_token": "[UNK]", "pad_token": "[PAD]", "bos_token": "[BOS]", "eos_token": "[EOS]", "model_max_length": 64 }
