File size: 186 Bytes
6ec2e4a | 1 2 3 4 5 6 7 8 9 | {
"model_type": "gpt2",
"bos_token": "[BOS]",
"eos_token": "[EOS]",
"unk_token": "[UNK]",
"pad_token": "[PAD]",
"do_lower_case": false,
"tokenizer_class": "GPT2Tokenizer"
} |
6ec2e4a | 1 2 3 4 5 6 7 8 9 | {
"model_type": "gpt2",
"bos_token": "[BOS]",
"eos_token": "[EOS]",
"unk_token": "[UNK]",
"pad_token": "[PAD]",
"do_lower_case": false,
"tokenizer_class": "GPT2Tokenizer"
} |