pretrain / tokenizer_config.json
suku9's picture
End of training
e0e6c66 verified
raw
history blame contribute delete
397 Bytes
{
"pad_token": "<pad>",
"eos_token": "</s>",
"bos_token": "<go>",
"unk_token": "<unk>",
"vocab": [
"<pad>",
"</s>",
"<unk>",
"<go>",
"S",
"O",
"2",
"n",
"l",
"F",
"H",
"C",
"o",
"5",
"r",
"s",
"=",
"6",
"[",
"N",
"4",
"c",
"-",
"3",
")",
"#",
"]",
"B",
"(",
"1"
]
}