Ducky-MoMoe-prototype-e4-ul2 / special_tokens_map.json
crumb's picture
Upload tokenizer
aaa9a28
{
"additional_special_tokens": [
"[R-DENOISING]",
"[X-DENOISING]",
"[S-DENOISING]",
"<extra_token_0>",
"<extra_token_1>",
"<extra_token_2>",
"<extra_token_3>",
"<extra_token_4>",
"<extra_token_5>",
"<extra_token_6>",
"<extra_token_7>",
"<extra_token_8>",
"<extra_token_9>",
"<extra_token_10>",
"<extra_token_11>",
"<extra_token_12>",
"<extra_token_13>",
"<extra_token_14>",
"<extra_token_15>",
"<extra_token_16>",
"<extra_token_17>",
"<extra_token_18>",
"<extra_token_19>",
"<extra_token_20>",
"<extra_token_21>",
"<extra_token_22>",
"<extra_token_23>",
"<extra_token_24>",
"<extra_token_25>",
"<extra_token_26>",
"<extra_token_27>",
"<extra_token_28>",
"<extra_token_29>",
"<extra_token_30>",
"<extra_token_31>",
"<extra_token_32>",
"<extra_token_33>",
"<extra_token_34>",
"<extra_token_35>",
"<extra_token_36>",
"<extra_token_37>",
"<extra_token_38>",
"<extra_token_39>",
"<extra_token_40>",
"<extra_token_41>",
"<extra_token_42>",
"<extra_token_43>",
"<extra_token_44>",
"<extra_token_45>",
"<extra_token_46>",
"<extra_token_47>",
"<extra_token_48>",
"<extra_token_49>",
"<extra_token_50>",
"<extra_token_51>",
"<extra_token_52>",
"<extra_token_53>",
"<extra_token_54>",
"<extra_token_55>",
"<extra_token_56>",
"<extra_token_57>",
"<extra_token_58>",
"<extra_token_59>"
],
"bos_token": "<|endoftext|>",
"eos_token": "<|endoftext|>",
"pad_token": "<|endoftext|>",
"unk_token": "<|endoftext|>"
}