| { |
| "add_prefix_space": false, |
| "audio_bos_token": "<|audio_start|>", |
| "audio_eos_token": "<|audio_end|>", |
| "audio_token": "<|audio_pad|>", |
| "backend": "tokenizers", |
| "bos_token": "<bos>", |
| "clean_up_tokenization_spaces": false, |
| "eos_token": "<eos>", |
| "errors": "replace", |
| "extra_special_tokens": [ |
| "<input>", |
| "<output>", |
| "<3d_begin>", |
| "<z_0>", |
| "<z_1>", |
| "<z_2>", |
| "<z_3>", |
| "<z_4>", |
| "<z_5>", |
| "<z_6>", |
| "<z_7>", |
| "<n_0>", |
| "<n_1>", |
| "<n_2>", |
| "<n_3>", |
| "<n_4>", |
| "<n_5>", |
| "<n_6>", |
| "<n_7>", |
| "<n_8>", |
| "<n_9>", |
| "<n_10>", |
| "<n_11>", |
| "<n_12>", |
| "<n_13>", |
| "<n_14>", |
| "<n_15>", |
| "<n_16>", |
| "<n_17>", |
| "<n_18>", |
| "<n_19>", |
| "<n_20>", |
| "<n_21>", |
| "<n_22>", |
| "<n_23>", |
| "<n_24>", |
| "<n_25>", |
| "<n_26>", |
| "<n_27>", |
| "<n_28>", |
| "<n_29>", |
| "<n_30>", |
| "<n_31>", |
| "<n_32>", |
| "<n_33>", |
| "<n_34>", |
| "<n_35>", |
| "<n_36>", |
| "<n_37>", |
| "<n_38>", |
| "<n_39>", |
| "<n_40>", |
| "<n_41>", |
| "<n_42>", |
| "<n_43>", |
| "<n_44>", |
| "<n_45>", |
| "<n_46>", |
| "<n_47>", |
| "<n_48>", |
| "<n_49>", |
| "<n_50>", |
| "<n_51>", |
| "<n_52>", |
| "<n_53>", |
| "<n_54>", |
| "<n_55>", |
| "<n_56>", |
| "<n_57>", |
| "<n_58>", |
| "<n_59>", |
| "<n_60>", |
| "<n_61>", |
| "<n_62>", |
| "<n_63>", |
| "<n_64>", |
| "<c_0>", |
| "<c_1>", |
| "<c_2>", |
| "<c_3>", |
| "<c_4>", |
| "<c_5>", |
| "<c_6>", |
| "<c_7>", |
| "<c_8>", |
| "<c_9>", |
| "<c_10>", |
| "<c_11>", |
| "<c_12>", |
| "<c_13>", |
| "<c_14>", |
| "<c_15>", |
| "<c_16>", |
| "<c_17>", |
| "<c_18>", |
| "<c_19>", |
| "<c_20>", |
| "<c_21>", |
| "<c_22>", |
| "<c_23>", |
| "<c_24>", |
| "<c_25>", |
| "<c_26>", |
| "<c_27>", |
| "<c_28>", |
| "<c_29>", |
| "<c_30>", |
| "<c_31>", |
| "<c_32>", |
| "<c_33>", |
| "<c_34>", |
| "<c_35>", |
| "<c_36>", |
| "<c_37>", |
| "<c_38>", |
| "<c_39>", |
| "<c_40>", |
| "<c_41>", |
| "<c_42>", |
| "<c_43>", |
| "<c_44>", |
| "<c_45>", |
| "<c_46>", |
| "<c_47>", |
| "<c_48>", |
| "<c_49>", |
| "<c_50>", |
| "<c_51>", |
| "<c_52>", |
| "<c_53>", |
| "<c_54>", |
| "<c_55>", |
| "<c_56>", |
| "<c_57>", |
| "<c_58>", |
| "<c_59>", |
| "<c_60>", |
| "<c_61>", |
| "<c_62>", |
| "<c_63>", |
| "<3d_end>" |
| ], |
| "image_token": "<|image_pad|>", |
| "is_local": true, |
| "model_max_length": 262144, |
| "model_specific_special_tokens": { |
| "audio_bos_token": "<|audio_start|>", |
| "audio_eos_token": "<|audio_end|>", |
| "audio_token": "<|audio_pad|>", |
| "image_token": "<|image_pad|>", |
| "video_token": "<|video_pad|>", |
| "vision_bos_token": "<|vision_start|>", |
| "vision_eos_token": "<|vision_end|>" |
| }, |
| "pad_token": "<pad>", |
| "pretokenize_regex": "(?i:'s|'t|'re|'ve|'m|'ll|'d)|[^\\r\\n\\p{L}\\p{N}]?[\\p{L}\\p{M}]+|\\p{N}| ?[^\\s\\p{L}\\p{M}\\p{N}]+[\\r\\n]*|\\s*[\\r\\n]+|\\s+(?!\\S)|\\s+", |
| "split_special_tokens": false, |
| "tokenizer_class": "TokenizersBackend", |
| "unk_token": null, |
| "video_token": "<|video_pad|>", |
| "vision_bos_token": "<|vision_start|>", |
| "vision_eos_token": "<|vision_end|>" |
| } |
|
|
