| { | |
| "backend": "tokenizers", | |
| "clean_up_tokenization_spaces": false, | |
| "extra_special_tokens": [ | |
| "<ar-AR>", | |
| "<bg-BG>", | |
| "<cs-CZ>", | |
| "<da-DK>", | |
| "<de-DE>", | |
| "<el-GR>", | |
| "<en-GB>", | |
| "<en-US>", | |
| "<es-ES>", | |
| "<es-US>", | |
| "<et-EE>", | |
| "<fi-FI>", | |
| "<fr-CA>", | |
| "<fr-FR>", | |
| "<he-IL>", | |
| "<hi-IN>", | |
| "<hr-HR>", | |
| "<hu-HU>", | |
| "<it-IT>", | |
| "<ja-JP>", | |
| "<ko-KR>", | |
| "<lt-LT>", | |
| "<lv-LV>", | |
| "<nb-NO>", | |
| "<nl-NL>", | |
| "<nn-NO>", | |
| "<pl-PL>", | |
| "<pt-BR>", | |
| "<pt-PT>", | |
| "<ro-RO>", | |
| "<ru-RU>", | |
| "<sk-SK>", | |
| "<sl-SL>", | |
| "<sv-SE>", | |
| "<th-TH>", | |
| "<tr-TR>", | |
| "<uk-UA>", | |
| "<vi-VN>", | |
| "<zh-CN>" | |
| ], | |
| "model_max_length": 1000000000000000019884624838656, | |
| "pad_token": "<pad>", | |
| "processor_class": "Nemotron3_5AsrProcessor", | |
| "tokenizer_class": "PreTrainedTokenizer", | |
| "unk_token": "<unk>" | |
| } |