| { | |
| "additional_special_tokens": [ | |
| "<af>", | |
| "<am>", | |
| "<ar>", | |
| "<ast>", | |
| "<be>", | |
| "<bg>", | |
| "<bn>", | |
| "<bs>", | |
| "<ca>", | |
| "<cs>", | |
| "<da>", | |
| "<de>", | |
| "<en>", | |
| "<es>", | |
| "<fr>", | |
| "<gu>", | |
| "<ha>", | |
| "<he>", | |
| "<hi>", | |
| "<is>", | |
| "<it>", | |
| "<kab>", | |
| "<kn>", | |
| "<lb>", | |
| "<mr>", | |
| "<mt>", | |
| "<ne>", | |
| "<nl>", | |
| "<no>", | |
| "<oc>", | |
| "<pl>", | |
| "<pt>", | |
| "<ro>", | |
| "<ru>", | |
| "<sd>", | |
| "<so>", | |
| "<sr>", | |
| "<sv>", | |
| "<ti>", | |
| "<uk>", | |
| "<ur>" | |
| ], | |
| "eos_token": { | |
| "content": "</s>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "pad_token": { | |
| "content": "<pad>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| } | |
| } | |