Cohere_asr / special_tokens_map.json
mohdasif81's picture
Upload folder using huggingface_hub
1117853 verified
{
"additional_special_tokens": [
"<|nospeech|>",
"<|pnc|>",
"<|nopnc|>",
"<|startofcontext|>",
"<|itn|>",
"<|noitn|>",
"<|timestamp|>",
"<|notimestamp|>",
"<|diarize|>",
"<|nodiarize|>",
"<|spkchange|>",
"<|audioseparator|>",
"<|emo:undefined|>",
"<|emo:neutral|>",
"<|emo:happy|>",
"<|emo:sad|>",
"<|emo:angry|>",
"<|unklang|>",
"<|aa|>",
"<|ab|>",
"<|af|>",
"<|ak|>",
"<|sq|>",
"<|am|>",
"<|ar|>",
"<|an|>",
"<|hy|>",
"<|as|>",
"<|av|>",
"<|ae|>",
"<|ay|>",
"<|az|>",
"<|bm|>",
"<|ba|>",
"<|eu|>",
"<|be|>",
"<|bn|>",
"<|bi|>",
"<|bs|>",
"<|br|>",
"<|bg|>",
"<|my|>",
"<|ca|>",
"<|ch|>",
"<|ce|>",
"<|ny|>",
"<|zh|>",
"<|cu|>",
"<|cv|>",
"<|kw|>",
"<|co|>",
"<|cr|>",
"<|hr|>",
"<|cs|>",
"<|da|>",
"<|dv|>",
"<|nl|>",
"<|dz|>",
"<|en|>",
"<|eo|>",
"<|et|>",
"<|ee|>",
"<|fo|>",
"<|fj|>",
"<|fi|>",
"<|fr|>",
"<|fy|>",
"<|ff|>",
"<|gd|>",
"<|gl|>",
"<|lg|>",
"<|ka|>",
"<|de|>",
"<|el|>",
"<|kl|>",
"<|gn|>",
"<|gu|>",
"<|ht|>",
"<|ha|>",
"<|he|>",
"<|hz|>",
"<|hi|>",
"<|ho|>",
"<|hu|>",
"<|is|>",
"<|io|>",
"<|ig|>",
"<|id|>",
"<|ia|>",
"<|ie|>",
"<|iu|>",
"<|ik|>",
"<|ga|>",
"<|it|>",
"<|ja|>",
"<|jv|>",
"<|kn|>",
"<|kr|>",
"<|ks|>",
"<|kk|>",
"<|km|>",
"<|ki|>",
"<|rw|>",
"<|ky|>",
"<|kv|>",
"<|kg|>",
"<|ko|>",
"<|kj|>",
"<|ku|>",
"<|lo|>",
"<|la|>",
"<|lv|>",
"<|li|>",
"<|ln|>",
"<|lt|>",
"<|lu|>",
"<|lb|>",
"<|mk|>",
"<|mg|>",
"<|ms|>",
"<|ml|>",
"<|mt|>",
"<|gv|>",
"<|mi|>",
"<|mr|>",
"<|mh|>",
"<|mn|>",
"<|na|>",
"<|nv|>",
"<|nd|>",
"<|nr|>",
"<|ng|>",
"<|ne|>",
"<|no|>",
"<|nb|>",
"<|nn|>",
"<|oc|>",
"<|oj|>",
"<|or|>",
"<|om|>",
"<|os|>",
"<|pi|>",
"<|ps|>",
"<|fa|>",
"<|pl|>",
"<|pt|>",
"<|pa|>",
"<|qu|>",
"<|ro|>",
"<|rm|>",
"<|rn|>",
"<|ru|>",
"<|se|>",
"<|sm|>",
"<|sg|>",
"<|sa|>",
"<|sc|>",
"<|sr|>",
"<|sn|>",
"<|sd|>",
"<|si|>",
"<|sk|>",
"<|sl|>",
"<|so|>",
"<|st|>",
"<|es|>",
"<|su|>",
"<|sw|>",
"<|ss|>",
"<|sv|>",
"<|tl|>",
"<|ty|>",
"<|tg|>",
"<|ta|>",
"<|tt|>",
"<|te|>",
"<|th|>",
"<|bo|>",
"<|ti|>",
"<|to|>",
"<|ts|>",
"<|tn|>",
"<|tr|>",
"<|tk|>",
"<|tw|>",
"<|ug|>",
"<|uk|>",
"<|ur|>",
"<|uz|>",
"<|ve|>",
"<|vi|>",
"<|vo|>",
"<|wa|>",
"<|cy|>",
"<|wo|>",
"<|xh|>",
"<|ii|>",
"<|yi|>",
"<|yo|>",
"<|za|>",
"<|zu|>",
"<|spk0|>",
"<|spk1|>",
"<|spk2|>",
"<|spk3|>",
"<|spk4|>",
"<|spk5|>",
"<|spk6|>",
"<|spk7|>",
"<|spk8|>",
"<|spk9|>",
"<|spk10|>",
"<|spk11|>",
"<|spk12|>",
"<|spk13|>",
"<|spk14|>",
"<|spk15|>",
"<|spltoken0|>",
"<|spltoken1|>",
"<|spltoken2|>",
"<|spltoken3|>",
"<|spltoken4|>",
"<|spltoken5|>",
"<|spltoken6|>",
"<|spltoken7|>",
"<|spltoken8|>",
"<|spltoken9|>",
"<|spltoken10|>",
"<|spltoken11|>",
"<|spltoken12|>",
"<|spltoken13|>",
"<|spltoken14|>",
"<|spltoken15|>",
"<|spltoken16|>",
"<|spltoken17|>",
"<|spltoken18|>",
"<|spltoken19|>",
"<|spltoken20|>",
"<|spltoken21|>",
"<|spltoken22|>",
"<|spltoken23|>",
"<|spltoken24|>",
"<|spltoken25|>",
"<|spltoken26|>",
"<|spltoken27|>",
"<|spltoken28|>",
"<|spltoken29|>",
"<|spltoken30|>",
"<|spltoken31|>",
"<|spltoken32|>",
"<|spltoken33|>"
],
"bos_token": "<|startoftranscript|>",
"eos_token": "<|endoftext|>",
"pad_token": "<pad>",
"unk_token": "<unk>"
}