tokenizer_config.json

{
  "additional_special_tokens": null,
  "bos_token": "<s>",
  "clean_up_tokenization_spaces": true,
  "cls_token": "<s>",
  "eos_token": "</s>",
  "language_code": [
    "ace",
    "ace_Latn",
    "acm",
    "acq",
    "aeb",
    "afr",
    "ajp",
    "aka",
    "amh",
    "apc",
    "arb",
    "ars",
    "ary",
    "arz",
    "asm",
    "ast",
    "awa",
    "ayr",
    "azb",
    "azj",
    "bak",
    "bam",
    "ban",
    "bel",
    "bem",
    "ben",
    "bho",
    "bjn",
    "bjn_Latn",
    "bod",
    "bos",
    "bug",
    "bul",
    "cat",
    "ceb",
    "ces",
    "cjk",
    "ckb",
    "crh",
    "cym",
    "dan",
    "deu",
    "dik",
    "dyu",
    "dzo",
    "ell",
    "eng",
    "epo",
    "est",
    "eus",
    "ewe",
    "fao",
    "pes",
    "fij",
    "fin",
    "fon",
    "fra",
    "fur",
    "fuv",
    "gla",
    "gle",
    "glg",
    "grn",
    "guj",
    "hat",
    "hau",
    "heb",
    "hin",
    "hne",
    "hrv",
    "hun",
    "hye",
    "ibo",
    "ilo",
    "ind",
    "isl",
    "ita",
    "jav",
    "jpn",
    "kab",
    "kac",
    "kam",
    "kan",
    "kas",
    "kas_Deva",
    "kat",
    "knc",
    "knc_Latn",
    "kaz",
    "kbp",
    "kea",
    "khm",
    "kik",
    "kin",
    "kir",
    "kmb",
    "kon",
    "kor",
    "kmr",
    "lao",
    "lvs",
    "lij",
    "lim",
    "lin",
    "lit",
    "lmo",
    "ltg",
    "ltz",
    "lua",
    "lug",
    "luo",
    "lus",
    "mag",
    "mai",
    "mal",
    "mar",
    "min",
    "mkd",
    "plt",
    "mlt",
    "mni",
    "khk",
    "mos",
    "mri",
    "zsm",
    "mya",
    "nld",
    "nno",
    "nob",
    "npi",
    "nso",
    "nus",
    "nya",
    "oci",
    "gaz",
    "ory",
    "pag",
    "pan",
    "pap",
    "pol",
    "por",
    "prs",
    "pbt",
    "quy",
    "ron",
    "run",
    "rus",
    "sag",
    "san",
    "sat",
    "scn",
    "shn",
    "sin",
    "slk",
    "slv",
    "smo",
    "sna",
    "snd",
    "som",
    "sot",
    "spa",
    "als",
    "srd",
    "srp",
    "ssw",
    "sun",
    "swe",
    "swh",
    "szl",
    "tam",
    "tat",
    "tel",
    "tgk",
    "tgl",
    "tha",
    "tir",
    "taq",
    "taq_Tfng",
    "tpi",
    "tsn",
    "tso",
    "tuk",
    "tum",
    "tur",
    "twi",
    "tzm",
    "uig",
    "ukr",
    "umb",
    "urd",
    "uzn",
    "vec",
    "vie",
    "war",
    "wol",
    "xho",
    "ydd",
    "yor",
    "yue",
    "cmn",
    "cmn_Hant",
    "zul"
  ],
  "model_max_length": 1000000000000000019884624838656,
  "pad_token": "<pad>",
  "processor_class": "SeamlessM4TProcessor",
  "sep_token": "</s>",
  "sp_model_kwargs": {},
  "src_lang": "__eng__",
  "tgt_lang": "__fra__",
  "tokenizer_class": "SeamlessM4TTokenizer",
  "tokenizer_file": null,
  "unk_token": "<unk>"
}