Upload seamless_communication/cli/eval_utils/lang_mapping.py with huggingface_hub

seamless_communication/cli/eval_utils/lang_mapping.py

@@ -0,0 +1,176 @@
+# Copyright (c) Meta Platforms, Inc. and affiliates
+# All rights reserved.
+#
+# This source code is licensed under the license found in the
+# MIT_LICENSE file in the root directory of this source tree.
+
+LANG2_LANG3 = {
+    "en": "eng",
+    "ar": "arb",
+    "as": "asm",
+    "be": "bel",
+    "bg": "bul",
+    "bn": "ben",
+    "ca": "cat",
+    "ckb": "ckb",
+    "cs": "ces",
+    "cy": "cym",
+    "da": "dan",
+    "de": "deu",
+    "el": "ell",
+    "es": "spa",
+    "et": "est",
+    "fa": "pes",
+    "fi": "fin",
+    "fr": "fra",
+    "ga": "gle",
+    "hi": "hin",
+    "hu": "hun",
+    "id": "ind",
+    "it": "ita",
+    "ja": "jpn",
+    "ka": "kat",
+    "ky": "kir",
+    "lg": "lug",
+    "lt": "lit",
+    "lv": "lvs",
+    "mn": "khk",
+    "mr": "mar",
+    "mt": "mlt",
+    "nl": "nld",
+    "pa": "pan",
+    "pl": "pol",
+    "pt": "por",
+    "ro": "ron",
+    "ru": "rus",
+    "sk": "slk",
+    "sl": "slv",
+    "sv": "swe",
+    "sw": "swh",
+    "ta": "tam",
+    "th": "tha",
+    "tr": "tur",
+    "uk": "ukr",
+    "ur": "urd",
+    "uz": "uzn",
+    "vi": "vie",
+    "yue": "yue",
+    "af": "afr",
+    "is": "isl",
+    "lb": "ltz",
+    "no": "nob",
+    "gl": "glg",
+    "kea": "kea",
+    "bs": "bos",
+    "hr": "hrv",
+    "mk": "mkd",
+    "sr": "srp",
+    "hy": "hye",
+    "az": "azj",
+    "kk": "kaz",
+    "ko": "kor",
+    "gu": "guj",
+    "kn": "kan",
+    "ne": "npi",
+    "or": "ory",
+    "sd": "snd",
+    "te": "tel",
+    "ceb": "ceb",
+    "jv": "jav",
+    "ms": "zlm",
+    "ml": "mal",
+    "tl": "tgl",
+    "tl": "fil",
+    "my": "mya",
+    "km": "khm",
+    "lo": "lao",
+    "he": "heb",
+    "ps": "pbt",
+    "tg": "tgk",
+    "am": "amh",
+    "ig": "ibo",
+    "ln": "lin",
+    "nso": "nso",
+    "so": "som",
+    "xh": "xho",
+    "yo": "yor",
+    "zu": "zul",
+    "kam": "kam",
+    "luo": "luo",
+    "ny": "nya",
+    "om": "gaz",
+    "sn": "sna",
+    "umb": "umb",
+    "ga-IE": "gle",
+    "pa": "pan",
+    "sv": "swe",
+    "ast": "ast",
+    "ff": "ful",
+    "mi": "mri",
+    "ha": "hau",
+    "wo": "wol",
+    "oc": "oci",
+    "ilo": "ilo",
+    "ba": "bak",
+    "br": "bre",
+    "fy": "fry",
+    "yi": "yid",
+    "tn": "tsn",
+    "gd": "gla",
+    "ht": "hat",
+    "mg": "mlg",
+    "ns": "nso",
+    "si": "sin",
+    "sq": "sqi",
+    "ss": "ssw",
+    "su": "sun",
+    "zh": "cmn",
+    "ab": "abk",
+    "bas": "bas",
+    "cnh": "cnh",
+    "cv": "chv",
+    "dv": "div",
+    "eo": "epo",
+    "eu": "eus",
+    "fy-NL": "fry",
+    "gn": "grn",
+    "hsb": "hsb",
+    "hy": "hye",
+    "ia": "ina",
+    "kab": "kab",
+    "kmr": "kmr",
+    "mdf": "mdf",
+    "mhr": "mhr",
+    "myv": "myv",
+    "nan-tw": "hbl",
+    "ne": "npi",
+    "nn-NO": "nno",
+    "rm-sursilv": "rm-sursilv",
+    "rm-vallader": "rm-vallader",
+    "rw": "kin",
+    "sah": "sah",
+    "sat": "sat",
+    "sc": "srd",
+    "tig": "tig",
+    "tok": "tok",
+    "tt": "tat",
+    "ug": "uig",
+    "vot": "vot",
+    "mrj": "mrj",
+    "skr": "skr",
+    "ti": "tir",
+    "tw": "twi",
+    "bo": "bod",
+    "fo": "fao",
+    "gv": "glv",
+    "haw": "haw",
+    "la": "lat",
+    "sa": "san",
+    "sco": "sco",
+    "war": "war",
+    "he": "heb",
+    "jw": "jav",
+    "nn": "nno",
+    "tk": "tuk",
+}
+LANG3_LANG2 = {v: k for k, v in LANG2_LANG3.items()}