seamless_communication/scripts/eval_utils/lang_mapping.py

# Copyright (c) Meta Platforms, Inc. and affiliates
# All rights reserved.
#
# This source code is licensed under the license found in the
# LICENSE file in the root directory of this source tree.

LANG2_LANG3 = {
    "en": "eng",
    "ar": "arb",
    "as": "asm",
    "be": "bel",
    "bg": "bul",
    "bn": "ben",
    "ca": "cat",
    "ckb": "ckb",
    "cs": "ces",
    "cy": "cym",
    "da": "dan",
    "de": "deu",
    "el": "ell",
    "es": "spa",
    "et": "est",
    "fa": "pes",
    "fi": "fin",
    "fr": "fra",
    "ga": "gle",
    "hi": "hin",
    "hu": "hun",
    "id": "ind",
    "it": "ita",
    "ja": "jpn",
    "ka": "kat",
    "ky": "kir",
    "lg": "lug",
    "lt": "lit",
    "lv": "lvs",
    "mn": "khk",
    "mr": "mar",
    "mt": "mlt",
    "nl": "nld",
    "pa": "pan",
    "pl": "pol",
    "pt": "por",
    "ro": "ron",
    "ru": "rus",
    "sk": "slk",
    "sl": "slv",
    "sv": "swe",
    "sw": "swh",
    "ta": "tam",
    "th": "tha",
    "tr": "tur",
    "uk": "ukr",
    "ur": "urd",
    "uz": "uzn",
    "vi": "vie",
    "yue": "yue",
    "af": "afr",
    "is": "isl",
    "lb": "ltz",
    "no": "nob",
    "gl": "glg",
    "kea": "kea",
    "bs": "bos",
    "hr": "hrv",
    "mk": "mkd",
    "sr": "srp",
    "hy": "hye",
    "az": "azj",
    "kk": "kaz",
    "ko": "kor",
    "gu": "guj",
    "kn": "kan",
    "ne": "npi",
    "or": "ory",
    "sd": "snd",
    "te": "tel",
    "ceb": "ceb",
    "jv": "jav",
    "ms": "zlm",
    "ml": "mal",
    "tl": "tgl",
    "tl": "fil",
    "my": "mya",
    "km": "khm",
    "lo": "lao",
    "he": "heb",
    "ps": "pbt",
    "tg": "tgk",
    "am": "amh",
    "ig": "ibo",
    "ln": "lin",
    "nso": "nso",
    "so": "som",
    "xh": "xho",
    "yo": "yor",
    "zu": "zul",
    "kam": "kam",
    "luo": "luo",
    "ny": "nya",
    "om": "gaz",
    "sn": "sna",
    "umb": "umb",
    "ga-IE": "gle",
    "pa": "pan",
    "sv": "swe",
    "ast": "ast",
    "ff": "ful",
    "mi": "mri",
    "ha": "hau",
    "wo": "wol",
    "oc": "oci",
    "ilo": "ilo",
    "ba": "bak",
    "br": "bre",
    "fy": "fry",
    "yi": "yid",
    "tn": "tsn",
    "gd": "gla",
    "ht": "hat",
    "mg": "mlg",
    "ns": "nso",
    "si": "sin",
    "sq": "sqi",
    "ss": "ssw",
    "su": "sun",
    "zh": "cmn",
    "ab": "abk",
    "bas": "bas",
    "cnh": "cnh",
    "cv": "chv",
    "dv": "div",
    "eo": "epo",
    "eu": "eus",
    "fy-NL": "fry",
    "gn": "grn",
    "hsb": "hsb",
    "hy": "hye",
    "ia": "ina",
    "kab": "kab",
    "kmr": "kmr",
    "mdf": "mdf",
    "mhr": "mhr",
    "myv": "myv",
    "nan-tw": "hbl",
    "ne": "npi",
    "nn-NO": "nno",
    "rm-sursilv": "rm-sursilv",
    "rm-vallader": "rm-vallader",
    "rw": "kin",
    "sah": "sah",
    "sat": "sat",
    "sc": "srd",
    "tig": "tig",
    "tok": "tok",
    "tt": "tat",
    "ug": "uig",
    "vot": "vot",
    "mrj": "mrj",
    "skr": "skr",
    "ti": "tir",
    "tw": "twi",
    "bo": "bod",
    "fo": "fao",
    "gv": "glv",
    "haw": "haw",
    "la": "lat",
    "sa": "san",
    "sco": "sco",
    "war": "war",
    "he": "heb",
    "jw": "jav",
    "nn": "nno",
    "tk": "tuk",
}
LANG3_LANG2 = {v: k for k, v in LANG2_LANG3.items()}