tigre-sonar-encoder / model /added_tokens.json
beshiribrahim's picture
Upload 9 files
5e9adf5 verified
{
"<mask>": 75861,
"ace_Arab": 75862,
"ace_Latn": 75863,
"acm_Arab": 75864,
"acq_Arab": 75865,
"aeb_Arab": 75866,
"afr_Latn": 75867,
"ajp_Arab": 75868,
"aka_Latn": 75869,
"als_Latn": 75870,
"amh_Ethi": 75871,
"apc_Arab": 75872,
"arb_Arab": 75873,
"ars_Arab": 75874,
"ary_Arab": 75875,
"arz_Arab": 75876,
"asm_Beng": 75877,
"ast_Latn": 75878,
"awa_Deva": 75879,
"ayr_Latn": 75880,
"azb_Arab": 75881,
"azj_Latn": 75882,
"bak_Cyrl": 75883,
"bam_Latn": 75884,
"ban_Latn": 75885,
"bel_Cyrl": 75886,
"bem_Latn": 75887,
"ben_Beng": 75888,
"bho_Deva": 75889,
"bjn_Arab": 75890,
"bjn_Latn": 75891,
"bod_Tibt": 75892,
"bos_Latn": 75893,
"bug_Latn": 75894,
"bul_Cyrl": 75895,
"cat_Latn": 75896,
"ceb_Latn": 75897,
"ces_Latn": 75898,
"cjk_Latn": 75899,
"ckb_Arab": 75900,
"crh_Latn": 75901,
"cym_Latn": 75902,
"dan_Latn": 75903,
"deu_Latn": 75904,
"dik_Latn": 75905,
"dyu_Latn": 75906,
"dzo_Tibt": 75907,
"ell_Grek": 75908,
"eng_Latn": 75909,
"epo_Latn": 75910,
"est_Latn": 75911,
"eus_Latn": 75912,
"ewe_Latn": 75913,
"fao_Latn": 75914,
"fij_Latn": 75915,
"fin_Latn": 75916,
"fon_Latn": 75917,
"fra_Latn": 75918,
"fur_Latn": 75919,
"fuv_Latn": 75920,
"gaz_Latn": 75921,
"gla_Latn": 75922,
"gle_Latn": 75923,
"glg_Latn": 75924,
"grn_Latn": 75925,
"guj_Gujr": 75926,
"hat_Latn": 75927,
"hau_Latn": 75928,
"heb_Hebr": 75929,
"hin_Deva": 75930,
"hne_Deva": 75931,
"hrv_Latn": 75932,
"hun_Latn": 75933,
"hye_Armn": 75934,
"ibo_Latn": 75935,
"ilo_Latn": 75936,
"ind_Latn": 75937,
"isl_Latn": 75938,
"ita_Latn": 75939,
"jav_Latn": 75940,
"jpn_Jpan": 75941,
"kab_Latn": 75942,
"kac_Latn": 75943,
"kam_Latn": 75944,
"kan_Knda": 75945,
"kas_Arab": 75946,
"kas_Deva": 75947,
"kat_Geor": 75948,
"kaz_Cyrl": 75949,
"kbp_Latn": 75950,
"kea_Latn": 75951,
"khk_Cyrl": 75952,
"khm_Khmr": 75953,
"kik_Latn": 75954,
"kin_Latn": 75955,
"kir_Cyrl": 75956,
"kmb_Latn": 75957,
"kmr_Latn": 75958,
"knc_Arab": 75959,
"knc_Latn": 75960,
"kon_Latn": 75961,
"kor_Hang": 75962,
"lao_Laoo": 75963,
"lij_Latn": 75964,
"lim_Latn": 75965,
"lin_Latn": 75966,
"lit_Latn": 75967,
"lmo_Latn": 75968,
"ltg_Latn": 75969,
"ltz_Latn": 75970,
"lua_Latn": 75971,
"lug_Latn": 75972,
"luo_Latn": 75973,
"lus_Latn": 75974,
"lvs_Latn": 75975,
"mag_Deva": 75976,
"mai_Deva": 75977,
"mal_Mlym": 75978,
"mar_Deva": 75979,
"min_Latn": 75980,
"mkd_Cyrl": 75981,
"mlt_Latn": 75982,
"mni_Beng": 75983,
"mos_Latn": 75984,
"mri_Latn": 75985,
"mya_Mymr": 75986,
"nld_Latn": 75987,
"nno_Latn": 75988,
"nob_Latn": 75989,
"npi_Deva": 75990,
"nso_Latn": 75991,
"nus_Latn": 75992,
"nya_Latn": 75993,
"oci_Latn": 75994,
"ory_Orya": 75995,
"pag_Latn": 75996,
"pan_Guru": 75997,
"pap_Latn": 75998,
"pbt_Arab": 75999,
"pes_Arab": 76000,
"plt_Latn": 76001,
"pol_Latn": 76002,
"por_Latn": 76003,
"prs_Arab": 76004,
"quy_Latn": 76005,
"ron_Latn": 76006,
"run_Latn": 76007,
"rus_Cyrl": 76008,
"sag_Latn": 76009,
"san_Deva": 76010,
"sat_Beng": 76011,
"scn_Latn": 76012,
"shn_Mymr": 76013,
"sin_Sinh": 76014,
"slk_Latn": 76015,
"slv_Latn": 76016,
"smo_Latn": 76017,
"sna_Latn": 76018,
"snd_Arab": 76019,
"som_Latn": 76020,
"sot_Latn": 76021,
"spa_Latn": 76022,
"srd_Latn": 76023,
"srp_Cyrl": 76024,
"ssw_Latn": 76025,
"sun_Latn": 76026,
"swe_Latn": 76027,
"swh_Latn": 76028,
"szl_Latn": 76029,
"tam_Taml": 76030,
"taq_Latn": 76031,
"taq_Tfng": 76032,
"tat_Cyrl": 76033,
"tel_Telu": 76034,
"tgk_Cyrl": 76035,
"tgl_Latn": 76036,
"tha_Thai": 76037,
"tig_Ethi": 76038,
"tir_Ethi": 76039,
"tpi_Latn": 76040,
"tsn_Latn": 76041,
"tso_Latn": 76042,
"tuk_Latn": 76043,
"tum_Latn": 76044,
"tur_Latn": 76045,
"twi_Latn": 76046,
"tzm_Tfng": 76047,
"uig_Arab": 76048,
"ukr_Cyrl": 76049,
"umb_Latn": 76050,
"urd_Arab": 76051,
"uzn_Latn": 76052,
"vec_Latn": 76053,
"vie_Latn": 76054,
"war_Latn": 76055,
"wol_Latn": 76056,
"xho_Latn": 76057,
"ydd_Hebr": 76058,
"yor_Latn": 76059,
"yue_Hant": 76060,
"zho_Hans": 76061,
"zho_Hant": 76062,
"zsm_Latn": 76063,
"zul_Latn": 76064
}