scyllasband / litert /assets /g2p /tokenizer.json
spybyscript's picture
Initial public release
c00d50c
Raw
History Blame Contribute Delete
9.83 kB
{
"format": "deepphonemizer_forward_ctc_litert",
"languages": [
"en_gb",
"en_us",
"es",
"it"
],
"char_repeats": 4,
"lowercase": true,
"phoneme_token_mode": "char",
"text_symbols": {
"_": 0,
"<en_gb>": 1,
"<en_us>": 2,
"<es>": 3,
"<it>": 4,
"<end>": 5,
"\b": 6,
" ": 7,
"!": 8,
"\"": 9,
"#": 10,
"$": 11,
"%": 12,
"&": 13,
"'": 14,
"(": 15,
")": 16,
"*": 17,
"+": 18,
",": 19,
"-": 20,
".": 21,
"/": 22,
"0": 23,
"1": 24,
"2": 25,
"3": 26,
"4": 27,
"5": 28,
"6": 29,
"7": 30,
"8": 31,
"9": 32,
":": 33,
";": 34,
"<": 35,
"=": 36,
">": 37,
"?": 38,
"@": 39,
"A": 40,
"B": 41,
"C": 42,
"D": 43,
"E": 44,
"F": 45,
"G": 46,
"H": 47,
"I": 48,
"J": 49,
"K": 50,
"L": 51,
"M": 52,
"N": 53,
"O": 54,
"P": 55,
"Q": 56,
"R": 57,
"S": 58,
"T": 59,
"U": 60,
"V": 61,
"W": 62,
"X": 63,
"Y": 64,
"Z": 65,
"[": 66,
"\\": 67,
"]": 68,
"^": 69,
"`": 70,
"a": 71,
"b": 72,
"c": 73,
"d": 74,
"e": 75,
"f": 76,
"g": 77,
"h": 78,
"i": 79,
"j": 80,
"k": 81,
"l": 82,
"m": 83,
"n": 84,
"o": 85,
"p": 86,
"q": 87,
"r": 88,
"s": 89,
"t": 90,
"u": 91,
"v": 92,
"w": 93,
"x": 94,
"y": 95,
"z": 96,
"{": 97,
"|": 98,
"}": 99,
"~": 100,
"¡": 101,
"¢": 102,
"£": 103,
"¥": 104,
"ª": 105,
"«": 106,
"­": 107,
"®": 108,
"°": 109,
"²": 110,
"³": 111,
"´": 112,
"·": 113,
"¹": 114,
"º": 115,
"»": 116,
"¼": 117,
"½": 118,
"¿": 119,
"Á": 120,
"Å": 121,
"Æ": 122,
"Ç": 123,
"È": 124,
"É": 125,
"Í": 126,
"Ñ": 127,
"Ò": 128,
"Ó": 129,
"Ö": 130,
"×": 131,
"Ø": 132,
"Ú": 133,
"ß": 134,
"à": 135,
"á": 136,
"â": 137,
"ã": 138,
"ä": 139,
"å": 140,
"æ": 141,
"ç": 142,
"è": 143,
"é": 144,
"ê": 145,
"ë": 146,
"ì": 147,
"í": 148,
"î": 149,
"ï": 150,
"ñ": 151,
"ò": 152,
"ó": 153,
"ô": 154,
"õ": 155,
"ö": 156,
"÷": 157,
"ø": 158,
"ù": 159,
"ú": 160,
"û": 161,
"ü": 162,
"ā": 163,
"ă": 164,
"ą": 165,
"ć": 166,
"Ĉ": 167,
"č": 168,
"đ": 169,
"ē": 170,
"ė": 171,
"ę": 172,
"ğ": 173,
"ī": 174,
"ı": 175,
"ł": 176,
"ń": 177,
"ō": 178,
"ő": 179,
"œ": 180,
"ś": 181,
"ş": 182,
"Š": 183,
"š": 184,
"Ţ": 185,
"ū": 186,
"ŭ": 187,
"ż": 188,
"ǀ": 189,
"ǎ": 190,
"ǐ": 191,
"ǔ": 192,
"ș": 193,
"ə": 194,
"ɣ": 195,
"ˈ": 196,
"̃": 197,
"̉": 198,
"μ": 199,
"π": 200,
"С": 201,
"в": 202,
"е": 203,
"й": 204,
"н": 205,
"о": 206,
"р": 207,
"с": 208,
"т": 209,
"ы": 210,
"ѝ": 211,
"ַ": 212,
"א": 213,
"ל": 214,
"ע": 215,
"د": 216,
"ص": 217,
"م": 218,
"و": 219,
"ḥ": 220,
"ṛ": 221,
"ṣ": 222,
"ẓ": 223,
"ồ": 224,
"​": 225,
"‍": 226,
"—": 227,
"―": 228,
"…": 229,
"⁻": 230,
"₂": 231,
"₃": 232,
"₤": 233,
"₪": 234,
"₫": 235,
"€": 236,
"₹": 237,
"℃": 238,
"√": 239,
"─": 240,
"☀": 241,
"☠": 242,
"⚓": 243,
"✨": 244,
"々": 245,
"・": 246,
"习": 247,
"務": 248,
"問": 249,
"学": 250,
"小": 251,
"师": 252,
"政": 253,
"老": 254,
"顧": 255,
"fi": 256,
"️": 257,
"🇭": 258,
"🇹": 259,
"🌊": 260,
"🌡": 261,
"🌿": 262,
"🎶": 263,
"🏴": 264,
"🐈": 265,
"🐾": 266,
"👠": 267,
"💦": 268,
"💨": 269,
"🔥": 270,
"😉": 271,
"😹": 272
},
"phoneme_symbols": {
"0": "_",
"1": "<en_gb>",
"2": "<en_us>",
"3": "<es>",
"4": "<it>",
"5": "<end>",
"6": " ",
"7": "!",
"8": ",",
"9": ".",
"10": "1",
"11": ":",
"12": ";",
"13": "?",
"14": "a",
"15": "b",
"16": "c",
"17": "d",
"18": "e",
"19": "f",
"20": "h",
"21": "i",
"22": "j",
"23": "k",
"24": "l",
"25": "m",
"26": "n",
"27": "o",
"28": "p",
"29": "r",
"30": "s",
"31": "t",
"32": "u",
"33": "v",
"34": "w",
"35": "x",
"36": "y",
"37": "z",
"38": "«",
"39": "»",
"40": "æ",
"41": "ð",
"42": "ŋ",
"43": "ɐ",
"44": "ɑ",
"45": "ɒ",
"46": "ɔ",
"47": "ə",
"48": "ɚ",
"49": "ɛ",
"50": "ɜ",
"51": "ɟ",
"52": "ɡ",
"53": "ɣ",
"54": "ɪ",
"55": "ɬ",
"56": "ɲ",
"57": "ɹ",
"58": "ɾ",
"59": "ʁ",
"60": "ʃ",
"61": "ʊ",
"62": "ʌ",
"63": "ʎ",
"64": "ʒ",
"65": "ʔ",
"66": "ʝ",
"67": "ʲ",
"68": "ˈ",
"69": "ˌ",
"70": "ː",
"71": "̃",
"72": "̩",
"73": "̪",
"74": "β",
"75": "θ",
"76": "ᵻ",
"77": "—",
"78": "…"
},
"text_pad_index": 0,
"phoneme_pad_index": 0,
"phoneme_end_index": 5,
"preprocessing": {
"char_repeats": 4,
"languages": [
"en_gb",
"en_us",
"es",
"it"
],
"lowercase": true,
"n_val": 17200,
"phoneme_symbols": [
" ",
"!",
",",
".",
"1",
":",
";",
"?",
"a",
"b",
"c",
"d",
"e",
"f",
"h",
"i",
"j",
"k",
"l",
"m",
"n",
"o",
"p",
"r",
"s",
"t",
"u",
"v",
"w",
"x",
"y",
"z",
"«",
"»",
"æ",
"ð",
"ŋ",
"ɐ",
"ɑ",
"ɒ",
"ɔ",
"ə",
"ɚ",
"ɛ",
"ɜ",
"ɟ",
"ɡ",
"ɣ",
"ɪ",
"ɬ",
"ɲ",
"ɹ",
"ɾ",
"ʁ",
"ʃ",
"ʊ",
"ʌ",
"ʎ",
"ʒ",
"ʔ",
"ʝ",
"ʲ",
"ˈ",
"ˌ",
"ː",
"̃",
"̩",
"̪",
"β",
"θ",
"ᵻ",
"—",
"…"
],
"phoneme_token_mode": "char",
"text_symbols": [
"\b",
" ",
"!",
"\"",
"#",
"$",
"%",
"&",
"'",
"(",
")",
"*",
"+",
",",
"-",
".",
"/",
"0",
"1",
"2",
"3",
"4",
"5",
"6",
"7",
"8",
"9",
":",
";",
"<",
"=",
">",
"?",
"@",
"A",
"B",
"C",
"D",
"E",
"F",
"G",
"H",
"I",
"J",
"K",
"L",
"M",
"N",
"O",
"P",
"Q",
"R",
"S",
"T",
"U",
"V",
"W",
"X",
"Y",
"Z",
"[",
"\\",
"]",
"^",
"`",
"a",
"b",
"c",
"d",
"e",
"f",
"g",
"h",
"i",
"j",
"k",
"l",
"m",
"n",
"o",
"p",
"q",
"r",
"s",
"t",
"u",
"v",
"w",
"x",
"y",
"z",
"{",
"|",
"}",
"~",
"¡",
"¢",
"£",
"¥",
"ª",
"«",
"­",
"®",
"°",
"²",
"³",
"´",
"·",
"¹",
"º",
"»",
"¼",
"½",
"¿",
"Á",
"Å",
"Æ",
"Ç",
"È",
"É",
"Í",
"Ñ",
"Ò",
"Ó",
"Ö",
"×",
"Ø",
"Ú",
"ß",
"à",
"á",
"â",
"ã",
"ä",
"å",
"æ",
"ç",
"è",
"é",
"ê",
"ë",
"ì",
"í",
"î",
"ï",
"ñ",
"ò",
"ó",
"ô",
"õ",
"ö",
"÷",
"ø",
"ù",
"ú",
"û",
"ü",
"ā",
"ă",
"ą",
"ć",
"Ĉ",
"č",
"đ",
"ē",
"ė",
"ę",
"ğ",
"ī",
"ı",
"ł",
"ń",
"ō",
"ő",
"œ",
"ś",
"ş",
"Š",
"š",
"Ţ",
"ū",
"ŭ",
"ż",
"ǀ",
"ǎ",
"ǐ",
"ǔ",
"ș",
"ə",
"ɣ",
"ˈ",
"̃",
"̉",
"μ",
"π",
"С",
"в",
"е",
"й",
"н",
"о",
"р",
"с",
"т",
"ы",
"ѝ",
"ַ",
"א",
"ל",
"ע",
"د",
"ص",
"م",
"و",
"ḥ",
"ṛ",
"ṣ",
"ẓ",
"ồ",
"​",
"‍",
"—",
"―",
"…",
"⁻",
"₂",
"₃",
"₤",
"₪",
"₫",
"€",
"₹",
"℃",
"√",
"─",
"☀",
"☠",
"⚓",
"✨",
"々",
"・",
"习",
"務",
"問",
"学",
"小",
"师",
"政",
"老",
"顧",
"fi",
"️",
"🇭",
"🇹",
"🌊",
"🌡",
"🌿",
"🎶",
"🏴",
"🐈",
"🐾",
"👠",
"💦",
"💨",
"🔥",
"😉",
"😹"
]
}
}