| # ASR round-trip intelligibility results |
|
|
| faster-whisper `small` (CPU int8), language forced per voice. |
| Normalization before scoring: NFC, strip Arabic diacritics/tatweel, lowercase, strip punctuation. Arabic WER is naturally inflated (orthographic variation, dialect vs MSA ASR bias) — CER is the more reliable signal. |
|
|
| | voice | sample | WER | CER | dur (s) | flag | |
| |---|---|---|---|---|---| |
| | f5tts-v1-base | 01_greeting | 0.22 | 0.00 | 6.0 | | |
| | f5tts-v1-base | 02_weather | 0.00 | 0.00 | 6.7 | | |
| | habibi-tts-unified | 01_msa_tech | 0.38 | 0.09 | 4.4 | | |
| | habibi-tts-unified | 02_msa_welcome | 0.11 | 0.04 | 4.5 | | |
| | habibi-tts-msa | 01_msa_tech | 0.25 | 0.04 | 4.4 | | |
| | habibi-tts-msa | 02_msa_weather | 0.38 | 0.06 | 3.5 | | |
| | habibi-tts-egy | 01_msa_tech | 0.12 | 0.04 | 4.4 | | |
| | habibi-tts-egy | 02_egy_weather | 0.25 | 0.10 | 3.9 | | |
| | habibi-tts-sau | 01_msa_tech | 0.12 | 0.04 | 4.4 | | |
| | habibi-tts-sau | 02_sau_weather | 0.00 | 0.00 | 4.0 | | |
| | habibi-tts-uae | 01_msa_tech | 0.62 | 0.11 | 4.4 | | |
| | habibi-tts-uae | 02_uae_weather | 0.22 | 0.09 | 3.5 | | |
| | habibi-tts-alg | 01_msa_tech | 0.62 | 0.15 | 4.4 | | |
| | habibi-tts-alg | 02_alg_weather | 0.56 | 0.16 | 4.4 | | |
| | habibi-tts-irq | 01_msa_tech | 0.12 | 0.04 | 4.4 | | |
| | habibi-tts-irq | 02_irq_weather | 0.25 | 0.05 | 3.9 | | |
| | habibi-tts-mar | 01_msa_tech | 0.38 | 0.04 | 4.4 | | |
| | habibi-tts-mar | 02_mar_weather | 0.67 | 0.16 | 4.2 | | |
|
|
| ## Details |
|
|
| ### f5tts-v1-base / 01_greeting |
| - target: Hello there, welcome to the open voice operating system. |
| - transcript: Hello there. Welcome to the OpenVoice operating system. |
| - WER=0.22 CER=0.00 |
| |
| ### f5tts-v1-base / 02_weather |
| - target: The weather today is sunny with a gentle breeze from the north. |
| - transcript: The weather today is sunny, with a gentle breeze from the north. |
| - WER=0.00 CER=0.00 |
|
|
| ### habibi-tts-unified / 01_msa_tech |
| - target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم. |
| - transcript: التكنولوجيا الحديثة غير الطريقة التواصل الناس حول العالم |
| - WER=0.38 CER=0.09 |
|
|
| ### habibi-tts-unified / 02_msa_welcome |
| - target: مرحباً بكم في نظام الصوت المفتوح، يسعدنا انضمامكم إلينا. |
| - transcript: مرحبا بكم في نظام الصوت المفتوح يسعدنا نظمامكم إلينا |
| - WER=0.11 CER=0.04 |
|
|
| ### habibi-tts-msa / 01_msa_tech |
| - target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم. |
| - transcript: التكنولوجيا الحديثة غير الطريقة تواصل الناس حول العالم |
| - WER=0.25 CER=0.04 |
|
|
| ### habibi-tts-msa / 02_msa_weather |
| - target: الطقس اليوم مشمس وجميل في معظم مناطق البلاد. |
| - transcript: التقص اليوم مش مس وجميل في معظم مناطق البلاد |
| - WER=0.38 CER=0.06 |
|
|
| ### habibi-tts-egy / 01_msa_tech |
| - target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم. |
| - transcript: التكنولوجيا الحديثة غيرت طريقة التواصل الناس حول العالم |
| - WER=0.12 CER=0.04 |
|
|
| ### habibi-tts-egy / 02_egy_weather |
| - target: النهاردة الجو جميل جداً في القاهرة والناس مبسوطة. |
| - transcript: أنهارد الجوي جميل جداً في القاهرة والناس مبسوطة |
| - WER=0.25 CER=0.10 |
|
|
| ### habibi-tts-sau / 01_msa_tech |
| - target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم. |
| - transcript: التكنولوجيا الحديثة غيرت طريقة التواصل الناس حول العالم |
| - WER=0.12 CER=0.04 |
|
|
| ### habibi-tts-sau / 02_sau_weather |
| - target: اليوم الجو حلو مرة في الرياض والناس طالعين يتمشون. |
| - transcript: اليوم الجو حلو مرة في الرياض والناس طالعين يتمشون |
| - WER=0.00 CER=0.00 |
|
|
| ### habibi-tts-uae / 01_msa_tech |
| - target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم. |
| - transcript: تل تكنولوجيا الحديثة غير الطريقة التواصل الناس حول العالم |
| - WER=0.62 CER=0.11 |
|
|
| ### habibi-tts-uae / 02_uae_weather |
| - target: اليوم الجو وايد حلو في دبي والناس كلهم برع. |
| - transcript: دا اليوم الجو وايض حلو في دبي والناس كلهم برع |
| - WER=0.22 CER=0.09 |
|
|
| ### habibi-tts-alg / 01_msa_tech |
| - target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم. |
| - transcript: تلتكنولوجي الحديث غير الطريق التواصل الناس حول العالم |
| - WER=0.62 CER=0.15 |
|
|
| ### habibi-tts-alg / 02_alg_weather |
| - target: اليوم الجو شباب بزاف في الجزائر والناس خارجين يتساراو. |
| - transcript: دا اليوم الجوش باب بزاف الجزائر والناس خارجين يتصارعوا |
| - WER=0.56 CER=0.16 |
|
|
| ### habibi-tts-irq / 01_msa_tech |
| - target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم. |
| - transcript: التكنولوجيا الحديثة غيرت طريقة التواصل الناس حول العالم |
| - WER=0.12 CER=0.04 |
|
|
| ### habibi-tts-irq / 02_irq_weather |
| - target: اليوم الجو حلو هواية ببغداد والناس طالعين يتمشون. |
| - transcript: تاليوم الجو حلو هواية ببقداد والناس طالعين يتمشون |
| - WER=0.25 CER=0.05 |
|
|
| ### habibi-tts-mar / 01_msa_tech |
| - target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم. |
| - transcript: دل تكنولوجيا الحديثة غير طريقة تواصل الناس حول العالم |
| - WER=0.38 CER=0.04 |
|
|
| ### habibi-tts-mar / 02_mar_weather |
| - target: اليوم الجو زوين بزاف في الرباط والناس خارجين يتسارا. |
| - transcript: كاليوم الجوزوين بالزاف الرباط والناس خارجين يتسعر |
| - WER=0.67 CER=0.16 |
|
|
|
|
