ASR round-trip intelligibility results
faster-whisper small (CPU int8), language forced per voice.
Normalization before scoring: NFC, strip Arabic diacritics/tatweel, lowercase, strip punctuation. Arabic WER is naturally inflated (orthographic variation, dialect vs MSA ASR bias) — CER is the more reliable signal.
| voice | sample | WER | CER | dur (s) | flag |
|---|---|---|---|---|---|
| f5tts-v1-base | 01_greeting | 0.22 | 0.00 | 6.0 | |
| f5tts-v1-base | 02_weather | 0.00 | 0.00 | 6.7 | |
| habibi-tts-unified | 01_msa_tech | 0.38 | 0.09 | 4.4 | |
| habibi-tts-unified | 02_msa_welcome | 0.11 | 0.04 | 4.5 | |
| habibi-tts-msa | 01_msa_tech | 0.25 | 0.04 | 4.4 | |
| habibi-tts-msa | 02_msa_weather | 0.38 | 0.06 | 3.5 | |
| habibi-tts-egy | 01_msa_tech | 0.12 | 0.04 | 4.4 | |
| habibi-tts-egy | 02_egy_weather | 0.25 | 0.10 | 3.9 | |
| habibi-tts-sau | 01_msa_tech | 0.12 | 0.04 | 4.4 | |
| habibi-tts-sau | 02_sau_weather | 0.00 | 0.00 | 4.0 | |
| habibi-tts-uae | 01_msa_tech | 0.62 | 0.11 | 4.4 | |
| habibi-tts-uae | 02_uae_weather | 0.22 | 0.09 | 3.5 | |
| habibi-tts-alg | 01_msa_tech | 0.62 | 0.15 | 4.4 | |
| habibi-tts-alg | 02_alg_weather | 0.56 | 0.16 | 4.4 | |
| habibi-tts-irq | 01_msa_tech | 0.12 | 0.04 | 4.4 | |
| habibi-tts-irq | 02_irq_weather | 0.25 | 0.05 | 3.9 | |
| habibi-tts-mar | 01_msa_tech | 0.38 | 0.04 | 4.4 | |
| habibi-tts-mar | 02_mar_weather | 0.67 | 0.16 | 4.2 |
Details
f5tts-v1-base / 01_greeting
- target: Hello there, welcome to the open voice operating system.
- transcript: Hello there. Welcome to the OpenVoice operating system.
- WER=0.22 CER=0.00
f5tts-v1-base / 02_weather
- target: The weather today is sunny with a gentle breeze from the north.
- transcript: The weather today is sunny, with a gentle breeze from the north.
- WER=0.00 CER=0.00
habibi-tts-unified / 01_msa_tech
- target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم.
- transcript: التكنولوجيا الحديثة غير الطريقة التواصل الناس حول العالم
- WER=0.38 CER=0.09
habibi-tts-unified / 02_msa_welcome
- target: مرحباً بكم في نظام الصوت المفتوح، يسعدنا انضمامكم إلينا.
- transcript: مرحبا بكم في نظام الصوت المفتوح يسعدنا نظمامكم إلينا
- WER=0.11 CER=0.04
habibi-tts-msa / 01_msa_tech
- target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم.
- transcript: التكنولوجيا الحديثة غير الطريقة تواصل الناس حول العالم
- WER=0.25 CER=0.04
habibi-tts-msa / 02_msa_weather
- target: الطقس اليوم مشمس وجميل في معظم مناطق البلاد.
- transcript: التقص اليوم مش مس وجميل في معظم مناطق البلاد
- WER=0.38 CER=0.06
habibi-tts-egy / 01_msa_tech
- target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم.
- transcript: التكنولوجيا الحديثة غيرت طريقة التواصل الناس حول العالم
- WER=0.12 CER=0.04
habibi-tts-egy / 02_egy_weather
- target: النهاردة الجو جميل جداً في القاهرة والناس مبسوطة.
- transcript: أنهارد الجوي جميل جداً في القاهرة والناس مبسوطة
- WER=0.25 CER=0.10
habibi-tts-sau / 01_msa_tech
- target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم.
- transcript: التكنولوجيا الحديثة غيرت طريقة التواصل الناس حول العالم
- WER=0.12 CER=0.04
habibi-tts-sau / 02_sau_weather
- target: اليوم الجو حلو مرة في الرياض والناس طالعين يتمشون.
- transcript: اليوم الجو حلو مرة في الرياض والناس طالعين يتمشون
- WER=0.00 CER=0.00
habibi-tts-uae / 01_msa_tech
- target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم.
- transcript: تل تكنولوجيا الحديثة غير الطريقة التواصل الناس حول العالم
- WER=0.62 CER=0.11
habibi-tts-uae / 02_uae_weather
- target: اليوم الجو وايد حلو في دبي والناس كلهم برع.
- transcript: دا اليوم الجو وايض حلو في دبي والناس كلهم برع
- WER=0.22 CER=0.09
habibi-tts-alg / 01_msa_tech
- target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم.
- transcript: تلتكنولوجي الحديث غير الطريق التواصل الناس حول العالم
- WER=0.62 CER=0.15
habibi-tts-alg / 02_alg_weather
- target: اليوم الجو شباب بزاف في الجزائر والناس خارجين يتساراو.
- transcript: دا اليوم الجوش باب بزاف الجزائر والناس خارجين يتصارعوا
- WER=0.56 CER=0.16
habibi-tts-irq / 01_msa_tech
- target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم.
- transcript: التكنولوجيا الحديثة غيرت طريقة التواصل الناس حول العالم
- WER=0.12 CER=0.04
habibi-tts-irq / 02_irq_weather
- target: اليوم الجو حلو هواية ببغداد والناس طالعين يتمشون.
- transcript: تاليوم الجو حلو هواية ببقداد والناس طالعين يتمشون
- WER=0.25 CER=0.05
habibi-tts-mar / 01_msa_tech
- target: التكنولوجيا الحديثة غيرت طريقة تواصل الناس حول العالم.
- transcript: دل تكنولوجيا الحديثة غير طريقة تواصل الناس حول العالم
- WER=0.38 CER=0.04
habibi-tts-mar / 02_mar_weather
- target: اليوم الجو زوين بزاف في الرباط والناس خارجين يتسارا.
- transcript: كاليوم الجوزوين بالزاف الرباط والناس خارجين يتسعر
- WER=0.67 CER=0.16