| # IaraTTS Phase 0 — Baseline Report |
|
|
| > 50 pt-BR prompts × 3 voices on MOSS-TTS-Nano-100M-ONNX (no fine-tuning). |
| > Whisper round-trip WER + GPU-side RTF measurement. |
|
|
| ## Aggregate |
|
|
| | Voice | Lang | WER | RTF | quality | speed | SCORE | |
| |-------|------|----:|----:|--------:|------:|------:| |
| | Bella | EN/F | 0.338 | 0.430 | 0.662 | 2.000 | 1.262 | |
| | Adam | EN/M | 0.411 | 0.433 | 0.589 | 2.000 | 1.189 | |
| | Junhao | CN/M | 0.470 | 0.441 | 0.530 | 2.000 | 1.130 | |
|
|
| **Best baseline voice for pt-BR**: Bella (EN/F) with WER 0.3376 |
|
|
| ## Notes |
| - WER >0.3 is consistent with Whisper struggling to align — pt-BR words coming out anglicized. |
| - Junhao (Chinese voice) reads pt-BR with mandarin phonotactics → highest WER. |
| - RTF ~0.43 = 2.3× faster than realtime on RTX 4090, ONNX runtime CPU. |
| - WeTextProcessing handled text as `en` (only zh/en supported) — pt-specific normalization not happening. |
|
|
| ## Bella — best 10 prompts |
|
|
| | ID | WER | Spoken | Heard | |
| |----|----:|--------|-------| |
| | `basic_03` | 0.00 | O Brasil é um país de muitas culturas. | o brasil é um país de muitas culturas. | |
| | `r_strong_03` | 0.00 | O Rio de Janeiro tem praias maravilhosas. | o rio de janeiro tem praias maravilhosas. | |
| | `emotion_01` | 0.00 | Que ótima notícia! Estou tão feliz por você! | que ótima notícia! estou tão feliz por você! | |
| | `emotion_03` | 0.10 | Por favor, me ajude, eu não sei o que fazer. | por favor, me ajude. eu não sei o que fazer. | |
| | `long_02` | 0.10 | Quando finalmente chegou a sua vez de falar diante do públic | quando finalmente chegou à sua vez de falar em frente do púb | |
| | `lh_nh_05` | 0.11 | Ele tem um sonho de viajar para o Chile. | ela tem um sonho de viajar para o chile. | |
| | `long_01` | 0.12 | Embora muitos pensem o contrário, a maior parte do territóri | embormente pensem o contário. a maior parte do território br | |
| | `basic_04` | 0.14 | Por favor, fale um pouco mais devagar. | por favor, saliu um pouco mais devagar. | |
| | `nasal_03` | 0.14 | Pão, manteiga e café da manhã completo. | bom, manteiga e café da manhã completo. | |
| | `lh_nh_04` | 0.14 | Senhora, posso ajudá-la a achar o caminho? | senhora, posso ajudar-la a achar o caminho? | |
|
|
| ## Bella — worst 10 prompts |
|
|
| | ID | WER | Spoken | Heard | |
| |----|----:|--------|-------| |
| | `r_strong_02` | 1.00 | Rato roeu a roupa do rei de Roma. | se inclusive você tiver, tudo pode ser visto. é que sauvi vo | |
| | `nasal_05` | 0.71 | Antes de sair, lembre-se de fechar a janela. | antisessé, l'embeçée de fechar à chanel. | |
| | `hard_consonants` | 0.67 | Texto difícil: extraordinário, espectroscopia, perspicácia, | exo difícil, extraordinário, espectoscopia, perspicacia, qui | |
| | `basic_02` | 0.60 | Eu adoro caminhar no parque pela manhã. | e o doro caminhar no parte pelo manhã. | |
| | `r_strong_04` | 0.60 | Forte, marrom, terra e barro têm erres diferentes. | forte, maro, terá e bargotem erros diferentes. | |
| | `open_close_01` | 0.57 | Avó é diferente de avô na pronúncia. | eu vou a diferente de abona pronúncia. | |
| | `complex_04` | 0.56 | A síntese de fala em tempo real exige otimizações cuidadosas | assim que a seda fala, em tempo real é que siga otimizações | |
| | `numbers_01` | 0.56 | Eu tenho dois mil e vinte e seis livros em casa. | e tenho hoje 1026 livros em casa. | |
| | `numbers_05` | 0.54 | Quinhentos quilômetros separam as duas cidades. | quinintos, quilômetros separados, as duas se datam. | |
| | `dates_01` | 0.52 | Hoje é vinte e seis de abril de dois mil e vinte e seis. | hoje é 26 de abril de 2026. | |
|
|
| ## Insights for Phase 1 |
|
|
| Categories with highest baseline WER (Bella): |
|
|
| | Category | mean WER | n | |
| |----------|---------:|--:| |
| | hard | 0.667 | 1 | |
| | erinome_match | 0.465 | 2 | |
| | numbers | 0.462 | 5 | |
| | r_strong | 0.442 | 4 | |
| | nasal | 0.391 | 5 | |
| | open_close | 0.382 | 5 | |
| | complex | 0.354 | 5 | |
| | lh_nh | 0.321 | 5 | |
| | dates | 0.318 | 3 | |
| | abbrev | 0.235 | 2 | |
| | basic | 0.217 | 5 | |
| | emotion | 0.213 | 5 | |
| | foreign | 0.167 | 1 | |
| | long | 0.112 | 2 | |
|
|
| **Phase 1 priorities** (by category WER, highest impact): |
| 1. Numbers/dates → num2words pt-BR |
| 2. Abbreviations → expansion table |
| 3. Hard consonants / nasals → may need phonemizer (gruut[pt]) |
|
|
| ## Phase 0 — DONE ✓ |
| - [x] Baseline measured: best=Bella WER=0.338 |
| - [x] 3 voices × 50 prompts evaluated |
| - [x] Per-category breakdown identifies priorities for Phase 1 |
