iaratts-roadmap / PHASE0_BASELINE.md
marcosremar2's picture
Upload folder using huggingface_hub
71c511c verified
|
Raw
History Blame Contribute Delete
4.38 kB

IaraTTS Phase 0 — Baseline Report

50 pt-BR prompts × 3 voices on MOSS-TTS-Nano-100M-ONNX (no fine-tuning). Whisper round-trip WER + GPU-side RTF measurement.

Aggregate

Voice Lang WER RTF quality speed SCORE
Bella EN/F 0.338 0.430 0.662 2.000 1.262
Adam EN/M 0.411 0.433 0.589 2.000 1.189
Junhao CN/M 0.470 0.441 0.530 2.000 1.130

Best baseline voice for pt-BR: Bella (EN/F) with WER 0.3376

Notes

  • WER >0.3 is consistent with Whisper struggling to align — pt-BR words coming out anglicized.
  • Junhao (Chinese voice) reads pt-BR with mandarin phonotactics → highest WER.
  • RTF ~0.43 = 2.3× faster than realtime on RTX 4090, ONNX runtime CPU.
  • WeTextProcessing handled text as en (only zh/en supported) — pt-specific normalization not happening.

Bella — best 10 prompts

ID WER Spoken Heard
basic_03 0.00 O Brasil é um país de muitas culturas. o brasil é um país de muitas culturas.
r_strong_03 0.00 O Rio de Janeiro tem praias maravilhosas. o rio de janeiro tem praias maravilhosas.
emotion_01 0.00 Que ótima notícia! Estou tão feliz por você! que ótima notícia! estou tão feliz por você!
emotion_03 0.10 Por favor, me ajude, eu não sei o que fazer. por favor, me ajude. eu não sei o que fazer.
long_02 0.10 Quando finalmente chegou a sua vez de falar diante do públic quando finalmente chegou à sua vez de falar em frente do púb
lh_nh_05 0.11 Ele tem um sonho de viajar para o Chile. ela tem um sonho de viajar para o chile.
long_01 0.12 Embora muitos pensem o contrário, a maior parte do territóri embormente pensem o contário. a maior parte do território br
basic_04 0.14 Por favor, fale um pouco mais devagar. por favor, saliu um pouco mais devagar.
nasal_03 0.14 Pão, manteiga e café da manhã completo. bom, manteiga e café da manhã completo.
lh_nh_04 0.14 Senhora, posso ajudá-la a achar o caminho? senhora, posso ajudar-la a achar o caminho?

Bella — worst 10 prompts

ID WER Spoken Heard
r_strong_02 1.00 Rato roeu a roupa do rei de Roma. se inclusive você tiver, tudo pode ser visto. é que sauvi vo
nasal_05 0.71 Antes de sair, lembre-se de fechar a janela. antisessé, l'embeçée de fechar à chanel.
hard_consonants 0.67 Texto difícil: extraordinário, espectroscopia, perspicácia, exo difícil, extraordinário, espectoscopia, perspicacia, qui
basic_02 0.60 Eu adoro caminhar no parque pela manhã. e o doro caminhar no parte pelo manhã.
r_strong_04 0.60 Forte, marrom, terra e barro têm erres diferentes. forte, maro, terá e bargotem erros diferentes.
open_close_01 0.57 Avó é diferente de avô na pronúncia. eu vou a diferente de abona pronúncia.
complex_04 0.56 A síntese de fala em tempo real exige otimizações cuidadosas assim que a seda fala, em tempo real é que siga otimizações
numbers_01 0.56 Eu tenho dois mil e vinte e seis livros em casa. e tenho hoje 1026 livros em casa.
numbers_05 0.54 Quinhentos quilômetros separam as duas cidades. quinintos, quilômetros separados, as duas se datam.
dates_01 0.52 Hoje é vinte e seis de abril de dois mil e vinte e seis. hoje é 26 de abril de 2026.

Insights for Phase 1

Categories with highest baseline WER (Bella):

Category mean WER n
hard 0.667 1
erinome_match 0.465 2
numbers 0.462 5
r_strong 0.442 4
nasal 0.391 5
open_close 0.382 5
complex 0.354 5
lh_nh 0.321 5
dates 0.318 3
abbrev 0.235 2
basic 0.217 5
emotion 0.213 5
foreign 0.167 1
long 0.112 2

Phase 1 priorities (by category WER, highest impact):

  1. Numbers/dates → num2words pt-BR
  2. Abbreviations → expansion table
  3. Hard consonants / nasals → may need phonemizer (gruut[pt])

Phase 0 — DONE ✓

  • Baseline measured: best=Bella WER=0.338
  • 3 voices × 50 prompts evaluated
  • Per-category breakdown identifies priorities for Phase 1