Fast Conformer Multilingual ASR v3 — CaptionAI
Model Fast Conformer fine-tuned untuk Bahasa Indonesia, Bahasa Jawa, dan Bahasa Inggris sebagai komponen ASR pada browser extension CaptionAI untuk aksesibilitas tunarungu.
Improvement v3 dibanding v2
| Komponen |
v2 |
v3 |
| Layer unfrozen |
8 dari 18 |
Semua 18 layer |
| SpecAugment |
Tidak aktif |
Aktif (freq=2, time=10) |
| Gradient accumulation |
2 |
4 (batch efektif=32) |
| Data Jawa |
FLEURS only |
FLEURS + SLR35 |
| Balancing |
Manual |
Opsi B (oversample JV) |
Training config
- Optimizer : AdamW lr=3e-4, weight_decay=1e-4
- Scheduler : OneCycleLR, warmup=15%, cosine annealing
- Epochs : 20
- Platform : Kaggle GPU T4 (free tier)
- Tokenizer : SentencePiece BPE vocab=1024 (ID+JV+EN)
Dataset
| Bahasa |
Sumber |
Train samples |
| Indonesia |
Common Voice 17.0 + FLEURS |
8,000 |
| Jawa |
FLEURS + SLR35 (oversampled) |
8,000 |
| English |
LibriSpeech train-clean-100 |
8,000 |
