OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models
Paper • 2604.00688 • Published • 14
███╗ ███╗ ██╗ █████╗
████╗ ████║ ██║██╔══██╗
██╔████╔██║ ██║███████║
██║╚██╔╝██║ ██║██╔══██║
██║ ╚═╝ ██║ ██║██║ ██║
╚═╝ ╚═╝ ╚═╝╚═╝ ╚═╝
Mia TTS
Mektup'un Sesi — 600+ Dilde Doğal, Hızlı ve Gerçek Zamanlı Konuşma Sentezi
🌍 Mia Nedir?
Mia, Mektup mesajlaşma uygulamasının sesli altyapısını güçlendiren çok dilli metin-konuşma (TTS) modelidir.
Mektup; dil engellerini ortadan kaldırmak için tasarlanmış bir mesajlaşma uygulamasıdır. Sesli mesajlarınız otomatik olarak alıcının kendi dilinde yeniden oluşturulur — siz Türkçe konuşursunuz, karşı taraf kendi dilinde dinler. Mia, bu deneyimin kalbinde yer alır.
Bu repo, orijinal k2-fsa/OmniVoice model ağırlıklarını Apache 2.0 lisansı çerçevesinde barındırmaktadır.
✨ Öne Çıkan Özellikler
| Özellik | Detay |
|---|---|
| 🌐 Dil Kapsamı | 600'den fazla dil ve lehçe |
| ⚡ Çıkarım Hızı | Gerçek zamandan 40× daha hızlı (RTF: 0.025) |
| 🎙️ Ses Klonlama | Kısa referans ses kaydından sıfır atışlı klonlama |
| 🎛️ Ses Tasarımı | Cinsiyet, yaş, tonlama, aksan kontrolü |
| 🏗️ Mimari | Difüzyon Dil Modeli (Qwen3-0.6B omurga) |
| 📦 Model Boyutu | ~3.27 GB (0.6B parametre) |
🎙️ Mektup'ta Nasıl Çalışır?
Mia, Mektup uygulamasının Sesli Mesaj Çeviri akışının tam merkezinde konumlanır:
Kullanıcı sesi kaydeder
↓
Konuşma → Metne (Mia STT)
↓
Mia Translate Metin → Hedef dile çeviri
↓
Mia TTS : Hedef dilde ses üretimi
↓
Alıcı kendi dilinde dinler
Bu sayede Türkçe konuşan bir kullanıcının sesli mesajı, Japonca konuşan alıcıya Japonca olarak ulaşır. Konuşma kalitesi, ton ve doğallık Mia tarafından sağlanır.
🗣️ Desteklenen Kullanım Senaryoları
Sesli Mesaj Çevirisi (MVP — Aktif)
Mektup'un ilk sürümünde sesten sese çeviri özelliği aktif olarak devrededir. Kullanıcıların sesli mesajları, alıcının tercih ettiği dilde yeniden sentezlenerek iletilir.
Metin Okuma (Gelecek Sürüm)
Yazılı mesajların Mia tarafından seslendirilmesi, görme engelli kullanıcılar ve erişilebilirlik odaklı kullanım için planlanmaktadır.
Çok Dilli Grup Mesajlaşması (Gelecek Sürüm)
Grup sohbetlerinde her katılımcı kendi dilinde konuşur, Mia her üye için kişiselleştirilmiş ses çıktısı üretir.
🌐 Dil Öncelikleri
Mektup'un hedef kullanıcı kitlesi doğrultusunda aşağıdaki diller öncelikli test ve optimizasyon kapsamındadır:
Birincil: Türkçe · İngilizce · Arapça · Almanca · Fransızca
İkincil: Rusça · İspanyolca · Japonca · Korece · Çince
Geniş Kapsam: OmniVoice'un desteklediği 600+ dilin tamamı
⚙️ Teknik Mimari
Mia, OmniVoice makalesinde tanımlanan Difüzyon Dil Modeli mimarisini kullanır:
- Omurga: Qwen3-0.6B dil modeli
- Ses Kodlayıcı: HiggsAudioV2 (24 kHz, ~2 kbps)
- Çıktı: 24 kHz örnekleme hızında mono ses
- Çıkarım: CUDA destekli GPU ile gerçek zamanlı üretim
📋 Lisans ve Atıf
Bu model, Apache 2.0 lisansı altında dağıtılmaktadır.
Model ağırlıkları ve temel mimari k2-fsa/OmniVoice projesine aittir. Mektup ekibi olarak bu açık kaynak çalışması için k2-fsa araştırma grubuna teşekkür ederiz.
Akademik atıf için lütfen orijinal makaleyi kullanınız:
Zhu, H., Ye, L., Kang, W., Yao, Z., Guo, L., Kuang, F., Han, Z., Zhuang, W., Lin, L., & Povey, D. (2026). OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models. arXiv:2604.00688
⚠️ Kullanım Kısıtlamaları
Aşağıdaki kullanım amaçları kesinlikle yasaktır:
- 🚫 İzinsiz ses klonlama ve kimliğe bürünme
- 🚫 Dolandırıcılık, sahtecilik veya yanıltıcı içerik üretimi
- 🚫 Yasadışı veya etik dışı faaliyetler
- 🚫 Bireylerin rızası olmadan ses profillerinin oluşturulması
Mektup, bu modeli yalnızca açık rıza ile gerçekleştirilen kişisel iletişim amaçlı çeviri işlemleri için kullanmaktadır.
🔗 Bağlantılar
| 📱 Mektup Uygulaması | mektup.app |
| 🤗 Temel Model | k2-fsa/OmniVoice |
| 📄 Araştırma Makalesi | arXiv:2604.00688 |
| 💻 OmniVoice GitHub | k2-fsa/OmniVoice |
Mia, Mektup'un sesli deneyimini güçlendirmek amacıyla derlenmiştir.
Dil sınırlarını ortadan kaldırmak için — herkes kendi dilinde konuşsun.
mektup-mia/Mia-TTS · Apache 2.0 · k2-fsa/OmniVoice üzerine inşa edilmiştir