| --- |
| language: |
| - ru |
| license: openrail |
| license_name: openrail-m |
| library_name: voxtream |
| pipeline_tag: text-to-speech |
| tags: |
| - tts |
| - text-to-speech |
| - russian |
| - streaming |
| - voice-cloning |
| - mimi |
| base_model: herimor/voxtream2 |
| --- |
| |
| # VoXtream2-RU — потоковый русский TTS с клонированием голоса |
|
|
| Русский файнтюн [VoXtream2](https://arxiv.org/abs/2603.13518) (KTH Royal |
| Institute of Technology) — full-stream zero-shot TTS поверх кодека Mimi |
| (12.5 Гц), с динамическим управлением темпом речи и клонированием голоса по |
| 3–10 секундам записи. |
|
|
| **Демо:** самодостаточный код Gradio-демо лежит в этом репозитории в папке |
| [`demo/`](https://huggingface.co/simba9/voxtream2-ru/tree/main/demo) — запуск локально |
| описан ниже. Страница модели с [примерами синтеза](https://simba9-voxtream2-ru.static.hf.space/samples.html) |
| (разные голоса, look-ahead, темп, типы текста) — [HF Space](https://simba9-voxtream2-ru.static.hf.space/index.html). |
|
|
| **Статьи о том, как это делалось** (разбор VoXtream, подготовка данных, MFA, ошибки): |
| [Habr (RU)](https://habr.com/ru/articles/1075298/) · [Medium (EN)](https://medium.com/@sokolilia56/teaching-a-streaming-tts-to-speak-russian-voxtream-explained-data-preparation-mfa-and-the-5f2b98bfa30b). |
|
|
| **Автор:** Telegram-канал [@decent_researcher](https://t.me/decent_researcher) — там новости |
| о модели и разборы. |
|
|
| ## Лицензия и условия использования |
|
|
| Модель публикуется **в научных и исследовательских целях** под лицензией |
| **OpenRAIL-M** (Responsible AI License — открытая лицензия с ограничениями |
| использования). Базовая модель [herimor/voxtream2](https://huggingface.co/herimor/voxtream2) |
| распространяется под MIT; её условия сохраняются. |
|
|
| **Запрещено** использовать модель и производные от неё: |
| - для любых противоправных действий, обмана, мошенничества, выдачи себя за другое лицо; |
| - для создания дипфейков и синтеза голоса реальных людей без их явного согласия; |
| - для дезинформации, домогательств, дискриминации, вреда людям и группам; |
| - в системах, принимающих юридически значимые решения о людях без надзора человека. |
|
|
| Клонирование голоса допускается только для собственного голоса или с явного |
| разрешения владельца голоса. Полный текст ограничений — в файле LICENSE. |
|
|
| **Атрибуция.** Код базовой модели — MIT; компонент Depth Transformer (SesameAI CSM) |
| — Apache-2.0 (см. `demo/LICENSE-MIT`, `demo/LICENSE-APACHE`, `demo/NOTICE`). Веса |
| базовой модели обучены на [Emilia](https://huggingface.co/datasets/amphion/Emilia-Dataset) |
| и [HiFiTTS-2](https://huggingface.co/datasets/nvidia/hifitts-2) (обе CC BY 4.0) — при |
| использовании и распространении этих весов и производных от них требуется указывать |
| авторов датасетов. Русские данные дообучения — открытые наборы русской речи |
| (~1870 ч после фильтрации). |
|
|
|
|
| ## Метрики (бытовые записи незнакомых дикторов, GigaAM-v3) |
|
|
| | | CER | Переключения голоса | Темп (слог/с) | Паузы (медиана) | |
| |---|---|---|---|---| |
| | **v10-DPO (эта модель)** | **~0.01** | **0–2%** | 5.1–5.2 | 0.4–0.5 с | |
|
|
| ## Использование |
|
|
| Модель требует модифицированный пакет `voxtream` и русский инференс-стек |
| (фонемизатор RUAccent+espeak, вставка sil, проклитики/междометия, RUNorm для цифр) |
| — всё это лежит в папке `demo/` этого репозитория (самодостаточна, с GitHub ничего |
| ставить не нужно). Нужна GPU (~4 ГБ VRAM), Python 3.11: |
|
|
| ```bash |
| git lfs install && git clone https://huggingface.co/simba9/voxtream2-ru |
| cd voxtream2-ru/demo |
| sudo apt install espeak-ng # см. packages.txt |
| pip install -r requirements.txt |
| python app.py --model-dir .. # Gradio на http://127.0.0.1:7860 |
| # без клона весов: MODEL_REPO=simba9/voxtream2-ru python app.py |
| ``` |
|
|
|
|
|
|
