Whisper Large V3 + Turbo Russian TFLite — русские модели для Android

TFLite-модели Whisper, дообученные для русского языка. В репозитории только .tflite и артефакт для декода.

Файлы

Файл	Описание
`whisper-large-v3-turbo-russian.tflite`	Модель Turbo, дообученная на русском
`whisper-large-v3-russian.tflite`	Модель Large V3, дообученная на русском
`whisper_vocab.tokens`	Словарь для декода: JSON-массив строк `["token0", "token1", ...]`, где индекс массива = id токена. Формат как у обычного JSON, просто расширение `.tokens`.

Вход: тензор (1, 80, N) float32 — mel-спектрограммы. Параметры Whisper: 80 mel-бинов, 16 kHz, n_fft=400, hop_length=160.
Выход: sequences (token ids) → декодировать по whisper_vocab.tokens: для каждого id взять vocab[id] и склеить строки.

Описание моделей

whisper-large-v3-turbo-russian

Источник: dvislobokov/whisper-large-v3-turbo-russian
Базовая модель: openai/whisper-large-v3-turbo — облегчённая «turbo»-версия large-v3 с меньшим числом параметров и быстрым инференсом.
Дообучение: русский язык на датасете Mozilla Common Voice 17 — около 118 тыс. аудиосэмплов. Обучение ~7 часов на двух GPU A100 40 GB.
Размер: ~0.8B параметров; TFLite-файл ~780 MB.
Особенности: Оптимизирована под скорость при хорошем качестве по русскому. Подходит для устройств с ограниченной памятью и для потоковой или интерактивной расшифровки.

whisper-large-v3-russian

Источник: antony66/whisper-large-v3-russian
Базовая модель: openai/whisper-large-v3 — полная большая модель Whisper v3.
Дообучение: русский язык на Common Voice 17.0 (русская часть) — более 200 тыс. записей. Train/test разбиение 95%/5% (~226k / ~12k). Обучение более 60 часов на двух Tesla A100 80 GB.
Метрики: на отложенной выборке WER снизился с 9.84 (базовый large-v3) до 6.39 после дообучения.
Размер: ~2B параметров; TFLite-файл ~1.5 GB.
Особенности: Ориентирована на максимальное качество распознавания русского, в том числе для телефонных разговоров. В описании автора рекомендуется предобработка аудио (нормализация, sox: norm -0.5 compand ...) перед ASR.

Сравнение моделей

Характеристика	whisper-large-v3-turbo-russian	whisper-large-v3-russian
Параметры	~0.8B	~2B
Размер TFLite	~780 MB	~1.5 GB
Скорость	Быстрее, меньше вычислений	Медленнее, тяжёлая модель
Качество (русский)	Хорошее, достаточное для многих сценариев	Выше, лучший WER на тестах (6.39)
Память на устройстве	Ниже	Выше
Датасет дообучения	Common Voice 17, ~118k сэмплов	Common Voice 17, >200k сэмплов
Когда выбирать	Реал-тайм, слабые устройства, баланс скорость/качество	Офлайн, качество важнее скорости, звонки, сложный аудио

Кратко: для Android на средних/слабых устройствах или при необходимости быстрого отклика удобнее turbo. Когда важна максимальная точность по русскому и есть запас по памяти и времени инференса — large-v3-russian.

Обе модели используют один и тот же словарь whisper_vocab.tokens для декодирования выхода.

Downloads last month: 2