Upload 2 files

app.py

@@ -21,6 +21,8 @@ def _zerogpu_startup_probe():
 
 import gigaam
 import gradio as gr
+from faster_whisper import WhisperModel
+from faster_whisper.audio import decode_audio
 
 # Модель грузим ОДИН раз при старте контейнера, не на каждый запрос.
 # v3_e2e_ctc — версия с пунктуацией и нормализацией текста (не голый поток
@@ -33,6 +35,33 @@ import gradio as gr
 # компактная (220-240М параметров), GPU ей и не нужен.
 MODEL = gigaam.load_model("v3_e2e_ctc", device="cpu")
 
+# GigaAM обучена только на русской речи — на других языках она не "не
+# понимает" в смысле пустого результата, а галлюцинирует русский текст по
+# созвучию (особенно опасно для карточки "о чём песня" — см. index.js:
+# ошибочная "русская" расшифровка иностранного текста песни ломает весь
+# последующий ответ модели). Поэтому перед прогоном через GigaAM отдельно
+# определяем язык лёгкой моделью faster-whisper (tiny, только
+# language-id — полную транскрибацию ею не делаем, для этого дальше в
+# пайплайне бота уже есть Groq Whisper). tiny достаточно для language-id:
+# точность определения языка у tiny почти не хуже, чем у крупных моделей,
+# в отличие от точности самой транскрибации.
+LANG_ID_MODEL = WhisperModel("tiny", device="cpu", compute_type="int8")
+
+# Ниже этого порога уверенности определённому языку не доверяем и всё
+# равно отдаём на GigaAM — так безопаснее для коротких/тихих голосовых,
+# где language-id менее надёжен, чем ошибочно отбраковывать русскую речь.
+LANG_ID_MIN_CONFIDENCE = 0.5
+
+
+def _detect_language(wav_path: str) -> tuple[str, float]:
+    """Определяет язык по первому 30-секундному сегменту WAV (больше и не
+    нужно — language-id у Whisper всегда смотрит только на первый сегмент,
+    длинное аудио тут не даёт точности, только замедляет)."""
+    audio = decode_audio(wav_path, sampling_rate=16000)
+    language, probability, _ = LANG_ID_MODEL.detect_language(audio)
+    return language, probability
+
+
 # Нативный model.transcribe() ограничен 25 секундами аудио за вызов.
 # Официальный обход (.transcribe_longform) тянет за собой pyannote.audio
 # и токен Hugging Face — ради простой последовательной нарезки заводить
@@ -73,12 +102,23 @@ def _split_into_chunks(wav_path: str) -> list[str]:
     return sorted(glob.glob(os.path.join(out_dir, "chunk_*.wav")))
 
 
-def transcribe(audio_path: str) -> str:
+def transcribe(audio_path: str, force_giga: bool = False) -> str:
+    """force_giga=True пропускает language-id и всегда гонит через GigaAM —
+    для ручного выбора движка на стороне бота ("Жень текст giga"). В
+    остальных случаях (auto) сначала проверяем язык и на не-русском сразу
+    возвращаем "" — вызывающий код в боте трактует пустой ответ как "GigaAM
+    не справился" и молча уходит на Groq Whisper (см. transcribeViaGigaAM в
+    index.js), поэтому отдельный сигнал "чужой язык" наружу прокидывать не
+    нужно, пустой строки достаточно."""
     if not audio_path:
         return ""
     wav_path = _to_wav(audio_path)
     chunks: list[str] = []
     try:
+        if not force_giga:
+            language, probability = _detect_language(wav_path)
+            if language != "ru" or probability < LANG_ID_MIN_CONFIDENCE:
+                return ""
         chunks = _split_into_chunks(wav_path)
         parts = [str(MODEL.transcribe(chunk)).strip() for chunk in chunks]
         return " ".join(p for p in parts if p).strip()
@@ -100,7 +140,10 @@ def transcribe(audio_path: str) -> str:
 # предсказуем (/call/transcribe) и не завязан на автогенерируемое имя.
 demo = gr.Interface(
     fn=transcribe,
-    inputs=gr.Audio(type="filepath", label="Аудио"),
+    inputs=[
+        gr.Audio(type="filepath", label="Аудио"),
+        gr.Checkbox(value=False, label="Принудительно GigaAM (бе�� проверки языка)"),
+    ],
     outputs=gr.Textbox(label="Транскрипция"),
     title="GigaAM-v3 — распознавание речи (RU)",
     api_name="transcribe",

requirements.txt

@@ -3,3 +3,4 @@ torch==2.11.0
 torchaudio==2.11.0+cpu
 git+https://github.com/salute-developers/GigaAM.git
 gradio
+faster-whisper