upd: voice flow

app.py

@@ -21,7 +21,9 @@ model_ru2en = AutoModelForSeq2SeqLM.from_pretrained("Helsinki-NLP/opus-mt-ru-en"
 tokenizer_en2ru = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-ru")
 model_en2ru = AutoModelForSeq2SeqLM.from_pretrained("Helsinki-NLP/opus-mt-en-ru")
 
-transcriber = pipeline("automatic-speech-recognition", model="artyomboyko/whisper-base-fine_tuned-ru")
+transcriber = pipeline(
+    "automatic-speech-recognition", model="artyomboyko/whisper-base-fine_tuned-ru"
+)
 
 
 def translate_ru2en(text):
@@ -70,7 +72,7 @@ def generate_answer(image, question):
     return answer_ru
 
 
-def transcribe(stream, new_chunk):
+def transcribe(image, new_chunk):
     sr, y = new_chunk
 
     # Convert to mono if stereo
@@ -80,22 +82,35 @@ def transcribe(stream, new_chunk):
     y = y.astype(np.float32)
     y /= np.max(np.abs(y))
 
-    if stream is not None:
-        stream = np.concatenate([stream, y])
-    else:
-        stream = y
-    return stream, transcriber({"sampling_rate": sr, "raw": stream})["text"]
+    return generate_answer(image, transcriber({"sampling_rate": sr, "raw": y})["text"])
 
 
-interface = gr.Interface(
+qa_interface = gr.Interface(
     fn=generate_answer,
     inputs=[
         gr.Image(type="pil"),
         gr.Textbox(label="Вопрос (на русском)", placeholder="Ваш вопрос"),
-        gr.Audio(sources="microphone", streaming=True, label="Голосовой ввод"),
     ],
     outputs=gr.Textbox(label="Ответ (на русском)"),
     examples=[["doc.png", "О чем данный документ?"]],
+    live=False,
+)
+
+# Interface for real-time speech recognition
+speech_interface = gr.Interface(
+    fn=transcribe,
+    inputs=[
+        gr.Image(type="pil"),
+        gr.Audio(source="microphone", label="Голосовой ввод"),
+    ],
+    outputs=gr.Textbox(label="Распознанный текст"),
+    live=True,
+)
+
+# Combine the interfaces in a Gradio Tabbed layout
+interface = gr.TabbedInterface(
+    [qa_interface, speech_interface],
+    ["Текстовый вопрос", "Голосовой вопрос"],
     title="Демо визуального ответчика на вопросы (на русском)",
     description=(
         "Gradio демо для модели doc-qa с переводом вопросов и ответов"