Update app.py

app.py

@@ -2,9 +2,30 @@ import gradio as gr
 from g4f.client import Client
 import re
 import json
+import torch
+import soundfile as sf
+from openvoice_cli.__main__ import tune_one
+import os
+import uuid
+import zipfile
 
+# Initialize G4F client
 client = Client()
 
+# Silero TTS configuration
+language = 'ru'
+model_id = 'ru_v3'
+speaker = 'baya'  # Russian voice
+sample_rate = 48000  # Sample rate for Russian model
+device = torch.device('cpu')
+
+# Load Silero TTS model
+model, _ = torch.hub.load(repo_or_dir='snakers4/silero-models',
+                          model='silero_tts',
+                          language=language,
+                          speaker=model_id)
+model.to(device)
+
 def get_task(prompt):
     return f'''Ты генерируешь скрипт продолжения прямой линии с Владимиром Владимировичем Путиным. Вопросы телезрителей передаёт Киселёв - он максимально подобострастен, поддерживает Путина и Россию. Пиши в духе пропаганды пророссийской. Каждая реплика - не менее 150-200 символов. Английские названия при необходимости всегда транскрибируй кириллицей. Числительные также записывай кириллицей. Пиши в стиле кремлёвской пропаганды. Пиши в стереотипном стиле. Киселёв задаёт вопросы, обрашается к Путину как "Владимир Владимирович" или "Господин Президент". Путин отвечает. Всё максимально аутентично. Фразы Киселёва: {{"Киселёв":"фраза"}} Фразы Путина: {{"Путин":"фраза"}} Ответ дай в формате JSON без дополнительных символов: [{{"Киселёв":"фраза"}}, {{"Путин":"фраза"}} . . . ].
 Вопрос от пользователя поступил: "{prompt}"'''
@@ -34,6 +55,68 @@ def generate_text(prompt):
     # If all retries fail, return a placeholder
     return '[{"Киселёв":"К сожалению, не удалось расслышать вопрос. Пожалуйста, попробуйте еще раз."}, {"Путин":"Мы работаем над улучшением системы. Спасибо за понимание."}]'
 
+def generate_audio(text, speaker_name):
+    # Generate speech using Silero TTS
+    audio = model.apply_tts(ssml_text=f"<speak>{text}</speak>",
+                            speaker=speaker,
+                            sample_rate=sample_rate,
+                            put_accent=True,
+                            put_yo=True)
+    
+    # Save to a temporary file
+    temp_filename = f"temp_{speaker_name}.wav"
+    sf.write(temp_filename, audio, sample_rate)
+    return temp_filename
+
+def generate_cover(base_audio, ref_audio):
+    # Create unique output filename
+    output_filename = f"output_{uuid.uuid4().hex[:6]}.wav"
+    
+    # Process the audio with OpenVoice
+    tune_one(
+        input_file=base_audio,
+        ref_file=ref_audio,
+        output_file=output_filename,
+        device='cpu'
+    )
+    
+    return output_filename
+
+def process_prompt(prompt):
+    # Generate the script
+    script = generate_text(prompt)
+    script_data = json.loads(script)
+    
+    # Prepare a list to store the generated audio files
+    audio_files = []
+    
+    for i, item in enumerate(script_data):
+        for speaker, text in item.items():
+            # Generate the base audio using Silero TTS
+            base_audio_file = generate_audio(text, speaker)
+            
+            # Determine the reference audio file based on the speaker
+            ref_audio_file = "kisel.mp3" if speaker == "Киселёв" else "putin.mp3"
+            
+            # Generate the covered audio using OpenVoice
+            covered_audio_file = generate_cover(base_audio_file, ref_audio_file)
+            
+            # Rename the file to include the speaker and sequence number
+            final_filename = f"t{i+1}-{speaker}.wav"
+            os.rename(covered_audio_file, final_filename)
+            
+            # Add the final file to the list
+            audio_files.append(final_filename)
+    
+    # Create a zip file containing all the audio files
+    zip_filename = "output_audio_files.zip"
+    with zipfile.ZipFile(zip_filename, 'w') as zipf:
+        for audio_file in audio_files:
+            zipf.write(audio_file)
+    
+    return zip_filename
+
+# Gradio interface
 examples = [
     "Почему такие высокие налоги?",
     "Какие цели СВО?",
@@ -51,18 +134,18 @@ with gr.Blocks() as demo:
         )
     
     generate_btn = gr.Button("Generate", variant="primary")
-    output = gr.Textbox(label="Generated Text", interactive=False)
+    output = gr.File(label="Generated Audio Files")
     
     gr.Examples(
         examples=examples,
         inputs=prompt_input,
         outputs=output,
-        fn=generate_text,
+        fn=process_prompt,
         cache_examples=False
     )
 
     generate_btn.click(
-        fn=generate_text,
+        fn=process_prompt,
         inputs=prompt_input,
         outputs=output
     )