Upload 27 files

.gitattributes

@@ -33,3 +33,12 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+assets/logo.png filter=lfs diff=lfs merge=lfs -text
+examples/0x0006de19.wav filter=lfs diff=lfs merge=lfs -text
+examples/0x0008d8e5.wav filter=lfs diff=lfs merge=lfs -text
+examples/0x000f7780.wav filter=lfs diff=lfs merge=lfs -text
+examples/0x000faf94.wav filter=lfs diff=lfs merge=lfs -text
+examples/0x0011ce99.wav filter=lfs diff=lfs merge=lfs -text
+examples/0x0011cedc.wav filter=lfs diff=lfs merge=lfs -text
+examples/dialogue_1.wav filter=lfs diff=lfs merge=lfs -text
+examples/dialogue_9.wav filter=lfs diff=lfs merge=lfs -text

examples/0x0006de19.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:22799d5aaf1f1c10bd98b5117585dbf862268336fb0ed43b6213db5014cfd762
+size 200464

examples/0x0008d8e5.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bf4cbd5261c35939b2bcd26fbdcc5ee7f4d861986f67feb4b7e1698a8deb3880
+size 214576

examples/0x000f7780.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:daff7d700b3b7da0d4c1d4b1d26ef6a0978ed9bd563d802563fd7535738bfc7f
+size 317124

examples/0x000faf94.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:890b88c846f65fe12ca9f7c25cdb0d6b81c3dba6297ae2f21b9e812a82ef74e1
+size 525982

examples/0x0011ce99.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:381520ad242a2f2b5292117b264706d5f9a8f02d86125dc953742dd725cae514
+size 419672

examples/0x0011cedc.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2da3034a48fe6b51a766900804aa8a88c0c3859c22383cd8948ede4d8fe1d79a
+size 796462

examples/dialogue_1.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:45d53cc727fe1d3ee851a8cb339e41b201b067094cdbe13b2c98cf2bf54d96de
+size 1763754

examples/dialogue_9.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c6d82ae45a082cdee06a54aed78666506b4570885b8674d83707e2823ba1f975
+size 882044

requirements.txt

@@ -0,0 +1,7 @@
+coqui-tts==0.26.2
+deepl==1.22.0
+dotenv==0.9.9
+gradio==5.34.2
+librosa==0.11.0
+torch==2.7.1
+transformers==4.51.3

src/content/about_tab.py

@@ -0,0 +1,16 @@
+import gradio as gr
+
+def about_tab():
+    with gr.TabItem("ℹ️ **O projekcie**"):
+        gr.Markdown("## O DubAI")
+        gr.Markdown("""
+            DubAI to aplikacja typu end-to-end umożliwiająca:
+            
+            - transkrypcję mowy (ASR),
+            - tłumaczenie na inny język,
+            - oraz syntezę mowy z zachowaniem brzmienia głosu.
+
+            **Zastosowania:** dubbing gier, AI-asystenci, tworzenie voice-overów.
+
+            **Technologie:** Whisper, DeepL, XTTS, Gradio, Python.
+        """)

src/content/contact_tab.py

@@ -0,0 +1,8 @@
+import gradio as gr
+
+def contact_tab():
+    with gr.TabItem("📩 Kontakt"):
+        gr.Markdown("## Formularz kontaktowy")
+        gr.Textbox(label="📧 Twój email")
+        gr.Textbox(label="💬 Wiadomość", lines=4)
+        gr.Button("✉️ Wyślij (do zaimplementowania)")

src/content/front_image.py

@@ -0,0 +1,29 @@
+import gradio as gr
+from src.utils import get_base64_image
+
+def image_tab():
+    gr.HTML("""
+    <style>
+    .full-width-img-container {
+        width: 100%;
+        overflow: hidden;
+        margin: 0;
+        padding: 0;
+    }
+    .full-width-img {
+        width: 100%;
+        height: auto;
+        display: block;
+    }
+    </style>
+    """)
+    
+    img_data = get_base64_image("assets/logo.png")
+    logo_html = f"""
+    <div class="full-width-img-container">
+        <img src="{img_data}" 
+             class="full-width-img"
+             alt="Logo" />
+    </div>
+    """
+    gr.HTML(logo_html)

src/content/method_tab.py

@@ -0,0 +1,60 @@
+import gradio as gr
+from src.utils import get_base64_image
+
+def method_tab():
+    with gr.Tab("⚙️ Metoda"):
+        with gr.Column(elem_classes="method-tab"):
+            gr.HTML('<div style="font-size: 40px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">⚙️ Metoda</div>')
+
+            gr.HTML("""
+                <div style="font-size: 18px; font-family: Myriad, sans-serif;">
+                Proces rozpoczęto od oczyszczenia nagrań z zakłóceń tła przy użyciu modelu Demucs, który umożliwił skuteczne wydzielenie sygnału mowy. Następnie zastosowano Mossformer2 do separacji mówców, co pozwoliło rozdzielić wypowiedzi różnych osób w nagraniu. Transkrypcja i segmentacja audio zostały przeprowadzone za pomocą modelu Whisper, znanego z wysokiej jakości rozpoznawania mowy. Otrzymane wypowiedzi pogrupowano przy użyciu algorytmu DBSCAN, co ułatwiło identyfikację spójnych segmentów konwersacyjnych.
+                <br><br>
+                Do tłumaczenia wykorzystano polski wielojęzyczny model językowy Bielik, który dobrze radzi sobie z przekładem tekstów. Jakość tłumaczeń oceniano przy użyciu metryk COMET, BERTScore i BLEU, zapewniających obiektywną ocenę pod względem zgodności semantycznej i płynności.
+                <br><br>
+                Syntezę mowy zrealizowano przy użyciu modelu XTTS-v2, obsługującego 17 języków i umożliwiającego generowanie naturalnego głosu na podstawie jedynie 6-sekundowego nagrania referencyjnego. Został on wybrany ze względu na dobrą jakość dźwięku, szybkość działania oraz lepszą kompatybilność z językiem polskim niż inne dostępne modele. Na końcu przeprowadzono subiektywną ocenę końcowego dźwięku w formie testów odsłuchowych.
+                <br><br>
+                Na poniższym schemacie przedstawiono szczegółowy przebieg procesu.
+                </div>
+            """)
+
+            img_data = get_base64_image("assets/schema.png")
+            schema_html = f"""
+            <div style="display: flex; justify-content: center; padding: 20px;">
+                <img src="{img_data}" 
+                    style="
+                        width: 100%;
+                        max-width: 1000px;
+                        border: none;
+                        object-fit: contain;
+                    " 
+                    alt="Schemat procesu"
+                />
+            </div>
+            """
+            gr.HTML(schema_html)
+            gr.HTML('<div style="text-align: center; font-size: 18px; font-family: Myriad, sans-serif;"><strong>Schemat 1.</strong> Przebieg procesu przetwarzania nagrania.</div>')
+            
+            gr.HTML('<div style="font-size: 40px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">📊 Wyniki</div>')
+
+            gr.HTML('<div style="font-size: 40px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🎵 Nagrania przykładowe</div>')
+            with gr.Row():
+                with gr.Column():
+                    gr.Audio("examples/0x000f7780.wav", label="Nagranie 1", type="filepath")
+                with gr.Column():
+                    gr.Audio("examples/0x000faf94.wav", label="Nagranie 2", type="filepath")
+            with gr.Row():
+                with gr.Column():
+                    gr.Audio("examples/0x0006de19.wav", label="Nagranie 3", type="filepath")
+                with gr.Column():
+                    gr.Audio("examples/0x0008d8e5.wav", label="Nagranie 4", type="filepath")
+            with gr.Row():
+                with gr.Column():
+                    gr.Audio("examples/0x0011ce99.wav", label="Nagranie 5", type="filepath")
+                with gr.Column():
+                    gr.Audio("examples/0x0011cedc.wav", label="Nagranie 6", type="filepath")
+            with gr.Row():
+                with gr.Column():
+                    gr.Audio("examples/dialogue_1.wav", label="Dialog 1", type="filepath")
+                with gr.Column():
+                    gr.Audio("examples/dialogue_9.wav", label="Dialog 2", type="filepath")

src/content/transcription_tab.py

@@ -0,0 +1,25 @@
+import gradio as gr
+
+def transcription_tab(full_pipeline):
+    with gr.Tab("🎙️ Aplikacja"):
+        with gr.Column(elem_classes="method-tab"):
+            gr.HTML('<div style="font-size: 40px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🎙️ Aplikacja</div>')
+            gr.HTML("""
+                    <div style="font-size: 18px; font-family: Myriad, sans-serif;">
+                    Jesteś ciekawy, jak Twój głos brzmi w innym języku? Możesz to sprawdzić! W ramach projektu udostępniamy wersję demonstracyjną naszej aplikacji. Wystarczy nagrać swoją wypowiedź w języku polskim, a aplikacja automatycznie przetłumaczy ją na język angielski i wygeneruje syntezę głosu. Wystarczy kliknąć przycisk "Uruchom", aby rozpocząć proces.
+                    <br><br>
+                    A może masz już gotowy plik audio z wypowiedzią w języku polskim? Możesz go przesłać, przeciągając go do pola poniżej lub klikając na nie, aby otworzyć okno wyboru pliku. Aplikacja obsługuje pliki w formacie WAV.
+                    <br><br>
+                    Architektura owej wersji demonstracyjnej jest okrojoną wersją naszego pełnego rozwiązania, jednak zawiera najważniejsze funkcjonalności pozwalające na relatywnie szybkie działanie. Składa się ona z modelu transkrypcji mowy Whisper Large v3 Turbo, modułu tłumaczenia wykorzystującego API od DeepL, oraz modelu syntezy mowy XTTS.
+                    """)
+
+            audio_input = gr.Audio(type="filepath", label="🎙️ Nagranie mowy (PL)")
+            tts_output = gr.Audio(label="🗣️ Synteza głosu (EN)", type="filepath")
+
+            run_btn = gr.Button("▶️ Uruchom")
+
+            run_btn.click(
+                fn=full_pipeline,
+                inputs=audio_input,
+                outputs=[tts_output]
+            )

src/models/asr.py

@@ -0,0 +1,33 @@
+import librosa
+from transformers import WhisperProcessor, WhisperForConditionalGeneration
+from typing import Optional
+import torch
+
+
+class ASRService:
+    def __init__(self):
+        self.device = "cuda" if torch.cuda.is_available() else "cpu"
+        self.processor, self.model = self._load_model()
+
+    def _load_model(self):
+        """Ładowanie modelu Whisper"""
+        model_name = "openai/whisper-large-v3-turbo"
+        processor = WhisperProcessor.from_pretrained(model_name)
+        model = WhisperForConditionalGeneration.from_pretrained(model_name).to(self.device)
+        model.config.forced_decoder_ids = processor.get_decoder_prompt_ids(language="pl", task="transcribe")
+        return processor, model
+
+    def transcribe(self, audio_path: str) -> str:
+        """Transkrypcja audio na tekst"""
+        sample, sr = librosa.load(audio_path, sr=16000)
+        input_features = self.processor(
+            sample, 
+            sampling_rate=sr, 
+            return_tensors="pt"
+        ).input_features.to(self.device)
+        
+        predicted_ids = self.model.generate(input_features)
+        return self.processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
+
+# Singleton pattern
+ASR = ASRService()

src/models/pipeline.py

@@ -0,0 +1,23 @@
+from src.models.tts.xtts import XTTS
+from src.models.asr import ASR
+from src.models.translation import TRANSLATOR
+import os
+OUTPUT_WAV_PATH = "output.wav"
+
+
+def PIPELINE(audio_file: str) -> str:
+    # TRANSCRIPTION
+    transcript = ASR.transcribe(audio_file)
+    # TRANSLATION
+    translation = TRANSLATOR.translate(transcript, source_lang="pl", target_lang="EN")
+    # SYNTHESIS
+    if os.path.exists(OUTPUT_WAV_PATH):
+        os.remove(OUTPUT_WAV_PATH)
+    XTTS.synthesize(
+        text=translation,
+        reference_wav=audio_file,
+        output_path=OUTPUT_WAV_PATH,
+        language="en"
+    )
+
+    return OUTPUT_WAV_PATH

src/models/translation.py

@@ -0,0 +1,32 @@
+import deepl
+import os
+from typing import Optional
+from dotenv import load_dotenv
+
+
+load_dotenv()
+
+
+class TranslationService:
+    def __init__(self):
+        self.api_key = os.getenv("DEEPL_API_KEY")
+        if not self.api_key:
+            raise ValueError("Zmienna środowiskowa DEEPL_API_KEY nie jest ustawiona!")
+        self.translator = deepl.Translator(self.api_key)
+
+    def translate(
+        self, 
+        text: str, 
+        source_lang: str = "PL",
+        target_lang: str = "EN"
+    ) -> str:
+        """Tłumaczenie tekstu"""
+        result = self.translator.translate_text(
+            text, 
+            source_lang=source_lang,
+            target_lang=target_lang
+        )
+        return result.text
+
+# Singleton pattern
+TRANSLATOR = TranslationService()

src/models/tts/xtts.py

@@ -0,0 +1,30 @@
+from TTS.api import TTS
+import torch
+from typing import Optional
+
+class TTSService:
+    def __init__(self):
+        self.device = "cuda" if torch.cuda.is_available() else "cpu"
+        self.model = self._load_model()
+
+    def _load_model(self):
+        """Ładowanie modelu XTTS v2"""
+        return TTS("tts_models/multilingual/multi-dataset/xtts_v2").to(self.device)
+
+    def synthesize(
+        self,
+        text: str,
+        reference_wav: str,
+        output_path: str,
+        language: str = "en"
+    ) -> None:
+        """Generacja pliku audio z tekstu"""
+        self.model.tts_to_file(
+            text=text,
+            speaker_wav=reference_wav,
+            language=language,
+            file_path=output_path
+        )
+
+# Singleton pattern
+XTTS = TTSService()

src/utils.py

@@ -0,0 +1,6 @@
+import base64
+
+def get_base64_image(img_path):
+    with open(img_path, "rb") as f:
+        encoded = base64.b64encode(f.read()).decode("utf-8")
+    return f"data:image/png;base64,{encoded}"