Upload 38 files

.gitattributes

@@ -42,3 +42,17 @@ examples/0x0011ce99.wav filter=lfs diff=lfs merge=lfs -text
 examples/0x0011cedc.wav filter=lfs diff=lfs merge=lfs -text
 examples/dialogue_1.wav filter=lfs diff=lfs merge=lfs -text
 examples/dialogue_9.wav filter=lfs diff=lfs merge=lfs -text
+examples/generated/0x0006de19.wav filter=lfs diff=lfs merge=lfs -text
+examples/generated/0x0008d8e5.wav filter=lfs diff=lfs merge=lfs -text
+examples/generated/0x000f7780.wav filter=lfs diff=lfs merge=lfs -text
+examples/generated/0x000faf94.wav filter=lfs diff=lfs merge=lfs -text
+examples/generated/0x0011ce99.wav filter=lfs diff=lfs merge=lfs -text
+examples/generated/dialogue_1.wav filter=lfs diff=lfs merge=lfs -text
+examples/generated/dialogue_9.wav filter=lfs diff=lfs merge=lfs -text
+examples/original/0x0006de19.wav filter=lfs diff=lfs merge=lfs -text
+examples/original/0x0008d8e5.wav filter=lfs diff=lfs merge=lfs -text
+examples/original/0x000f7780.wav filter=lfs diff=lfs merge=lfs -text
+examples/original/0x000faf94.wav filter=lfs diff=lfs merge=lfs -text
+examples/original/0x0011ce99.wav filter=lfs diff=lfs merge=lfs -text
+examples/original/dialogue_1.wav filter=lfs diff=lfs merge=lfs -text
+examples/original/dialogue_9.wav filter=lfs diff=lfs merge=lfs -text

examples/generated/0x0006de19.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:22799d5aaf1f1c10bd98b5117585dbf862268336fb0ed43b6213db5014cfd762
+size 200464

examples/generated/0x0008d8e5.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bf4cbd5261c35939b2bcd26fbdcc5ee7f4d861986f67feb4b7e1698a8deb3880
+size 214576

examples/generated/0x000f7780.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:daff7d700b3b7da0d4c1d4b1d26ef6a0978ed9bd563d802563fd7535738bfc7f
+size 317124

examples/generated/0x000faf94.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:890b88c846f65fe12ca9f7c25cdb0d6b81c3dba6297ae2f21b9e812a82ef74e1
+size 525982

examples/generated/0x0011ce99.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:381520ad242a2f2b5292117b264706d5f9a8f02d86125dc953742dd725cae514
+size 419672

examples/generated/dialogue_1.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:45d53cc727fe1d3ee851a8cb339e41b201b067094cdbe13b2c98cf2bf54d96de
+size 1763754

examples/generated/dialogue_9.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c6d82ae45a082cdee06a54aed78666506b4570885b8674d83707e2823ba1f975
+size 882044

examples/original/0x0006de19.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:78d3d9bf2995902a256cedb67c88fa8f3e4725163ddd48709cf61c83ebb786fb
+size 537900

examples/original/0x0008d8e5.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9cb598944972483bb3c9df133e2bc924fe3443a4b940646d2b24b7f39f402705
+size 577324

examples/original/0x000f7780.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bd85ed67a67c1db412f12405eb43b5d322e5ff6c9e161ee88e863a5109780d2d
+size 973100

examples/original/0x000faf94.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:556bdd4637f233c678f0b9d8b3157e5b0351a8f49817f4d68a5fb5d7e87c3768
+size 2771244

examples/original/0x0011ce99.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4d9d5c13b288c6c2a78b1dddd46933311df01fd3a496ec757bf2d02c32b19e83
+size 1364268

examples/original/dialogue_1.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:961b1c704cdf4e8ccfdd9f982c269e0f0daf4d3ca38f8b77fa1c92fc46104dc9
+size 6350444

examples/original/dialogue_9.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8a1f4fabe2a34165a458041ffaac972231483ecbd2c2ad828d8ba6886eb3daec
+size 681544

src/content/about_tab.py

@@ -1,16 +1,26 @@
 import gradio as gr
 
 def about_tab():
-    with gr.TabItem("ℹ️ **O projekcie**"):
-        gr.Markdown("## O DubAI")
-        gr.Markdown("""
-            DubAI to aplikacja typu end-to-end umożliwiająca:
-            
-            - transkrypcję mowy (ASR),
-            - tłumaczenie na inny język,
-            - oraz syntezę mowy z zachowaniem brzmienia głosu.
+    with gr.TabItem("ℹ️ O projekcie"):
+        with gr.Column():
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🎮 Motywacja</div>')
+            gr.HTML("""
+                <div style="font-size: 18px; font-family: Myriad, sans-serif;">
+                Podczas analizy recenzji gier publikowanych na popularnych serwisach, wielokrotnie natrafialiśmy na głosy graczy wyrażających niezadowolenie z braku polskiego dubbingu w produkcjach zagranicznych. Wielu z nich podkreślało, że brak lokalizacji głosowej negatywnie wpływa na immersję i znacznie obniża jakość doświadczenia płynącego z rozgrywki. Zaintrygowani tym problemem postanowiliśmy zgłębić temat. Nasze obserwacje potwierdziły, że główną barierą we wdrażaniu lokalizacji na mniejsze rynki takie jak polski są wysokie koszty oraz długi czas realizacji. W odpowiedzi na tę lukę rynkową podjęliśmy decyzję o stworzeniu systemu do automatycznego generowania dubbingu w języku polskim z wykorzystaniem AI.
+                </div>
+            """)
 
-            **Zastosowania:** dubbing gier, AI-asystenci, tworzenie voice-overów.
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🎯 Cel</div>')
+            gr.HTML("""
+                <div style="font-size: 18px; font-family: Myriad, sans-serif;">
+                Celem naszego projektu jest dostarczenie rozwiązania, które znacząco obniży koszty lokalizacji oraz skróci czas jej realizacji, jednocześnie zachowując wysoką jakość audio i naturalność wypowiedzi.
+                </div>
+            """)
+
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🛠️ Architektura</div>')
+            gr.HTML("""
+                <div style="font-size: 18px; font-family: Myriad, sans-serif;">
+                Aby osiągnąć nasz cel, opracowaliśmy modularną architekturę systemu umożliwiającego generowanie dubbingu z użyciem nowoczesnych modeli AI. Cały proces został podzielony na trzy główne etapy: przetwarzanie wstępne, tłumaczenie oraz generowanie dźwięku. Każdy z tych komponentów działa niezależnie, co pozwala na łatwą modyfikację lub wymianę modelu na bardziej zaawansowany bez konieczności przebudowy całego potoku przetwarzania.
+                </div>
+            """)
 
-            **Technologie:** Whisper, DeepL, XTTS, Gradio, Python.
-        """)

src/content/about_us_tab.py

@@ -0,0 +1,48 @@
+import gradio as gr
+
+
+def about_us_tab():
+    with gr.Tab("👥 O nas"):
+        with gr.Column():
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">👥 O nas</div>')
+
+            gr.HTML("""
+                <div style="font-size: 18px; font-family: Myriad, sans-serif;">
+                Jesteśmy studentami kierunku Sztuczna Inteligencja na Politechnice Wrocławskiej.  Projekt DubAI zrealizowaliśmy w ramach zajęć, łącząc naszą pasję do gier komputerowych z chęcią zdobywania nowych umiejętności i pogłębiania wiedzy z zakresu przetwarzania dźwięku i języka naturalnego. Naszym celem było stworzenie narzędzia do generowania dubbingu do gier komputerowych, ze szczególnym uwzględnieniem języka polskiego. Pragniemy dzięki temu zapewnić użytkownikom większą immersję oraz satysfakcję z gry.
+                <br><br>
+                W skład zespołu wchodzą: Natalia Iwańska, Klaudia Janicka, Wiktor Jeżowski, Kajetan Kołodziejczyk oraz Michał Wiktorowski. 
+                <br>
+                Opiekunami projektu są dr hab. inż. Maciej Piasecki oraz dr inż. Piotr Syga.
+                </div>
+            """)
+
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">📩 Kontakt</div>')
+
+            gr.HTML("""
+                <div style="font-size: 18px; font-family: Myriad, sans-serif;">
+                <ul>
+                <li>
+                    Natalia Iwańska 📧
+                    <a href="mailto:262270@student.pwr.edu.pl">262270@student.pwr.edu.pl</a>
+                </li>
+                <li>
+                    Klaudia Janicka 📧
+                    <a href="mailto:262268@student.pwr.edu.pl">262268@student.pwr.edu.pl</a>
+                </li>
+                <li>
+                    Wiktor Jeżowski 📧
+                    <a href="mailto:260426@student.pwr.edu.pl">260426@student.pwr.edu.pl</a>
+                </li>
+                <li>
+                    Kajetan Kołodziejczyk 📧
+                    <a href="mailto:259171@student.pwr.edu.pl">259171@student.pwr.edu.pl</a>
+                </li>
+                <li>
+                    Michał Wiktorowski 📧
+                    <a href="mailto:262330@student.pwr.edu.pl">262330@student.pwr.edu.pl</a>
+                </li>
+                </ul>
+                </div>
+            """)
+
+

src/content/method_tab.py

@@ -4,13 +4,13 @@ from src.utils import get_base64_image
 def method_tab():
     with gr.Tab("⚙️ Metoda"):
         with gr.Column(elem_classes="method-tab"):
-            gr.HTML('<div style="font-size: 40px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">⚙️ Metoda</div>')
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">⚙️ Metoda</div>')
 
             gr.HTML("""
                 <div style="font-size: 18px; font-family: Myriad, sans-serif;">
                 Proces rozpoczęto od oczyszczenia nagrań z zakłóceń tła przy użyciu modelu Demucs, który umożliwił skuteczne wydzielenie sygnału mowy. Następnie zastosowano Mossformer2 do separacji mówców, co pozwoliło rozdzielić wypowiedzi różnych osób w nagraniu. Transkrypcja i segmentacja audio zostały przeprowadzone za pomocą modelu Whisper, znanego z wysokiej jakości rozpoznawania mowy. Otrzymane wypowiedzi pogrupowano przy użyciu algorytmu DBSCAN, co ułatwiło identyfikację spójnych segmentów konwersacyjnych.
                 <br><br>
-                Do tłumaczenia wykorzystano polski wielojęzyczny model językowy Bielik, który dobrze radzi sobie z przekładem tekstów. Jakość tłumaczeń oceniano przy użyciu metryk COMET, BERTScore i BLEU, zapewniających obiektywną ocenę pod względem zgodności semantycznej i płynności.
+                Do tłumaczenia wykorzystano polski wielojęzyczny model językowy Bielik, który efektywnie przekłada teksty zachowując ich znaczenie. Unikalnym aspektem naszego podejścia jest uwzględnianie kontekstu w postaci sąsiadujących fragmentów dialogu — zarówno wypowiedzi poprzedzających, jak i następujących po tłumaczonym fragmencie. Jakość tłumaczeń jest oceniana automatycznie za pomocą metryk takich jak COMET, BERTScore i BLEU, które zapewniają obiektywną ocenę pod kątem zgodności semantycznej oraz płynności tłumaczonego tekstu. 
                 <br><br>
                 Syntezę mowy zrealizowano przy użyciu modelu XTTS-v2, obsługującego 17 języków i umożliwiającego generowanie naturalnego głosu na podstawie jedynie 6-sekundowego nagrania referencyjnego. Został on wybrany ze względu na dobrą jakość dźwięku, szybkość działania oraz lepszą kompatybilność z językiem polskim niż inne dostępne modele. Na końcu przeprowadzono subiektywną ocenę końcowego dźwięku w formie testów odsłuchowych.
                 <br><br>
@@ -35,26 +35,4 @@ def method_tab():
             gr.HTML(schema_html)
             gr.HTML('<div style="text-align: center; font-size: 18px; font-family: Myriad, sans-serif;"><strong>Schemat 1.</strong> Przebieg procesu przetwarzania nagrania.</div>')
             
-            gr.HTML('<div style="font-size: 40px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">📊 Wyniki</div>')
-
-            gr.HTML('<div style="font-size: 40px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🎵 Nagrania przykładowe</div>')
-            with gr.Row():
-                with gr.Column():
-                    gr.Audio("examples/0x000f7780.wav", label="Nagranie 1", type="filepath")
-                with gr.Column():
-                    gr.Audio("examples/0x000faf94.wav", label="Nagranie 2", type="filepath")
-            with gr.Row():
-                with gr.Column():
-                    gr.Audio("examples/0x0006de19.wav", label="Nagranie 3", type="filepath")
-                with gr.Column():
-                    gr.Audio("examples/0x0008d8e5.wav", label="Nagranie 4", type="filepath")
-            with gr.Row():
-                with gr.Column():
-                    gr.Audio("examples/0x0011ce99.wav", label="Nagranie 5", type="filepath")
-                with gr.Column():
-                    gr.Audio("examples/0x0011cedc.wav", label="Nagranie 6", type="filepath")
-            with gr.Row():
-                with gr.Column():
-                    gr.Audio("examples/dialogue_1.wav", label="Dialog 1", type="filepath")
-                with gr.Column():
-                    gr.Audio("examples/dialogue_9.wav", label="Dialog 2", type="filepath")
+        

src/content/results_tab.py

@@ -0,0 +1,62 @@
+import gradio as gr
+from pathlib import Path
+
+
+def get_files(dir_name):
+    path = Path(__file__).resolve().parents[2] / 'examples' / dir_name
+    files = sorted(path.glob("*.wav"))
+    return files
+
+ORIGINAL = get_files('original')
+GENERATED = get_files('generated')
+
+def results_tab():
+    with gr.Tab("📊 Wyniki"):
+        with gr.Column(elem_classes="results-tab"):
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🎵 Przykłady dubbingu</div>')
+            with gr.Row():
+                gr.HTML('<div style="font-size: 20px; font-family: Myriad, sans-serif; font-weight: bold; text-align: center;">Oryginalne nagranie</div>')
+                gr.HTML('<div style="font-size: 20px; font-family: Myriad, sans-serif; font-weight: bold; text-align: center;">Wygenerowany dubbing</div>')
+            for file1, file2 in zip(ORIGINAL, GENERATED):
+                with gr.Row():
+                    with gr.Column():
+                        gr.Audio(file1, label='Oryginał', type="filepath")
+                    with gr.Column():
+                        gr.Audio(file2, label='Wygenerowany', type="filepath")
+            
+            gr.HTML('<br><br>')
+
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">Przykłady wpływu kontekstu na tłumaczenie</div>')
+            gr.HTML("""
+                    <div style="display:flex; gap:20px; flex-wrap: wrap; color:#000;">
+
+                    <div style="flex:1; background-color:#f5f5f5; color:#000; border:2px solid black; border-radius:20px; padding:15px; min-width:300px;">
+                    <h3 style="color:#000;">Przykład 1</h3>
+                    <b>Dialog:</b><br>
+                    <div style="background-color:#e0e0e0; border-radius:10px; padding:10px; margin-top:5px; margin-bottom:10px; color:#000;">
+                    Troll - Ick metal. Mouth stings.<br>
+                    Lambert - <b style="color:black;">You nuts?!</b><br>
+                    Geralt - Shut up and follow my lead.
+                    </div>
+                    <b style="color:black;">Oryginalne:</b> Zwariowałeś?! ⭐<br>
+                    <b style="color:black;">Bez kontekstu:</b> Ty orzeszku?! <span>👎</span><br>
+                    <b style="color:black;">Z kontekstem:</b> <b style="color:black;">Czy ty zwariowałeś?!</b> ✅
+                    </div>
+
+                    <div style="flex:1; background-color:#f5f5f5; color:#000; border:2px solid black; border-radius:20px; padding:15px; min-width:300px;">
+                    <h3 style="color:#000;">Przykład 2</h3>
+                    <b>Dialog:</b><br>
+                    <div style="background-color:#e0e0e0; border-radius:10px; padding:10px; margin-top:5px; margin-bottom:10px; color:#000;">
+                    Yennefer - Philippa, your eyesight, only just recovered and magically simulated. Didn’t you say you’d need some time to get accustomed?<br>
+                    Philippa Eilhart - <b style="color:black;">Did I?</b><br>
+                    Yennefer - I’d forgotten how irritating she can be. Come, Ciri.
+                    </div>
+                    <b style="color:black;">Oryginalne:</b> Tak mówiłam? ⭐<br>
+                    <b style="color:black;">Bez kontekstu:</b> Czy ja? <span style="color:black;">👎</span><br>
+                    <b style="color:black;">Z kontekstem:</b> <b style="color:black;">Czy ja tak powiedziałam?</b> ✅
+                    </div>
+                    </div>
+                    """)
+
+
+                                

src/content/transcription_tab.py

@@ -3,7 +3,7 @@ import gradio as gr
 def transcription_tab(full_pipeline):
     with gr.Tab("🎙️ Aplikacja"):
         with gr.Column(elem_classes="method-tab"):
-            gr.HTML('<div style="font-size: 40px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🎙️ Aplikacja</div>')
+            gr.HTML('<div style="font-size: 35px; font-family: Myriad, sans-serif; font-weight: bold; text-align: left;">🎙️ Aplikacja</div>')
             gr.HTML("""
                     <div style="font-size: 18px; font-family: Myriad, sans-serif;">
                     Jesteś ciekawy, jak Twój głos brzmi w innym języku? Możesz to sprawdzić! W ramach projektu udostępniamy wersję demonstracyjną naszej aplikacji. Wystarczy nagrać swoją wypowiedź w języku polskim, a aplikacja automatycznie przetłumaczy ją na język angielski i wygeneruje syntezę głosu. Wystarczy kliknąć przycisk "Uruchom", aby rozpocząć proces.