Update app.py

app.py

@@ -1,210 +1,210 @@
-import spaces
-from kokoro import KModel, KPipeline
-import gradio as gr
-import os
-import random
-import torch
-
-IS_DUPLICATE = not os.getenv('SPACE_ID', '').startswith('testnhe/')
-CUDA_AVAILABLE = torch.cuda.is_available()
-if not IS_DUPLICATE:
-    import kokoro
-    import misaki
-    print('DEBUG', kokoro.__version__, CUDA_AVAILABLE, misaki.__version__)
-
-CHAR_LIMIT = None if IS_DUPLICATE else 5000
-models = {gpu: KModel().to('cuda' if gpu else 'cpu').eval() for gpu in [False] + ([True] if CUDA_AVAILABLE else [])}
-pipelines = {lang_code: KPipeline(lang_code=lang_code, model=False) for lang_code in 'ab'}
-pipelines['a'].g2p.lexicon.golds['kokoro'] = 'kˈOkəɹO'
-pipelines['b'].g2p.lexicon.golds['kokoro'] = 'kˈQkəɹQ'
-
-@spaces.GPU(duration=30)
-def forward_gpu(ps, ref_s, speed):
-    return models[True](ps, ref_s, speed)
-
-def generate_first(text, voice='af_heart', speed=1, use_gpu=CUDA_AVAILABLE):
-    text = text if CHAR_LIMIT is None else text.strip()[:CHAR_LIMIT]
-    pipeline = pipelines[voice[0]]
-    pack = pipeline.load_voice(voice)
-    use_gpu = use_gpu and CUDA_AVAILABLE
-    for _, ps, _ in pipeline(text, voice, speed):
-        ref_s = pack[len(ps)-1]
-        try:
-            if use_gpu:
-                audio = forward_gpu(ps, ref_s, speed)
-            else:
-                audio = models[False](ps, ref_s, speed)
-        except gr.exceptions.Error as e:
-            if use_gpu:
-                gr.Warning(str(e))
-                gr.Info('Đang thử lại với CPU. Để tránh lỗi này, hãy đổi Hardware thành CPU.')
-                audio = models[False](ps, ref_s, speed)
-            else:
-                raise gr.Error(e)
-        return (24000, audio.numpy()), ps
-    return None, ''
-
-# Arena API
-def predict(text, voice='af_heart', speed=1):
-    return generate_first(text, voice, speed, use_gpu=False)[0]
-
-def tokenize_first(text, voice='af_heart'):
-    pipeline = pipelines[voice[0]]
-    for _, ps, _ in pipeline(text, voice):
-        return ps
-    return ''
-
-def generate_all(text, voice='af_heart', speed=1, use_gpu=CUDA_AVAILABLE):
-    text = text if CHAR_LIMIT is None else text.strip()[:CHAR_LIMIT]
-    pipeline = pipelines[voice[0]]
-    pack = pipeline.load_voice(voice)
-    use_gpu = use_gpu and CUDA_AVAILABLE
-    first = True
-    for _, ps, _ in pipeline(text, voice, speed):
-        ref_s = pack[len(ps)-1]
-        try:
-            if use_gpu:
-                audio = forward_gpu(ps, ref_s, speed)
-            else:
-                audio = models[False](ps, ref_s, speed)
-        except gr.exceptions.Error as e:
-            if use_gpu:
-                gr.Warning(str(e))
-                gr.Info('Chuyển sang CPU')
-                audio = models[False](ps, ref_s, speed)
-            else:
-                raise gr.Error(e)
-        yield 24000, audio.numpy()
-        if first:
-            first = False
-            yield 24000, torch.zeros(1).numpy()
-
-with open('en.txt', 'r') as r:
-    random_quotes = [line.strip() for line in r]
-
-def get_random_quote():
-    return random.choice(random_quotes)
-
-def get_gatsby():
-    with open('gatsby5k.md', 'r') as r:
-        return r.read().strip()
-
-def get_frankenstein():
-    with open('frankenstein5k.md', 'r') as r:
-        return r.read().strip()
-
-CHOICES = {
-'🇺🇸 👩 Heart ❤️ (Mỹ)':    'af_heart',
-'🇺🇸 👩 Bella 🔥 (Mỹ)':    'af_bella',
-'🇺🇸 👩 Nicole 🎧 (Mỹ)':   'af_nicole',
-'🇺🇸 👩 Aoede (Mỹ)':       'af_aoede',
-'🇺🇸 👩 Kore (Mỹ)':        'af_kore',
-'🇺🇸 👩 Sarah (Mỹ)':       'af_sarah',
-'🇺🇸 👩 Nova (Mỹ)':        'af_nova',
-'🇺🇸 👩 Sky (Mỹ)':         'af_sky',
-'🇺🇸 👩 Alloy (Mỹ)':       'af_alloy',
-'🇺🇸 👩 Jessica (Mỹ)':     'af_jessica',
-'🇺🇸 👩 River (Mỹ)':       'af_river',
-
-'🇺🇸 👨 Michael (Mỹ)':     'am_michael',
-'🇺🇸 👨 Fenrir (Mỹ)':      'am_fenrir',
-'🇺🇸 👨 Puck (Mỹ)':        'am_puck',
-'🇺🇸 👨 Echo (Mỹ)':        'am_echo',
-'🇺🇸 👨 Eric (Mỹ)':        'am_eric',
-'🇺🇸 👨 Liam (Mỹ)':        'am_liam',
-'🇺🇸 👨 Onyx (Mỹ)':        'am_onyx',
-'🇺🇸 👨 Santa (Mỹ)':       'am_santa',
-'🇺🇸 👨 Adam (Mỹ)':        'am_adam',
-
-'🇬🇧 👩 Emma (Anh)':        'bf_emma',
-'🇬🇧 👩 Isabella (Anh)':    'bf_isabella',
-'🇬🇧 👩 Alice (Anh)':       'bf_alice',
-'🇬🇧 👩 Lily (Anh)':        'bf_lily',
-
-'🇬🇧 👨 George (Anh)':      'bm_george',
-'🇬🇧 👨 Fable (Anh)':       'bm_fable',
-'🇬🇧 👨 Lewis (Anh)':       'bm_lewis',
-'🇬🇧 👨 Daniel (Anh)':      'bm_daniel',
-
-}
-for v in CHOICES.values():
-    pipelines[v[0]].load_voice(v)
-
-TOKEN_NOTE = '''
-💡 Bạn có thể tùy chỉnh cách phát âm bằng cú pháp liên kết Markdown và các dấu gạch chéo, ví dụ như [Kokoro](/kˈOkəɹO/)
-
-💬 Để điều chỉnh ngữ điệu, hãy thử thêm các dấu câu ;:,.!?—…"()“” hoặc ký hiệu nhấn trọng âm ˈ và ˌ
-
-⬇️ Giảm mức độ nhấn trọng âm: [1 mức](-1) hoặc [2 mức](-2)
-
-⬆️ Tăng mức độ nhấn trọng âm: [hoặc](+2) (tăng 1 cấp độ) hoặc 2 cấp độ (chỉ áp dụng cho những từ ít nhấn, thường là những từ ngắn)
-'''
-
-with gr.Blocks() as generate_tab:
-    out_audio = gr.Audio(label='Đầu ra âm thanh', interactive=False, streaming=False, autoplay=True)
-    generate_btn = gr.Button('Chuyển đổi', variant='primary')
-    with gr.Accordion('Tokens đầu ra', open=True):
-        out_ps = gr.Textbox(interactive=False, show_label=False, info='Tokens được sử dụng để tạo âm thanh, có độ dài ngữ cảnh 510 Tokens.')
-        tokenize_btn = gr.Button('Tokenize', variant='secondary')
-        gr.Markdown(TOKEN_NOTE)
-        predict_btn = gr.Button('Predict', variant='secondary', visible=False)
-
-STREAM_NOTE = ['⚠️ Có một lỗi Gradio chưa xác định có thể khiến âm thanh không phát ra khi bạn nhấp vào `Trực Tiếp` lần đầu tiên.']
-if CHAR_LIMIT is not None:
-    STREAM_NOTE.append(f'✂️ Mỗi luồng được giới hạn ở {CHAR_LIMIT} ký tự.')
-    STREAM_NOTE.append('🚀 Bạn muốn có thêm nhân vật? Bạn có thể [sử dụng TTS-82M trực tiếp](https://huggingface.co/spaces/testnhe/TTS-82M) hoặc sao chép không gian này:')
-STREAM_NOTE = '\n\n'.join(STREAM_NOTE)
-
-with gr.Blocks() as stream_tab:
-    out_stream = gr.Audio(label='Luồng âm thanh đầu ra', interactive=False, streaming=True, autoplay=True)
-    with gr.Row():
-        stream_btn = gr.Button('Trực Tiếp', variant='primary')
-        stop_btn = gr.Button('Dừng', variant='stop')
-    with gr.Accordion('Note', open=True):
-        gr.Markdown(STREAM_NOTE)
-        gr.DuplicateButton()
-
-BANNER_TEXT = '''
-[***TTS-82M*** **là mô hình TTS có trọng số mở với 82 triệu tham số.**](https://huggingface.co/spaces/testnhe/TTS-82M)
-
-Bản này chỉ tiếng Anh, nhưng bạn có thể sử dụng trực tiếp mô hình để truy cập các ngôn ngữ khác.
-'''
-API_OPEN = os.getenv('SPACE_ID') != 'testnhe/TTS-82M'
-API_NAME = None if API_OPEN else False
-with gr.Blocks() as app:
-    with gr.Row():
-        gr.Markdown(BANNER_TEXT, container=True)
-    with gr.Row():
-        with gr.Column():
-            text = gr.Textbox(label='Văn bản đầu vào', info=f"Tối đa ~500 ký tự cho mỗi lần tạo hoặc {'∞' if CHAR_LIMIT is None else CHAR_LIMIT} ký tự trên mỗi luồng")
-            with gr.Row():
-                voice = gr.Dropdown(list(CHOICES.items()), value='af_heart', label='Giọng', info='Chất lượng và tính khả dụng thay đổi tùy theo ngôn ngữ')
-                use_gpu = gr.Dropdown(
-                    [('ZeroGPU 🚀', True), ('CPU 🐌', False)],
-                    value=CUDA_AVAILABLE,
-                    label='Phần cứng',
-                    info='GPU thường nhanh hơn nhưng có hạn ngạch sử dụng',
-                    interactive=CUDA_AVAILABLE
-                )
-            speed = gr.Slider(minimum=0.5, maximum=2, value=1, step=0.1, label='Tốc độ')
-            random_btn = gr.Button('🎲 Trích dẫn ngẫu nhiên 💬', variant='secondary')
-            with gr.Row():
-                gatsby_btn = gr.Button('🥂 Ngẫu nhiên văn bản dài (Có phát âm) 📕', variant='secondary')
-                frankenstein_btn = gr.Button('💀 Ngẫu nhiên văn bản dài 📗', variant='secondary')
-        with gr.Column():
-            gr.TabbedInterface([generate_tab, stream_tab], ['Chuyển đổi', 'Trực Tiếp'])
-    random_btn.click(fn=get_random_quote, inputs=[], outputs=[text], api_name=API_NAME)
-    gatsby_btn.click(fn=get_gatsby, inputs=[], outputs=[text], api_name=API_NAME)
-    frankenstein_btn.click(fn=get_frankenstein, inputs=[], outputs=[text], api_name=API_NAME)
-    generate_btn.click(fn=generate_first, inputs=[text, voice, speed, use_gpu], outputs=[out_audio, out_ps], api_name=API_NAME)
-    tokenize_btn.click(fn=tokenize_first, inputs=[text, voice], outputs=[out_ps], api_name=API_NAME)
-    stream_event = stream_btn.click(fn=generate_all, inputs=[text, voice, speed, use_gpu], outputs=[out_stream], api_name=API_NAME)
-    stop_btn.click(fn=None, cancels=stream_event)
-    predict_btn.click(fn=predict, inputs=[text, voice, speed], outputs=[out_audio], api_name=API_NAME)
-
-if __name__ == '__main__':
-    #Local
-    #app.queue(api_open=API_OPEN).launch(show_api=API_OPEN, ssr_mode=True)
-    #Colab
-    app.queue(api_open=API_OPEN).launch(show_api=API_OPEN, ssr_mode=True, share=True)
-
+import spaces
+from kokoro import KModel, KPipeline
+import gradio as gr
+import os
+import random
+import torch
+
+IS_DUPLICATE = not os.getenv('SPACE_ID', '').startswith('testnhe/')
+CUDA_AVAILABLE = torch.cuda.is_available()
+if not IS_DUPLICATE:
+    import kokoro
+    import misaki
+    print('DEBUG', kokoro.__version__, CUDA_AVAILABLE, misaki.__version__)
+
+CHAR_LIMIT = None if IS_DUPLICATE else 5000
+models = {gpu: KModel().to('cuda' if gpu else 'cpu').eval() for gpu in [False] + ([True] if CUDA_AVAILABLE else [])}
+pipelines = {lang_code: KPipeline(lang_code=lang_code, model=False) for lang_code in 'ab'}
+pipelines['a'].g2p.lexicon.golds['kokoro'] = 'kˈOkəɹO'
+pipelines['b'].g2p.lexicon.golds['kokoro'] = 'kˈQkəɹQ'
+
+@spaces.GPU(duration=30)
+def forward_gpu(ps, ref_s, speed):
+    return models[True](ps, ref_s, speed)
+
+def generate_first(text, voice='af_heart', speed=1, use_gpu=CUDA_AVAILABLE):
+    text = text if CHAR_LIMIT is None else text.strip()[:CHAR_LIMIT]
+    pipeline = pipelines[voice[0]]
+    pack = pipeline.load_voice(voice)
+    use_gpu = use_gpu and CUDA_AVAILABLE
+    for _, ps, _ in pipeline(text, voice, speed):
+        ref_s = pack[len(ps)-1]
+        try:
+            if use_gpu:
+                audio = forward_gpu(ps, ref_s, speed)
+            else:
+                audio = models[False](ps, ref_s, speed)
+        except gr.exceptions.Error as e:
+            if use_gpu:
+                gr.Warning(str(e))
+                gr.Info('Đang thử lại với CPU. Để tránh lỗi này, hãy đổi Hardware thành CPU.')
+                audio = models[False](ps, ref_s, speed)
+            else:
+                raise gr.Error(e)
+        return (24000, audio.numpy()), ps
+    return None, ''
+
+# Arena API
+def predict(text, voice='af_heart', speed=1):
+    return generate_first(text, voice, speed, use_gpu=False)[0]
+
+def tokenize_first(text, voice='af_heart'):
+    pipeline = pipelines[voice[0]]
+    for _, ps, _ in pipeline(text, voice):
+        return ps
+    return ''
+
+def generate_all(text, voice='af_heart', speed=1, use_gpu=CUDA_AVAILABLE):
+    text = text if CHAR_LIMIT is None else text.strip()[:CHAR_LIMIT]
+    pipeline = pipelines[voice[0]]
+    pack = pipeline.load_voice(voice)
+    use_gpu = use_gpu and CUDA_AVAILABLE
+    first = True
+    for _, ps, _ in pipeline(text, voice, speed):
+        ref_s = pack[len(ps)-1]
+        try:
+            if use_gpu:
+                audio = forward_gpu(ps, ref_s, speed)
+            else:
+                audio = models[False](ps, ref_s, speed)
+        except gr.exceptions.Error as e:
+            if use_gpu:
+                gr.Warning(str(e))
+                gr.Info('Chuyển sang CPU')
+                audio = models[False](ps, ref_s, speed)
+            else:
+                raise gr.Error(e)
+        yield 24000, audio.numpy()
+        if first:
+            first = False
+            yield 24000, torch.zeros(1).numpy()
+
+with open('en.txt', 'r') as r:
+    random_quotes = [line.strip() for line in r]
+
+def get_random_quote():
+    return random.choice(random_quotes)
+
+def get_gatsby():
+    with open('gatsby5k.md', 'r') as r:
+        return r.read().strip()
+
+def get_frankenstein():
+    with open('frankenstein5k.md', 'r') as r:
+        return r.read().strip()
+
+CHOICES = {
+'🇺🇸 👩 Heart ❤️ (Mỹ)':    'af_heart',
+'🇺🇸 👩 Bella 🔥 (Mỹ)':    'af_bella',
+'🇺🇸 👩 Nicole 🎧 (Mỹ)':   'af_nicole',
+'🇺🇸 👩 Aoede (Mỹ)':       'af_aoede',
+'🇺🇸 👩 Kore (Mỹ)':        'af_kore',
+'🇺🇸 👩 Sarah (Mỹ)':       'af_sarah',
+'🇺🇸 👩 Nova (Mỹ)':        'af_nova',
+'🇺🇸 👩 Sky (Mỹ)':         'af_sky',
+'🇺🇸 👩 Alloy (Mỹ)':       'af_alloy',
+'🇺🇸 👩 Jessica (Mỹ)':     'af_jessica',
+'🇺🇸 👩 River (Mỹ)':       'af_river',
+
+'🇺🇸 👨 Michael (Mỹ)':     'am_michael',
+'🇺🇸 👨 Fenrir (Mỹ)':      'am_fenrir',
+'🇺🇸 👨 Puck (Mỹ)':        'am_puck',
+'🇺🇸 👨 Echo (Mỹ)':        'am_echo',
+'🇺🇸 👨 Eric (Mỹ)':        'am_eric',
+'🇺🇸 👨 Liam (Mỹ)':        'am_liam',
+'🇺🇸 👨 Onyx (Mỹ)':        'am_onyx',
+'🇺🇸 👨 Santa (Mỹ)':       'am_santa',
+'🇺🇸 👨 Adam (Mỹ)':        'am_adam',
+
+'🇬🇧 👩 Emma (Anh)':        'bf_emma',
+'🇬🇧 👩 Isabella (Anh)':    'bf_isabella',
+'🇬🇧 👩 Alice (Anh)':       'bf_alice',
+'🇬🇧 👩 Lily (Anh)':        'bf_lily',
+
+'🇬🇧 👨 George (Anh)':      'bm_george',
+'🇬🇧 👨 Fable (Anh)':       'bm_fable',
+'🇬🇧 👨 Lewis (Anh)':       'bm_lewis',
+'🇬🇧 👨 Daniel (Anh)':      'bm_daniel',
+
+}
+for v in CHOICES.values():
+    pipelines[v[0]].load_voice(v)
+
+TOKEN_NOTE = '''
+💡 Bạn có thể tùy chỉnh cách phát âm bằng cú pháp liên kết Markdown và các dấu gạch chéo, ví dụ như [Kokoro](/kˈOkəɹO/)
+
+💬 Để điều chỉnh ngữ điệu, hãy thử thêm các dấu câu ;:,.!?—…"()“” hoặc ký hiệu nhấn trọng âm ˈ và ˌ
+
+⬇️ Giảm mức độ nhấn trọng âm: [1 mức](-1) hoặc [2 mức](-2)
+
+⬆️ Tăng mức độ nhấn trọng âm: [hoặc](+2) (tăng 1 cấp độ) hoặc 2 cấp độ (chỉ áp dụng cho những từ ít nhấn, thường là những từ ngắn)
+'''
+
+with gr.Blocks() as generate_tab:
+    out_audio = gr.Audio(label='Đầu ra âm thanh', interactive=False, streaming=False, autoplay=True)
+    generate_btn = gr.Button('Chuyển đổi', variant='primary')
+    with gr.Accordion('Tokens đầu ra', open=True):
+        out_ps = gr.Textbox(interactive=False, show_label=False, info='Tokens được sử dụng để tạo âm thanh, có độ dài ngữ cảnh 510 Tokens.')
+        tokenize_btn = gr.Button('Tokenize', variant='secondary')
+        gr.Markdown(TOKEN_NOTE)
+        predict_btn = gr.Button('Predict', variant='secondary', visible=False)
+
+STREAM_NOTE = ['⚠️ Có một lỗi Gradio chưa xác định có thể khiến âm thanh không phát ra khi bạn nhấp vào `Trực Tiếp` lần đầu tiên.']
+if CHAR_LIMIT is not None:
+    STREAM_NOTE.append(f'✂️ Mỗi luồng được giới hạn ở {CHAR_LIMIT} ký tự.')
+    STREAM_NOTE.append('🚀 Bạn muốn có thêm nhân vật? Bạn có thể [sử dụng TTS-82M trực tiếp](https://huggingface.co/spaces/testnhe/TTS-82M) hoặc sao chép không gian này:')
+STREAM_NOTE = '\n\n'.join(STREAM_NOTE)
+
+with gr.Blocks() as stream_tab:
+    out_stream = gr.Audio(label='Đầu ra âm thanh', interactive=False, streaming=True, autoplay=True)
+    with gr.Row():
+        stream_btn = gr.Button('Chuyển đổi', variant='primary')
+        stop_btn = gr.Button('Dừng', variant='stop')
+    with gr.Accordion('Note', open=True):
+        gr.Markdown(STREAM_NOTE)
+        gr.DuplicateButton()
+
+BANNER_TEXT = '''
+[***TTS-82M*** **là mô hình TTS có trọng số mở với 82 triệu tham số bởi LTTEAM.**](https://www.facebook.com/groups/622526090937760)
+
+Bản này chỉ tiếng Anh phát triển bởi [**LTTEAM**](https://www.facebook.com/groups/622526090937760), nhưng bạn có thể sử dụng trực tiếp mô hình để truy cập các ngôn ngữ khác.
+'''
+API_OPEN = os.getenv('SPACE_ID') != 'testnhe/TTS-82M'
+API_NAME = None if API_OPEN else False
+with gr.Blocks() as app:
+    with gr.Row():
+        gr.Markdown(BANNER_TEXT, container=True)
+    with gr.Row():
+        with gr.Column():
+            text = gr.Textbox(label='Văn bản đầu vào', info=f"Tối đa ~500 ký tự cho mỗi lần tạo hoặc {'∞' if CHAR_LIMIT is None else CHAR_LIMIT} ký tự trên mỗi luồng")
+            with gr.Row():
+                voice = gr.Dropdown(list(CHOICES.items()), value='af_heart', label='Giọng', info='Chất lượng và tính khả dụng thay đổi tùy theo ngôn ngữ')
+                use_gpu = gr.Dropdown(
+                    [('ZeroGPU (Nhanh)', True), ('CPU (Chậm)', False)],
+                    value=CUDA_AVAILABLE,
+                    label='Phần cứng',
+                    info='GPU thường nhanh hơn nhưng có hạn ngạch sử dụng',
+                    interactive=CUDA_AVAILABLE
+                )
+            speed = gr.Slider(minimum=0.5, maximum=2, value=1, step=0.1, label='Tốc độ')
+            random_btn = gr.Button('🎲 Trích dẫn ngẫu nhiên', variant='secondary')
+            with gr.Row():
+                gatsby_btn = gr.Button('🎲 Ngẫu nhiên văn bản dài (Có phát âm)', variant='secondary')
+                frankenstein_btn = gr.Button('🎲 Ngẫu nhiên văn bản dài', variant='secondary')
+        with gr.Column():
+            gr.TabbedInterface([generate_tab, stream_tab], ['Chuyển đổi', 'Trực Tiếp'])
+    random_btn.click(fn=get_random_quote, inputs=[], outputs=[text], api_name=API_NAME)
+    gatsby_btn.click(fn=get_gatsby, inputs=[], outputs=[text], api_name=API_NAME)
+    frankenstein_btn.click(fn=get_frankenstein, inputs=[], outputs=[text], api_name=API_NAME)
+    generate_btn.click(fn=generate_first, inputs=[text, voice, speed, use_gpu], outputs=[out_audio, out_ps], api_name=API_NAME)
+    tokenize_btn.click(fn=tokenize_first, inputs=[text, voice], outputs=[out_ps], api_name=API_NAME)
+    stream_event = stream_btn.click(fn=generate_all, inputs=[text, voice, speed, use_gpu], outputs=[out_stream], api_name=API_NAME)
+    stop_btn.click(fn=None, cancels=stream_event)
+    predict_btn.click(fn=predict, inputs=[text, voice, speed], outputs=[out_audio], api_name=API_NAME)
+
+if __name__ == '__main__':
+    #Local
+    #app.queue(api_open=API_OPEN).launch(show_api=API_OPEN, ssr_mode=True)
+    #Colab
+    app.queue(api_open=API_OPEN).launch(show_api=API_OPEN, ssr_mode=True, share=True)
+