README.md

metadata

license: mit
title: RVC-GUI
sdk: gradio
emoji: 🌍
colorFrom: blue
colorTo: blue
pinned: true
sdk_version: 5.50.0
short_description: RVC
app_file: main/app/app.py
startup_duration_timeout: 1h

Vietnamese RVC BY ANH

Công cụ chuyển đổi giọng nói chất lượng và hiệu suất cao đơn giản.

Mô tả

Dự án này là một công cụ chuyển đổi giọng nói đơn giản, dễ sử dụng. Với mục tiêu tạo ra các sản phẩm chuyển đổi giọng nói chất lượng cao và hiệu suất tối ưu, dự án cho phép người dùng thay đổi giọng nói một cách mượt mà, tự nhiên.

Các tính năng của dự án

• Tách nhạc (MDX-Net / Demucs / VR)

• Chuyển đổi giọng nói (Chuyển đổi tệp / Chuyển đổi hàng loạt / Chuyển đổi với Whisper / Chuyển đổi văn bản)

• Áp dụng hiệu ứng cho âm thanh

• Tạo dữ liệu huấn luyện (Từ đường dẫn liên kết)

• Huấn luyện mô hình (v1 / v2, bộ mã hóa chất lượng cao, huấn luyện năng lượng)

• Dung hợp mô hình

• Đọc thông tin mô hình

• Xuất mô hình sang ONNX

• Tải xuống từ kho mô hình có sẳn

• Tìm kiếm mô hình từ web

• Trích xuất cao độ

• Hỗ trợ suy luận chuyển đổi âm thanh bằng mô hình ONNX

• Mô hình ONNX RVC cũng sẽ hỗ trợ chỉ mục để suy luận

• Chuyển đổi giọng nói thời gian thực

• Tạo tham chiếu huấn luyện

Phương thức trích xuất cao độ: pm-ac, pm-cc, pm-shs, dio, mangio-crepe-tiny, mangio-crepe-small, mangio-crepe-medium, mangio-crepe-large, mangio-crepe-full, crepe-tiny, crepe-small, crepe-medium, crepe-large, crepe-full, fcpe, fcpe-legacy, fcpe-previous, rmvpe, rmvpe-clipping, rmvpe-medfilt, rmvpe-clipping-medfilt, harvest, yin, pyin, swipe, piptrack, penn, mangio-penn, djcm, djcm-clipping, djcm-medfilt, djcm-clipping-medfilt, swift, pesto

Các mô hình trích xuất nhúng: contentvec_base, hubert_base, vietnamese_hubert_base, japanese_hubert_base, korean_hubert_base, chinese_hubert_base, portuguese_hubert_base, spin-v1, spin-v2, whisper-tiny, whisper-tiny.en, whisper-base, whisper-base.en, whisper-small, whisper-small.en, whisper-medium, whisper-medium.en, whisper-large-v1, whisper-large-v2, whisper-large-v3, whisper-large-v3-turbo

• Các mô hình trích xuất nhúng có sẳn các chế độ nhúng như: fairseq, onnx, transformers, spin, whisper.
• Các mô hình trích xuất cao độ đều có phiên bản tăng tốc ONNX trừ các phương thức hoạt động bằng trình bao bọc.
• Các mô hình trích xuất cao độ đều có thể kết hợp với nhau theo tỉ lệ để tạo ra cảm giác mới mẻ, ví dụ: hybrid[rmvpe+harvest].

Hướng dẫn sử dụng

Sẽ có nếu tôi thực sự rảnh...

Cài đặt nâng cao

Bước 1: Cài đặt các phần phụ trợ cần thiết

• Cài đặt Python từ trang chủ: PYTHON (Dự án đã được kiểm tra trên Python 3.10.x và 3.11.x)
• Cài đặt FFmpeg từ nguồn và thêm vào PATH hệ thống: FFMPEG

Bước 2: Cài đặt dự án (Dùng Git hoặc đơn giản là tải trên github)

Sử dụng đối với Git:

• git clone https://github.com/PhamHuynhAnh16/Vietnamese-RVC.git
• cd Vietnamese-RVC

Cài đặt bằng github:

• Vào https://github.com/PhamHuynhAnh16/Vietnamese-RVC
• Nhấn vào <> Code màu xanh lá chọn Download ZIP
• Giải nén Vietnamese-RVC-main.zip
• Vào thư mục Vietnamese-RVC-main chọn vào thanh đường dẫn nhập cmd và nhấn Enter

Bước 3: Cài đặt thư viện cần thiết:

Nhập lệnh:

python -m venv env
env\\Scripts\\activate

python -m pip install uv
uv pip install six packaging python-dateutil platformdirs pywin32 onnxconverter_common wget

Cài đặt đối với các thiết bị khác nhau

Đối với CPU

uv pip install -r requirements.txt

Đối với CUDA

Có thể thay cu118 thành bản cu128 mới hơn nếu GPU hỗ trợ:

uv pip install numpy==1.26.4 numba==0.61.0
uv pip install torch torchaudio torchvision --index-url https://download.pytorch.org/whl/cu118
uv pip install -r requirements.txt

Đối với OPENCL (AMD)

uv pip install numpy==1.26.4 numba==0.61.0
uv pip install torch==2.6.0 torchaudio==2.6.0 torchvision
uv pip install https://github.com/artyom-beilis/pytorch_dlprim/releases/download/0.2.0/pytorch_ocl-0.2.0+torch2.6-cp311-none-win_amd64.whl
uv pip install onnxruntime-directml
uv pip install -r requirements.txt

Lưu ý:

• Có vẻ như OPENCL đã không còn được hỗ trợ tiếp.
• Chỉ nên cài đặt trên python 3.11 do không có bản biên dịch cho python 3.10 với torch 2.6.0.
• Demucs có thể gây quá tải và tràn bộ nhớ đối với GPU (nếu cần sử dụng demucs hãy mở tệp config.json trong main\configs sửa đối số demucs_cpu_mode thành true).
• DDP không hỗ trợ huấn luyện đa GPU đối với OPENCL.
• Một số thuật toán khác phải chạy trên cpu nên có thể hiệu suất của GPU có thể không sử dụng hết.

Đối với DIRECTML (AMD)

uv pip install numpy==1.26.4 numba==0.61.0
uv pip install torch==2.4.1 torchaudio==2.4.1 torchvision
uv pip install torch-directml==0.2.5.dev240914
uv pip install onnxruntime-directml
uv pip install -r requirements.txt

Lưu ý:

• Directml đã ngừng phát triển một khoảng thời gian dài.
• Directml không hỗ trợ quá tốt tác vụ đa luồng nên khi chạy trích xuất thường sẽ bị khóa ở 1 luồng.
• Directml có hỗ trợ 1 phần fp16 nhưng không được khuyến khích sử dụng vì có thể chỉ nhận được hiệu năng tương đương fp32.
• Directml không có hàm để dọn dẹp bộ nhớ, tôi đã tạo 1 hàm đơn giản để dọn dẹp bộ nhớ nhưng có thể sẽ không quá hiệu quả.
• Directml được thiết kế để suy luận chứ không phải dùng để huấn luyện mặc dù có thể hoàn toàn chạy được huấn luyện nhưng sẽ không được khuyến khích.

Sử dụng

Sử dụng với Google Colab

• Mở Google Colab: Vietnamese-RVC
• Bước 1: Chạy ô Cài đặt và đợi nó hoàn tất.
• Bước 2: Chạy ô Mở giao diện sử dụng (Khi này giao diện sẽ in ra 2 đường dẫn 1 là 0.0.0.0.7680 và 1 đường dẫn gradio có thể nhấp được, bạn chọn vào đường dẫn nhấp được và nó sẽ đưa bạn đến giao diện).

Chạy tệp run_app để mở giao diện sử dụng, chạy tệp tensorboard để mở biểu đồ kiểm tra huấn luyện. (Lưu ý: không tắt Command Prompt hoặc Terminal)

run_app.bat / tensorboard.bat

Khởi động giao diện sử dụng. (Thêm --allow_all_disk vào lệnh để cho phép gradio truy cập tệp ngoài)

env\\Scripts\\python.exe main\\app\\app.py --open

Với trường hợp bạn sử dụng Tensorboard để kiểm tra huấn luyện

env\\Scripts\\python.exe main/app/run_tensorboard.py

Sử dụng bằng cú pháp

python main\\app\\parser.py --help

Cài đặt, sử dụng đơn giản

Cài đặt phiên bản releases từ Vietnamese_RVC

• Chọn bản đúng với bạn và tải về máy.
• Giải nén dự án.
• Chạy tệp run_app.bat để mở giao diện hoạt động.

Sử dụng tệp run_install.bat

• Tải mã nguồn về máy.
• Giải nén dự án.
• Chạy tệp run_install.bat để bắt đầu cài đặt.
• Chạy tệp run_app.bat để mở giao diện hoạt động.

LƯU Ý

• Hiện tại các bộ mã hóa mới như MRF HIFIGAN vẫn chưa đầy đủ các bộ huấn luyện trước
• Bộ mã hóa MRF HIFIGAN và REFINEGAN không hỗ trợ huấn luyện khi không không huấn luyện cao độ
• Huấn luyện năng lương có thể cải thiện chất lượng mô hình nhưng chưa có mô hình huấn luyện trước dành cho tính năng này
• Các mô hình trong kho lưu trữ Vietnamese-RVC được thu thập rải rác trên AI Hub, HuggingFace và các các kho lưu trữ khác. Có thể mang các giấy phép bản quyền khác nhau

Tuyên bố miễn trừ trách nhiệm

• Dự án Vietnamese-RVC được phát triển với mục đích nghiên cứu, học tập và giải trí cá nhân. Tôi không khuyến khích cũng như không chịu trách nhiệm đối với bất kỳ hành vi lạm dụng công nghệ chuyển đổi giọng nói vì mục đích lừa đảo, giả mạo danh tính, hoặc vi phạm quyền riêng tư, bản quyền của bất kỳ cá nhân hay tổ chức nào.

• Người dùng cần tự chịu trách nhiệm với hành vi sử dụng phần mềm này và cam kết tuân thủ pháp luật hiện hành tại quốc gia nơi họ sinh sống hoặc hoạt động.

• Việc sử dụng giọng nói của người nổi tiếng, người thật hoặc nhân vật công chúng phải có sự cho phép hoặc đảm bảo không vi phạm pháp luật, đạo đức và quyền lợi của các bên liên quan.

• Tác giả của dự án không chịu trách nhiệm pháp lý đối với bất kỳ hậu quả nào phát sinh từ việc sử dụng phần mềm này.

Điều khoản sử dụng

• Bạn phải đảm bảo rằng các nội dung âm thanh bạn tải lên và chuyển đổi qua dự án này không vi phạm quyền sở hữu trí tuệ của bên thứ ba.

• Không được phép sử dụng dự án này cho bất kỳ hoạt động nào bất hợp pháp, bao gồm nhưng không giới hạn ở việc sử dụng để lừa đảo, quấy rối, hay gây tổn hại đến người khác.

• Bạn chịu trách nhiệm hoàn toàn đối với bất kỳ thiệt hại nào phát sinh từ việc sử dụng sản phẩm không đúng cách.

• Tôi sẽ không chịu trách nhiệm với bất kỳ thiệt hại trực tiếp hoặc gián tiếp nào phát sinh từ việc sử dụng dự án này.

Dự án này được xây dựng dựa trên các dự án như sau

Tác Phẩm	Tác Giả	Giấy Phép
Applio	IAHispano	MIT License
Python-audio-separator	Nomad Karaoke	MIT License
Retrieval-based-Voice-Conversion-WebUI	RVC Project	MIT License
RVC-ONNX-INFER-BY-Anh	Phạm Huỳnh Anh	MIT License
Torch-Onnx-Crepe-By-Anh	Phạm Huỳnh Anh	MIT License
Hubert-No-Fairseq	Phạm Huỳnh Anh	MIT License
Local-attention	Phil Wang	MIT License
TorchFcpe	CN_ChiTu	MIT License
FcpeONNX	Yury deiteris	MIT License
ContentVec	Kaizhi Qian	MIT License
Mediafiredl	Santiago Ariel Mansilla	MIT License
Noisereduce	Tim Sainburg	MIT License
World.py-By-Anh	Phạm Huỳnh Anh	MIT License
Mega.py	Marco Trevisan	No License
Gdown	Kentaro Wada	MIT License
Whisper	OpenAI	MIT License
PyannoteAudio	pyannote	MIT License
AudioEditingCode	Hila Manor	MIT License
StftPitchShift	Jürgen Hock	MIT License
Penn	Interactive Audio Lab	MIT License
Voice Changer	Yury deiteris	MIT License
Pesto	Sony CSL Paris	LGPL 3.0

Kho mô hình của công cụ tìm kiếm mô hình

• VOICE-MODELS.COM

Báo cáo lỗi

• Với trường hợp hệ thống báo cáo lỗi không hoạt động bạn có thể báo cáo lỗi cho tôi thông qua Discord pham_huynh_anh Hoặc ISSUE

☎️ Liên hệ tôi

• Discord: pham_huynh_anh