Spaces:

HuuDatLego
/

UI-VieNeu

Build error

App Files Files Community

UI-VieNeu / README.md

HuuDatLego

Upload folder using huggingface_hub

9c89765 verified 19 days ago

preview code

raw

history blame contribute delete

4.73 kB

metadata

title: UI VieNeu
emoji: 🎬
colorFrom: indigo
colorTo: blue
sdk: docker
app_port: 7860

🎬 UI-VieNeu: AI Animation & Video Pipeline

UI-VieNeu là một hệ thống Backend mạnh mẽ được thiết kế để tự động hóa quy trình tạo video nội dung số, giải thích meme và hoạt ảnh nhân vật (PNGTuber) sử dụng sức mạnh của AI.

✨ Tính năng nổi bật

🎙️ Voice Studio (TTS): Chuyển đổi văn bản thành giọng nói với hơn 60 sắc thái biểu cảm (Tag) khác nhau.
🎭 Animation Studio: Tạo video từ ảnh nhân vật tĩnh, tự động đồng bộ biểu cảm theo kịch bản.
📗 Green Screen Pipeline: Tự động xử lý nền xanh (Chroma Key) cho nhân vật để dễ dàng hậu kỳ.
⚡ Turbo Rendering: Hệ thống xử lý video không đồng bộ (Asynchronous) dựa trên Celery và Redis, giúp render nhanh và không gây nghẽn server.
🧠 AI Script Assistant: Tích hợp các Prompt tối ưu để tạo kịch bản hài hước, giải thích meme hoặc reaction. (Cần thông qua Gemini hoặc OpenAI bản web)

🎥 Demo & Ví dụ thực tế

Dưới đây là ví dụ về cách hệ thống tự động xử lý kịch bản có gắn Tag biểu cảm để tạo ra video hoạt ảnh nhân vật sinh động:

📝 Input (Kịch bản kèm Tag)

📝 Input (Kịch bản kèm Tag)
[Hạnh phúc] Chúc mừng sinh nhật cô nàng Mi ku xinh đẹp của chúng ta, hôm nay là ngày mùng năm tháng năm rồi các bạn ơi, [p:500]. [Kể chuyện] Không biết trong những dự án sắp tới, cô nàng có thể phát triển thêm tình cảm với Phu ta rô hay không, chúng ta cùng đón chờ tập O V A tiếp theo nhé [s:1.1]. [Nhấn mạnh] Nếu bạn nào lỡ quên mất thông tin về dự án mới thì đừng lo, các bạn có thể xem lại ngay video trước đó của mình

[Hạnh phúc] Chúc mừng sinh nhật cô nàng Mi ku xinh đẹp của chúng ta, hôm nay là ngày mùng năm tháng năm rồi các bạn ơi, [p:500]. [Kể chuyện] Không biết trong những dự án sắp tới, cô nàng có thể phát triển thêm tình cảm với Phu ta rô hay không, chúng ta cùng đón chờ tập O V A tiếp theo nhé [s:1.1]. [Nhấn mạnh] Nếu bạn nào lỡ quên mất thông tin về dự án mới thì đừng lo, các bạn có thể xem lại ngay video trước đó của mình

🎬 Kết quả (Output Video):

🛠️ Hướng dẫn Cài đặt (Local Setup)

Dự án sử dụng uv để quản lý thư viện và môi trường ảo nhằm đảm bảo tốc độ và sự ổn định cao nhất.

1. Cài đặt công cụ quản lý (uv)

Nếu máy bạn chưa có uv, hãy chạy lệnh sau trong PowerShell:

powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

2. Thiết lập dự án

# Di chuyển vào thư mục dự án
cd UI-VieNeu

# Cài đặt toàn bộ thư viện vào môi trường ảo .venv
uv sync

3. Khởi động Redis (Memurai)

Hệ thống cần Redis để quản lý hàng đợi tác vụ:

Mở VSCode/Terminal bằng quyền Administrator.
Chạy lệnh: Start-Service Memurai

🚀 Cách chạy hệ thống

Hệ thống bao gồm 2 thành phần chính chạy song song:

Terminal 1: Celery Worker (Trái tim xử lý)

Xử lý các tác vụ nặng như AI TTS và FFmpeg Video Rendering:

uv run celery -A worker worker --loglevel=info -P solo

Terminal 2: FastAPI Server (Cổng kết nối)

Cung cấp giao diện web và các API endpoint:

uv run uvicorn main:app --reload

Giao diện người dùng: http://127.0.0.1:8000
Tài liệu API (Swagger): http://127.0.0.1:8000/docs

📂 Cấu trúc thư mục quan trọng

/services: Chứa logic xử lý audio, video và pipeline chính.
/static/characters_green: Kho ảnh nhân vật đã được tiền xử lý nền xanh.
/templates: Giao diện Web (HTML/JS) cho TTS và Studio.
prompt_*.md: Các "bí kíp" prompt để tương tác với AI biên kịch.

⚠️ Lưu ý cho Windows

Luôn sử dụng tham số -P solo khi chạy Celery.
Đảm bảo đã cài đặt FFmpeg và thêm vào biến môi trường (Environment Variables) của hệ thống.