udpate lib

app.py

@@ -1,85 +1,108 @@
 import gradio as gr
 import torch
-import os
-import requests
-import tempfile
-from PIL import Image
 import numpy as np
-from huggingface_hub import hf_hub_download
-from moviepy.editor import ImageSequenceClip
+import imageio
+import os
+import gdown
+import cv2
+from skimage.transform import resize
+from skimage import img_as_ubyte
+from first_order_model.demo import load_checkpoints, make_animation
 
-# Tải các mô hình cần thiết
-def download_models():
-    # Tải mô hình tạo khung xương (pose model)
-    pose_model_path = hf_hub_download(
-        repo_id="magic-animate/magic-animate",
-        filename="dw-ll_ucoco_384.onnx",
-        subfolder="reference/openpose"
-    )
+# Tải và cài đặt mô hình
+def download_model():
+    model_path = 'first_order_model/vox-cpk.pth.tar'
+    if not os.path.exists(model_path):
+        os.makedirs('first_order_model', exist_ok=True)
+        url = 'https://drive.google.com/uc?id=1PyQJmkdCsAkOYwUyaj_l-l0as-iLDgeH'
+        gdown.download(url, model_path, quiet=False)
     
-    # Tải mô hình MagicAnimate
-    magic_animate_path = hf_hub_download(
-        repo_id="magic-animate/magic-animate",
-        filename="model.ckpt",
-        subfolder="checkpoints"
-    )
-    
-    return pose_model_path, magic_animate_path
-
-# Hàm trích xuất khung xương từ video tham chiếu
-def extract_pose(reference_video_path):
-    # Giả lập trích xuất khung xương từ video tham chiếu
-    # Trong thực tế, đây sẽ sử dụng mô hình pose estimation
-    return "pose_sequence.json"
+    if not os.path.exists('first_order_model/config/vox-256.yaml'):
+        os.makedirs('first_order_model/config', exist_ok=True)
+        config_url = 'https://drive.google.com/uc?id=1PmYZrk1MLyfYFa5vgRy0HVfkWTR42NMj'
+        gdown.download(config_url, 'first_order_model/config/vox-256.yaml', quiet=False)
 
-# Hàm chính để tạo video người chuyển động
-def animate_person_magic(image, reference_choice, custom_video=None):
-    if image is None:
-        return None, "Vui lòng tải lên một hình ảnh."
+# Tạo video người chuyển động
+def animate_person(source_image, driving_video=None, movement_type="Mặc định"):
+    if source_image is None:
+        return None, "Vui lòng tải lên một hình ảnh người."
     
     try:
-        # Chuẩn bị hình ảnh
-        if image.mode != "RGB":
-            image = image.convert("RGB")
+        # Tải mô hình
+        download_model()
         
-        # Resize hình ảnh
-        image = image.resize((512, 512))
+        # Chuẩn bị hình ảnh nguồn
+        source_image_path = "source_image.jpg"
+        cv2.imwrite(source_image_path, cv2.cvtColor(np.array(source_image), cv2.COLOR_RGB2BGR))
         
-        # Chọn video tham chiếu dựa trên lựa chọn
-        reference_videos = {
-            "Đi bộ": "walking.mp4",
-            "Nhảy múa": "dancing.mp4",
-            "Vẫy tay": "waving.mp4",
-            "Ngồi xuống": "sitting.mp4",
-            "Tùy chỉnh": custom_video
-        }
-        
-        video_path = reference_videos[reference_choice]
-        if reference_choice == "Tùy chỉnh" and custom_video is None:
-            return None, "Vui lòng tải lên video tham chiếu hoặc chọn một tùy chọn khác."
-        
-        # Trong thực tế, đây sẽ gọi mô hình MagicAnimate
-        # Đây là phiên bản mô phỏng
-        
-        # Tạo các khung hình (mô phỏng kết quả)
-        frames = []
-        for i in range(24):
-            # Mô phỏng frame - thực tế sẽ được tạo từ mô hình
-            # Đây chỉ là hiệu ứng thay thế để minh họa
+        # Chuẩn bị video tham chiếu
+        if driving_video is None or movement_type != "Tùy chỉnh":
+            # Sử dụng video mẫu dựa trên loại chuyển động
+            driving_videos = {
+                "Mặc định": "driving_videos/default.mp4",
+                "Nói chuyện": "driving_videos/talking.mp4",
+                "Quay đầu": "driving_videos/head_turning.mp4",
+                "Cười": "driving_videos/smiling.mp4"
+            }
             
-            # Hiệu ứng đơn giản: Dịch chuyển ảnh theo chuyển động
-            offset_x = int(np.sin(i/24 * 2 * np.pi) * 20)
-            offset_y = int(np.sin(i/12 * 2 * np.pi) * 10)
+            # Tạo thư mục cho video mẫu
+            os.makedirs("driving_videos", exist_ok=True)
             
-            # Tạo ảnh mới với offset
-            frame = Image.new('RGB', (512, 512))
-            frame.paste(image, (offset_x + 256 - image.width//2, offset_y + 256 - image.height//2))
-            frames.append(np.array(frame))
+            # Tạo video mẫu đơn giản nếu chưa có
+            if not os.path.exists(driving_videos[movement_type]):
+                # Tạo một video mẫu đơn giản với OpenCV
+                # Trong thực tế, bạn sẽ tải video m���u từ nguồn khác
+                video_path = driving_videos[movement_type]
+                out = cv2.VideoWriter(video_path, cv2.VideoWriter_fourcc(*'mp4v'), 25, (256, 256))
+                
+                # Tạo 100 khung hình với chuyển động đơn giản
+                for i in range(100):
+                    frame = np.zeros((256, 256, 3), dtype=np.uint8)
+                    if movement_type == "Nói chuyện":
+                        cv2.ellipse(frame, (128, 180), (30 + i % 10, 20), 0, 0, 360, (255, 255, 255), -1)
+                    elif movement_type == "Quay đầu":
+                        cv2.ellipse(frame, (128 + int(np.sin(i/10) * 30), 128), (60, 80), 0, 0, 360, (255, 255, 255), -1)
+                    elif movement_type == "Cười":
+                        cv2.ellipse(frame, (128, 128), (60, 80), 0, 0, 360, (255, 255, 255), -1)
+                        cv2.ellipse(frame, (128, 160 - i % 15), (40, 20), 0, 0, 180, (0, 0, 0), -1)
+                    else:  # Mặc định
+                        cv2.ellipse(frame, (128, 128), (60, 80), 0, 0, 360, (255, 255, 255), -1)
+                        cv2.circle(frame, (110, 110), 10, (0, 0, 0), -1)
+                        cv2.circle(frame, (146, 110), 10, (0, 0, 0), -1)
+                    
+                    out.write(frame)
+                
+                out.release()
+            
+            driving_video_path = driving_videos[movement_type]
+        else:
+            # Sử dụng video do người dùng tải lên
+            driving_video_path = "driving_video.mp4"
+            # Lưu video tải lên
+            with open(driving_video_path, 'wb') as f:
+                f.write(driving_video)
+        
+        # Tải mô hình và cấu hình
+        generator, kp_detector = load_checkpoints(
+            config_path='first_order_model/config/vox-256.yaml', 
+            checkpoint_path='first_order_model/vox-cpk.pth.tar',
+            device=torch.device('cuda' if torch.cuda.is_available() else 'cpu')
+        )
+        
+        # Tạo animation
+        predictions = make_animation(
+            source_image=source_image_path,
+            driving_video=driving_video_path,
+            generator=generator,
+            kp_detector=kp_detector,
+            relative=True,
+            adapt_movement_scale=True,
+            device=torch.device('cuda' if torch.cuda.is_available() else 'cpu')
+        )
         
-        # Tạo video từ frames
-        output_path = "animated_person_magic.mp4"
-        clip = ImageSequenceClip(frames, fps=8)
-        clip.write_videofile(output_path, codec="libx264")
+        # Lưu video kết quả
+        output_path = "animated_person.mp4"
+        imageio.mimsave(output_path, [img_as_ubyte(frame) for frame in predictions], fps=25)
         
         return output_path, "Video được tạo thành công!"
         
@@ -87,22 +110,22 @@ def animate_person_magic(image, reference_choice, custom_video=None):
         return None, f"Lỗi: {str(e)}"
 
 # Tạo giao diện Gradio
-with gr.Blocks(title="MagicAnimate - Làm động người từ ảnh") as demo:
-    gr.Markdown("# MagicAnimate - Tạo video người chuyển động từ ảnh")
-    gr.Markdown("Tải lên ảnh người và chọn kiểu chuyển động để tạo video chân thực")
+with gr.Blocks(title="Ứng dụng tạo chuyển động cho người trong ảnh") as demo:
+    gr.Markdown("# Tạo video người chuyển động từ ảnh")
+    gr.Markdown("Tạo video trong đó người/khuôn mặt trong ảnh của bạn chuyển động tự nhiên")
     
     with gr.Row():
         with gr.Column():
-            image_input = gr.Image(type="pil", label="Tải lên ảnh người")
+            source_image = gr.Image(type="numpy", label="Tải lên ảnh người")
             
             with gr.Row():
-                reference_choice = gr.Radio(
-                    ["Đi bộ", "Nhảy múa", "Vẫy tay", "Ngồi xuống", "Tùy chỉnh"],
+                movement_choice = gr.Radio(
+                    ["Mặc định", "Nói chuyện", "Quay đầu", "Cười", "Tùy chỉnh"],
                     label="Chọn kiểu chuyển động",
-                    value="Đi bộ"
+                    value="Mặc định"
                 )
             
-            custom_video_input = gr.Video(
+            driving_video = gr.Video(
                 label="Tải lên video tham chiếu (chỉ khi chọn 'Tùy chỉnh')"
             )
             
@@ -113,19 +136,19 @@ with gr.Blocks(title="MagicAnimate - Làm động người từ ảnh") as demo:
             output_message = gr.Textbox(label="Thông báo")
     
     submit_btn.click(
-        fn=animate_person_magic,
-        inputs=[image_input, reference_choice, custom_video_input],
+        fn=animate_person,
+        inputs=[source_image, driving_video, movement_choice],
         outputs=[output_video, output_message]
     )
     
-    gr.Markdown("### Cách hoạt động")
-    gr.Markdown("1. Ứng dụng sẽ phân tích ảnh của bạn để xác định vị trí của người")
-    gr.Markdown("2. Sau đó áp dụng chuyển động từ video tham chiếu lên người trong ảnh")
-    gr.Markdown("3. Kết quả là một video tự nhiên với người trong ảnh của bạn thực hiện chuyển động")
+    gr.Markdown("### Cách thức hoạt động")
+    gr.Markdown("1. Ứng dụng sử dụng mô hình First Order Motion Model để phân tích chuyển động")
+    gr.Markdown("2. Mô hình áp dụng chuyển động từ video tham chiếu vào đối tượng trong ảnh của bạn")
+    gr.Markdown("3. Kết quả là một video với người/đối tượng trong ảnh của bạn chuyển động tự nhiên")
     
-    gr.Markdown("### Mẹo để có kết quả tốt")
-    gr.Markdown("- Sử dụng ảnh người cả người, rõ ràng, không bị che khuất")
-    gr.Markdown("- Tránh ảnh với nhiều người hoặc nền quá phức tạp")
-    gr.Markdown("- Thử các kiểu chuyển động khác nhau để tìm kết quả tốt nhất")
+    gr.Markdown("### Lưu ý")
+    gr.Markdown("- Kết quả tốt nhất với ảnh chụp chính diện, nền đơn giản")
+    gr.Markdown("- Khuôn mặt/người cần rõ ràng và không bị che khuất")
+    gr.Markdown("- Nếu bạn chọn 'Tùy chỉnh', hãy tải lên video có chuyển động bạn muốn áp dụng")
 
 demo.launch()

requirements.txt

@@ -1,12 +1,10 @@
 gradio==4.0.2
-torch
+torch==1.7.1
+torchvision==0.8.2
 numpy
-Pillow
-huggingface_hub
-moviepy==1.0.3
-imageio==2.31.1
+imageio==2.9.0
 imageio-ffmpeg
-decorator>=4.0.2
-tqdm>=4.11.2
-proglog<=1.0.0
-requests
+scikit-image
+opencv-python
+gdown
+pyyaml