Update app.py

app.py

@@ -45,8 +45,8 @@ upscaler_path = hf_hub_download(
 )
 CFG["spatial_upscaler_model_path"] = upscaler_path
 
-# --- Khởi tạo pipeline trên CPU ban đầu ---
-print("Khởi tạo LTX Video pipeline trên CPU…")
+# --- Khởi tạo pipeline và upsampler trên CPU ban đầu ---
+print("Khởi tạo pipeline trên CPU…")
 pipeline = create_ltx_video_pipeline(
     ckpt_path=CFG["checkpoint_path"],
     precision=CFG["precision"],
@@ -57,10 +57,10 @@ pipeline = create_ltx_video_pipeline(
     prompt_enhancer_image_caption_model_name_or_path=CFG["prompt_enhancer_image_caption_model_name_or_path"],
     prompt_enhancer_llm_model_name_or_path=CFG["prompt_enhancer_llm_model_name_or_path"],
 )
-print("Pipeline sẵn sàng.")
+print("Pipeline sẵn sàng trên CPU.")
 print("Khởi tạo latent upsampler trên CPU…")
 upsampler = create_latent_upsampler(CFG["spatial_upscaler_model_path"], device="cpu")
-print("Latent upsampler sẵn sàng.")
+print("Latent upsampler sẵn sàng trên CPU.")
 
 # --- Các thông số cố định ---
 FPS = 30.0
@@ -78,13 +78,12 @@ def calculate_new_dimensions(w, h):
     else:
         nw = TARGET_SIDE
         nh = round((nw * h/w)/32)*32
-    return ( 
+    return (
         int(max(MIN_DIM, min(nh, MAX_RES))),
         int(max(MIN_DIM, min(nw, MAX_RES)))
     )
 
 def get_duration(*args, **kwargs):
-    # spaces.GPU yêu cầu
     return 75 if kwargs.get("duration_ui",0) > 7 else 60
 
 @spaces.GPU(duration=get_duration)
@@ -95,29 +94,29 @@ def generate(prompt, neg_prompt,
              seed, rand_seed, cfg_scale,
              improve_tex, device_choice,
              progress=gr.Progress(track_tqdm=True)):
-    # 1) Chuyển pipeline & upsampler theo lựa chọn
+    # Chọn thiết bị
     dev = "cuda" if device_choice=="GPU" and torch.cuda.is_available() else "cpu"
     print(f"Chạy trên thiết bị: {dev}")
     pipeline.to(dev)
     upsampler.to(dev)
 
-    # 2) Xử seed
+    # Seed
     if rand_seed:
         seed = random.randint(0, 2**32-1)
     seed_everething(int(seed))
 
-    # 3) Tính số frame
+    # Tính số frame
     tf = max(1, round(duration_ui*FPS))
     n8 = round((tf-1)/8)
     n_frames = max(9, min(n8*8+1, MAX_NUM_FRAMES))
 
-    # 4) Padding kích thước
+    # Padding kích thước
     h, w = int(height), int(width)
     h32 = ((h-1)//32+1)*32
     w32 = ((w-1)//32+1)*32
     pad = calculate_padding(h, w, h32, w32)
 
-    # 5) Chuẩn bị kwargs
+    # Chuẩn bị kwargs
     kwargs = {
         "prompt": prompt,
         "negative_prompt": neg_prompt,
@@ -136,7 +135,7 @@ def generate(prompt, neg_prompt,
         "offload_to_cpu": False,
         "enhance_prompt": False,
     }
-    # skip strategy
+    # Skip-layer strategy
     stg = CFG.get("stg_mode","attention_values").lower()
     mapping = {
         "stg_av":SkipLayerStrategy.AttentionValues,
@@ -150,7 +149,7 @@ def generate(prompt, neg_prompt,
     }
     kwargs["skip_layer_strategy"] = mapping.get(stg, SkipLayerStrategy.AttentionValues)
 
-    # 6) Conditioning
+    # Conditioning
     if mode_task=="image-to-video" and img_path:
         tensor = load_image_to_tensor_with_resize_and_crop(img_path, h, w)
         tensor = torch.nn.functional.pad(tensor, pad)
@@ -159,7 +158,7 @@ def generate(prompt, neg_prompt,
         mi = load_media_file(vid_path, h, w, int(frames_to_use), pad).to(dev)
         kwargs["media_items"] = mi
 
-    # 7) Chọn multi-scale hay single
+    # Multi-scale hay single?
     if improve_tex:
         pipe_ms = LTXMultiScalePipeline(pipeline, upsampler)
         fp = CFG.get("first_pass",{}).copy()
@@ -187,11 +186,11 @@ def generate(prompt, neg_prompt,
             kwargs.pop(k, None)
         out = pipeline(**kwargs).images
 
-    # 8) Xử kết quả, bỏ padding, lưu video
-    pad_l,pad_r,pad_t,pad_b = pad
-    sh = None if pad_b==0 else -pad_b
-    sw = None if pad_r==0 else -pad_r
-    vid_tensor = out[0][:,:,:n_frames,pad_t:sh,pad_l:sw]
+    # Loại padding, lưu video
+    l, r, t, b = pad
+    sh = None if b==0 else -b
+    sw = None if r==0 else -r
+    vid_tensor = out[0][:,:,:n_frames,t:sh,l:sw]
     arr = vid_tensor.permute(1,2,3,0).cpu().numpy()
     arr = (np.clip(arr,0,1)*255).astype(np.uint8)
 
@@ -218,56 +217,52 @@ with gr.Blocks(css=css) as demo:
         with gr.Column():
             # Chọn thiết bị
             device = gr.Radio(["CPU","GPU"], label="Chạy trên thiết bị", value="CPU")
+
             # Tabs
             with gr.Tab("Ảnh→Video"):
-                img_in = gr.Image(label="Ảnh đầu vào", type="filepath", source="upload")
+                img_in = gr.Image(label="Ảnh đầu vào", type="filepath", sources=["upload","clipboard","webcam"])
                 prompt1 = gr.Textbox(label="Mô tả", lines=2, value="Con sinh vật di chuyển")
-                btn1 = gr.Button("Tạo từ ảnh")
+                btn1   = gr.Button("Tạo từ ảnh")
+
             with gr.Tab("Văn bản→Video"):
                 prompt2 = gr.Textbox(label="Mô tả", lines=2, value="Rồng bay trên lâu đài")
-                btn2 = gr.Button("Tạo từ văn bản")
+                btn2    = gr.Button("Tạo từ văn bản")
+
             with gr.Tab("Video→Video"):
-                vid_in = gr.Video(label="Video đầu vào", source="upload")
+                vid_in = gr.Video(label="Video đầu vào", type="filepath", sources=["upload","webcam"])
                 frames = gr.Slider(label="Số frame dùng", minimum=9, maximum=MAX_NUM_FRAMES, step=8, value=9)
                 prompt3 = gr.Textbox(label="Mô tả", lines=2, value="Chuyển phong cách anime")
-                btn3 = gr.Button("Tạo từ video")
+                btn3    = gr.Button("Tạo từ video")
 
             duration = gr.Slider(label="Thời lượng (giây)", minimum=0.3, maximum=8.5, step=0.1, value=2)
-            improve = gr.Checkbox(label="Cải thiện chi tiết", value=True)
+            improve  = gr.Checkbox(label="Cải thiện chi tiết", value=True)
 
         with gr.Column():
             out_video = gr.Video(label="Kết quả", interactive=False)
 
-    # Ẩn mode, reuse chung
-    mode = gr.State("image-to-video")
-    # Nút
+    # Trạng thái ẩn để điều khiển mode và seed
+    mode_state   = gr.State("image-to-video")
+    seed_state   = gr.State(42)
+    neg_prompt   = gr.State("worst quality, inconsistent motion, blurry, jittery, distorted")
+    cfg_scale_st = gr.State(CFG["first_pass"]["guidance_scale"])
+    height_st    = gr.State(512)
+    width_st     = gr.State(704)
+
     btn1.click(fn=generate,
-               inputs=[prompt1, gr.State(""), img_in, gr.State(""), 
-                       height := gr.State(512), width := gr.State(704),
-                       mode := gr.State("image-to-video"),
-                       duration, frames,
-                       seed := gr.State(42), gr.State(True),
-                       cfg_scale := gr.State(CFG["first_pass"]["guidance_scale"]),
-                       improve, device],
-               outputs=[out_video, seed])
+               inputs=[prompt1, neg_prompt, img_in, gr.State(""), height_st, width_st,
+                       mode_state, duration, frames, seed_state, gr.State(True),
+                       cfg_scale_st, improve, device],
+               outputs=[out_video, seed_state])
     btn2.click(fn=generate,
-               inputs=[prompt2, gr.State(""), gr.State(""), gr.State(""), 
-                       height, width,
-                       mode := gr.State("text-to-video"),
-                       duration, frames,
-                       seed, gr.State(True),
-                       cfg_scale,
-                       improve, device],
-               outputs=[out_video, seed])
+               inputs=[prompt2, neg_prompt, gr.State(""), gr.State(""), height_st, width_st,
+                       mode_state, duration, frames, seed_state, gr.State(True),
+                       cfg_scale_st, improve, device],
+               outputs=[out_video, seed_state])
     btn3.click(fn=generate,
-               inputs=[prompt3, gr.State(""), gr.State(""), vid_in, 
-                       height, width,
-                       mode := gr.State("video-to-video"),
-                       duration, frames,
-                       seed, gr.State(True),
-                       cfg_scale,
-                       improve, device],
-               outputs=[out_video, seed])
+               inputs=[prompt3, neg_prompt, gr.State(""), vid_in, height_st, width_st,
+                       mode_state, duration, frames, seed_state, gr.State(True),
+                       cfg_scale_st, improve, device],
+               outputs=[out_video, seed_state])
 
 if __name__ == "__main__":
     demo.queue().launch(debug=True, share=False)