cosmos_transfer/RESULTS.md

Cosmos-Transfer2.5 — kết quả thử nghiệm

Input bundle: 186 frame (2x93), 1280x720, 16 fps. Sinh ra từ action robot (IK + FK -> render mesh có texture -> các kênh control).

Các lượt đã chạy

Lượt	Control	Res	Hình học	Giữ cảnh	Ghi chú
R1	depth 0.9 + vis 0.4	720p	HỎNG — mặt kính vỡ	giữ được	depth khi đó còn lỗi Voronoi
R2	depth 0.9 + image_context	480p	sạch	trôi	depth không mang màu
R3	edge 1.0 + image_context	480p	sạch	trôi nặng	edge quá thưa để neo nội dung
R4	vis 0.5	480p	—	giữ tốt nhất	vis là control duy nhất mang diện mạo

Kết luận

1. vis là control DUY NHẤT mang thông tin màu/diện mạo. Thiếu nó thì model bịa lại cảnh, bất kể depth/edge/image_context mạnh cỡ nào.
2. vis và image_context_path LOẠI TRỪ NHAU — repo raise ValueError vì cả hai cùng làm style transfer.
3. Cấu hình đúng là depth + vis (R1) nhưng với depth đã sửa. Chưa chạy được vì multicontrol cần ~85-140 GB và máy đang bị tranh chấp nặng.
4. Multicontrol (>1 control key) load CẢ 4 nhánh -> đó mới là thứ ngốn VRAM, không phải độ phân giải. 480p single-control vừa 27 GB; 480p multicontrol OOM.

Lỗi đã sửa trong input bundle

• depth.mp4 bị vỡ ô Voronoi do lấp lỗ bằng nearest-neighbour (distance_transform_edt chính là phân hoạch Voronoi). Model render chúng thành mặt kính. Đã thay bằng push-pull pyramid fill.
• Nền point cloud có điểm depth giả sát ngưỡng tối thiểu của ZED (233 mm) do stereo matching thất bại ở vùng tối/không texture. Đã lọc, chỉ áp cho nền.

Lưu ý khi chạy lại

Xem scripts/run_cosmos_transfer.sh — cần CUDA_HOME, LD_LIBRARY_PATH, .nvshim (driver 570 vs NVML 580), và alias .so không version cho transformer_engine. Guardrails bị tắt theo yêu cầu người dùng.