cosmos_transfer/RESULTS.md

# Cosmos-Transfer2.5 — kết quả thử nghiệm

Input bundle: 186 frame (2x93), 1280x720, 16 fps. Sinh ra từ action robot
(IK + FK -> render mesh có texture -> các kênh control).

## Các lượt đã chạy

| Lượt | Control | Res | Hình học | Giữ cảnh | Ghi chú |
|---|---|---|---|---|---|
| R1 | depth 0.9 + vis 0.4 | 720p | HỎNG — mặt kính vỡ | giữ được | depth khi đó còn lỗi Voronoi |
| R2 | depth 0.9 + image_context | 480p | sạch | trôi | depth không mang màu |
| R3 | edge 1.0 + image_context | 480p | sạch | trôi nặng | edge quá thưa để neo nội dung |
| R4 | vis 0.5 | 480p | — | **giữ tốt nhất** | vis là control duy nhất mang diện mạo |

## Kết luận

1. `vis` là control DUY NHẤT mang thông tin màu/diện mạo. Thiếu nó thì model
   bịa lại cảnh, bất kể depth/edge/image_context mạnh cỡ nào.
2. `vis` và `image_context_path` LOẠI TRỪ NHAU — repo raise ValueError vì cả hai
   cùng làm style transfer.
3. Cấu hình đúng là `depth + vis` (R1) nhưng với depth đã sửa. Chưa chạy được
   vì multicontrol cần ~85-140 GB và máy đang bị tranh chấp nặng.
4. Multicontrol (>1 control key) load CẢ 4 nhánh -> đó mới là thứ ngốn VRAM,
   không phải độ phân giải. 480p single-control vừa 27 GB; 480p multicontrol OOM.

## Lỗi đã sửa trong input bundle

- depth.mp4 bị vỡ ô Voronoi do lấp lỗ bằng nearest-neighbour
  (`distance_transform_edt` chính là phân hoạch Voronoi). Model render chúng
  thành mặt kính. Đã thay bằng push-pull pyramid fill.
- Nền point cloud có điểm depth giả sát ngưỡng tối thiểu của ZED (233 mm) do
  stereo matching thất bại ở vùng tối/không texture. Đã lọc, chỉ áp cho nền.

## Lưu ý khi chạy lại

Xem scripts/run_cosmos_transfer.sh — cần CUDA_HOME, LD_LIBRARY_PATH,
.nvshim (driver 570 vs NVML 580), và alias .so không version cho
transformer_engine. Guardrails bị tắt theo yêu cầu người dùng.