README.md

现在目标：
提升保真度
任务:
加z轴
timeline
v0 - v2 - v1 - v3 - v4 - v4_ca - v5 - v6 - v7 - v8
v0发现cat出问题
v2 ca
v1开始加入airvln数据
v3 与x对齐，sa加入
v4 v2 + 与x_cond对齐，ca加入
v4_ca 与x_cond对齐，ca加入
v5 三维扩展，每次要改model train infer config/expname 四个
v6 该版本把y_cond和x_cond concate，CDIT block和原版一样，final layer和v5一样
v7 加入相机位姿编码，对应的修改了attention模块
v8 继承自v7，加入了相机位姿编码，self_attention模块
note:
checkpoints备份在：/data0/tpz/nwm_checkpoints/
v0 / v2: supervised忘加时空编码了qwq
v1 / v3 / v4 train的时候eval都用了infer v1 qwq
v4_ca 改用正确eval infer
datasets v1是v0的重构版，都是深度图投影
v8 训练集的context是加上goal的，其他的没加pred
[DEBUG] x before embedding: torch.Size([12, 4, 28, 28])
[DEBUG] x after x_embedder: torch.Size([12, 196, 1152])
[DEBUG] pos_embed slice: torch.Size([1, 196, 1152])
[DEBUG] x after adding pos_embed: torch.Size([12, 196, 1152])



test:

export RESULTS_FOLDER=/data1/tpz/nwm-main/results
python isolated_nwm_infer_recon.py \
    --exp config/nwm_cdit_recon.yaml \
    --datasets recon \
    --batch_size 96 \
    --num_workers 12 \
    --eval_type time \
    --output_dir ${RESULTS_FOLDER} \
    --gt 1



python isolated_nwm_infer_recon.py \
    --exp config/nwm_cdit_recon.yaml \
    --ckp 0100000 \
    --datasets recon \
    --batch_size 2 \
    --num_workers 12 \
    --eval_type time \
    --output_dir ${RESULTS_FOLDER}



python isolated_nwm_eval.py \
    --datasets recon \
    --gt_dir ${RESULTS_FOLDER}/gt \
    --exp_dir ${RESULTS_FOLDER}/nwm_cdit_recon \
    --eval_types time