| # ReWeighting_Adv_Robust_VLMs | |
| ## README | |
| **Adv. Fine-tuning** | |
| ``` | |
| # TeCoA | |
| CUDA_VISIBLE_DEVICES=6 torchrun --nproc_per_node=1 --master_port=29510 new_finetuning_ddp.py --epochs 10 --train_eps 2 --train_numsteps 10 --optim adamw --method TeCoA --exp_name FT_TeCoA_VITB_epoch10_eps2_10steps_adamw | |
| # PMG | |
| CUDA_VISIBLE_DEVICES=7 torchrun --nproc_per_node=1 --master_port=28849 new_finetuning_ddp.py --epochs 10 --train_eps 2 --train_numsteps 10 --optim adamw --method PMG --W_Pred_Align_Ori 1.0 --W_Pred_Align 1.0 --exp_name FT_PMG_VITB_epoch10_eps2_10steps_adamw | |
| # FARE | |
| CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --master_port=29520 new_finetuning_ddp.py --epochs 10 --train_eps 2 --train_numsteps 10 --optim adamw --weight_decay 1e-4 --method FARE --exp_name FT_FARE_VITB_epoch10_eps2_10steps | |
| # TRADES --- W_Pred_Align_Ori is an hyper-parameter for TRADE-off | |
| CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --master_port=29019 new_finetuning_ddp.py --epochs 10 --train_eps 2 --train_numsteps 10 --optim adamw --method TRADES --W_Pred_Align_Ori 9.0 --exp_name FT_TRADES90_VITB_epoch10_eps2_10steps_adamw | |
| ``` | |
| **Evaluation** | |
| ``` | |
| # test_eps --- the perturbation radius (attack strenght) | |
| # XXX is replaced by folder name, e.g., FT_TeCoA_VITB_epoch10_eps2_10steps_adamw | |
| CUDA_VISIBLE_DEVICES=0,1 python new_finetuning.py --evaluate --eval_type full --test_eps 1 --resume XXXX/model_best.pth.tar | |
| ``` | |
| **训练部分** | |
| 核心的adv fine-tuning方法 (--method) 在adv_clip_loss文件内，我们在new_finetuning_ddp.py的Lines 290-304调用 | |
| **测试部分** | |
| 从new_finetuning_ddp.py的Line 616开始到Line780，可以参考validate这个函数，同时对常规样本和对抗样本进行测试 |