| cd .. \ | |
| python -m torch.distributed.launch --node_rank=0 --nproc_per_node=8 --nnodes=8 \ | |
| --master_addr="${MASTER_SERVER_ADDRESS}" --master_port=12344 \ | |
| main_pretrain.py \ | |
| --batch_size 64 \ | |
| --model mage_vit_base_patch16 \ | |
| --mask_ratio_min 0.5 --mask_ratio_max 1.0 \ | |
| --mask_ratio_mu 0.55 --mask_ratio_std 0.25 \ | |
| --epochs 1600 \ | |
| --warmup_epochs 40 \ | |
| --blr 1.5e-4 --weight_decay 0.05 \ | |
| --output_dir ${OUTPUT_DIR} \ | |
| --data_path ${IMAGENET_DIR} \ | |
| --dist_url tcp://${MASTER_SERVER_ADDRESS}:2214 |