!deepspeed --module openrlhf.cli.train_dpo \
   --save_path '/mnt/nvme1/will/8_dpo' \
    --ckpt_path  '/mnt/nvme1/will/8_dpo_ckpt' \
   --save_steps 50 \
   --logging_steps 10 \
   --eval_steps -1 \
   --train_batch_size 512 \
   --micro_train_batch_size 2 \
   --pretrain 'mistralai/Mistral-Nemo-Instruct-2407' \
   --bf16 \
   --max_epochs 1 \
   --max_len 2048 \
   --zero_stage 3 \
   --learning_rate 5e-7 \
   --dataset '/mnt/nvme1/will/8_dpo_data' \
   --apply_chat_template \
   --chosen_key chosen \
   --rejected_key rejected \
   --flash_attn \
   --gradient_checkpointing \
   --save_hf_ckpt \
   --disable_ds_ckpt