script/run.sh

python infer_multi_worker.py \
  --gpus 0,1,2,3 \
  --max_jobs 4 \
  --num_shards 4 \
  --ckpt_dir ../ \
  --data_jsonl ./mof_inf_1M.jsonl \
  --out_dir ./test_outputs_multi \
  --batch_size 64 \
  --max_length 512 \
  --flush_every_steps 5