File size: 528 Bytes
51e0162 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | #!/bin/bash
#SBATCH -A aiscii
#SBATCH -p aiscii
#SBATCH --nodes=1
#SBATCH --gres=gpu:4
#SBATCH --cpus-per-task=20
#SBATCH --mem=256gb
#SBATCH --time=3-00:00:00
#SBATCH --job-name=generate_data
#SBATCH --output=generate_data.out
#SBATCH --error=generate_data.err
source ~/miniconda3/etc/profile.d/conda.sh
conda activate backdoor
torchrun --standalone --nproc_per_node 4 generate_data.py \
--model_id Qwen/Qwen2.5-VL-7B-Instruct\
--scienceqa_split train \
--split train \
--max_items 2000 \
--out_pkl qwen/train.pkl
|