examples/text-classification/run.sh

#!/bin/bash


CUDA_VISIBLE_DEVICES=0 python run_glue.py \
    --model_name_or_path google-bert/bert-base-cased \
    --task_name "cola" \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 32 \
    --learning_rate 2.5e-5 \
    --num_train_epochs 6 \
    --output_dir "cola" \
    --overwrite_output_dir \
    --apply-trp --trp-depths 1 --trp-p 0.1 --trp-lambdas 0.4 0.2 0.1


CUDA_VISIBLE_DEVICES=0 python run_glue.py \
    --model_name_or_path google-bert/bert-base-cased \
    --task_name "sst2" \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 64 \
    --learning_rate 3e-5 \
    --num_train_epochs 5 \
    --output_dir "sst2" \
    --overwrite_output_dir \
    --apply-trp --trp-depths 1 --trp-p 0.1 --trp-lambdas 0.4 0.2 0.1


CUDA_VISIBLE_DEVICES=0 python run_glue.py \
    --model_name_or_path google-bert/bert-base-cased \
    --task_name "mrpc" \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 16 \
    --learning_rate 2e-5 \
    --num_train_epochs 4 \
    --output_dir "mrpc" \
    --overwrite_output_dir \
    --apply-trp --trp-depths 1 --trp-p 0.1 --trp-lambdas 0.4 0.2 0.1

CUDA_VISIBLE_DEVICES=0 python run_glue.py \
    --model_name_or_path google-bert/bert-base-cased \
    --task_name "qqp" \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 32 \
    --learning_rate 1e-5 \
    --num_train_epochs 10 \
    --output_dir "qqp" \
    --overwrite_output_dir \
    --apply-trp --trp-depths 1 --trp-p 0.1 --trp-lambdas 0.4 0.2 0.1

CUDA_VISIBLE_DEVICES=0 python run_glue.py \
    --model_name_or_path google-bert/bert-base-cased \
    --task_name "qnli" \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 32 \
    --learning_rate 2e-5 \
    --num_train_epochs 10 \
    --output_dir "qnli" \
    --overwrite_output_dir \
    --apply-trp --trp-depths 1 --trp-p 0.1 --trp-lambdas 0.4 0.2 0.1


CUDA_VISIBLE_DEVICES=0 python run_glue.py \
    --model_name_or_path google-bert/bert-base-cased \
    --task_name "rte" \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 32 \
    --learning_rate 5e-5 \
    --num_train_epochs 5 \
    --output_dir "rte" \
    --overwrite_output_dir \
    --apply-trp --trp-depths 1 --trp-p 0.1 --trp-lambdas 0.4 0.2 0.1