code/run_seed0.sh

#!/usr/bin/env bash
set -euo pipefail

pip install --no-cache-dir datasets==4.8.4
python /work/code/repro_experiment.py \
  --device cuda \
  --train-size 8192 \
  --eval-size 1024 \
  --vocab-size 12000 \
  --seq-len 64 \
  --width 192 \
  --depth 8 \
  --rank 1 \
  --batch-size 128 \
  --steps 400 \
  --eval-every 25 \
  --threshold 0.55 \
  --perturbations 1 \
  --lr-bp 0.003 \
  --lr-fmad 0.001 \
  --lr-zo 0.001 \
  --seed 0 \
  --output-dir /work/seed0