eval_results.json

{
  "gsm8k": {
    "before": {
      "n": 30,
      "correct": 4,
      "accuracy": 0.13333333333333333,
      "elapsed_sec": 235.86863923072815,
      "seed": 42
    },
    "after": {
      "n": 30,
      "correct": 6,
      "accuracy": 0.2,
      "elapsed_sec": 241.18271040916443,
      "seed": 42
    }
  },
  "piqa": {
    "before": {
      "n": 150,
      "correct": 93,
      "accuracy": 0.62,
      "elapsed_sec": 13.179616451263428,
      "seed": 42
    },
    "after": {
      "n": 150,
      "correct": 97,
      "accuracy": 0.6466666666666666,
      "elapsed_sec": 23.426591634750366,
      "seed": 42
    }
  },
  "gate_passed": true
}