benchmark_results.json

{
  "generated_at": "2026-07-26T13:20:20+0000",
  "checkpoint": {
    "checkpoint": "/marimo/cubic_hier_150m_gemma4/checkpoints/final.pt",
    "phase_index": 4,
    "step": 0,
    "saved_at": "2026-07-26T13:06:24+0000",
    "format": "cubic-hier-v7-gemma4-150m-v2",
    "parameters": 157065144,
    "phase_name": "complete (dpo done)"
  },
  "protocol": {
    "type": "log-likelihood multiple choice",
    "shots": 0,
    "limit_per_task": 1500,
    "max_sequence_length": 1536,
    "note": "All models scored by this same script in one run. Not comparable to published numbers from other harnesses."
  },
  "parameters": {
    "CubicHierLM-157M (ours)": 157065144
  },
  "results": {
    "CubicHierLM-157M (ours)": {
      "hellaswag": {
        "examples": 1500,
        "seconds": 9.7,
        "acc": 26.8,
        "acc_norm": 30.066666666666666,
        "headline_metric": "acc_norm",
        "headline": 30.066666666666666
      },
      "arc_easy": {
        "examples": 1500,
        "seconds": 9.1,
        "acc": 41.2,
        "acc_norm": 39.06666666666667,
        "headline_metric": "acc_norm",
        "headline": 39.06666666666667
      },
      "arc_challenge": {
        "examples": 1172,
        "seconds": 7.2,
        "acc": 20.90443686006826,
        "acc_norm": 25.255972696245735,
        "headline_metric": "acc_norm",
        "headline": 25.255972696245735
      },
      "piqa": {
        "examples": 1500,
        "seconds": 4.4,
        "acc": 59.266666666666666,
        "acc_norm": 57.8,
        "headline_metric": "acc_norm",
        "headline": 57.8
      },
      "winogrande": {
        "examples": 1267,
        "seconds": 3.8,
        "acc": 50.828729281767956,
        "acc_norm": 50.828729281767956,
        "headline_metric": "acc",
        "headline": 50.828729281767956
      },
      "openbookqa": {
        "examples": 500,
        "seconds": 2.8,
        "acc": 15.8,
        "acc_norm": 25.2,
        "headline_metric": "acc_norm",
        "headline": 25.2
      },
      "sciq": {
        "examples": 1000,
        "seconds": 7.3,
        "acc": 73.3,
        "acc_norm": 70.4,
        "headline_metric": "acc_norm",
        "headline": 70.4
      },
      "boolq": {
        "examples": 1500,
        "seconds": 5.7,
        "acc": 61.8,
        "acc_norm": 62.46666666666667,
        "headline_metric": "acc",
        "headline": 61.8
      },
      "lambada_openai": {
        "examples": 1500,
        "seconds": 2.4,
        "acc": 20.066666666666666,
        "acc_norm": 20.066666666666666,
        "headline_metric": "acc",
        "headline": 20.066666666666666
      },
      "mmlu": {
        "examples": 1500,
        "seconds": 10.3,
        "acc": 27.066666666666666,
        "acc_norm": 27.066666666666666,
        "headline_metric": "acc",
        "headline": 27.066666666666666
      },
      "_average": 40.76,
      "_average_above_chance": 10.76
    }
  }
}