{
  "generated_at": "2026-07-26T13:34:32+0000",
  "checkpoint": {
    "checkpoint": "/marimo/cubic_hier_150m_gemma4/checkpoints/final.pt",
    "phase_index": 4,
    "step": 0,
    "saved_at": "2026-07-26T13:06:24+0000",
    "format": "cubic-hier-v7-gemma4-150m-v2",
    "parameters": 157065144,
    "phase_name": "complete (dpo done)"
  },
  "protocol": {
    "type": "log-likelihood multiple choice",
    "shots": 0,
    "cubic_prompt_formats": {
      "base": "CubicHierLM-157M (base format)",
      "chat_direct": "CubicHierLM-157M (chat, direct prompt)",
      "chat_reasoning": "CubicHierLM-157M (chat, reasoning prompt)"
    },
    "reasoning_row_note": "Scored by log-likelihood only. No text is generated, so no <think> trace exists. This measures the effect of the reasoning system prompt, not chain-of-thought ability.",
    "limit_per_task": 1500,
    "max_sequence_length": 1536,
    "note": "All models scored by this same script in one run. Not comparable to published numbers from other harnesses."
  },
  "parameters": {
    "CubicHierLM-157M (base format)": 157065144,
    "CubicHierLM-157M (chat, direct prompt)": 157065144,
    "CubicHierLM-157M (chat, reasoning prompt)": 157065144,
    "HuggingFaceTB/SmolLM2-135M": 134515008,
    "EleutherAI/pythia-160m": 162322944,
    "facebook/opt-125m": 125239296
  },
  "results": {
    "CubicHierLM-157M (base format)": {
      "hellaswag": {
        "examples": 1500,
        "seconds": 9.7,
        "acc": 26.8,
        "acc_norm": 30.066666666666666,
        "headline_metric": "acc_norm",
        "headline": 30.066666666666666
      },
      "arc_easy": {
        "examples": 1500,
        "seconds": 8.5,
        "acc": 41.2,
        "acc_norm": 39.06666666666667,
        "headline_metric": "acc_norm",
        "headline": 39.06666666666667
      },
      "arc_challenge": {
        "examples": 1172,
        "seconds": 6.9,
        "acc": 20.90443686006826,
        "acc_norm": 25.255972696245735,
        "headline_metric": "acc_norm",
        "headline": 25.255972696245735
      },
      "piqa": {
        "examples": 1500,
        "seconds": 4.3,
        "acc": 59.266666666666666,
        "acc_norm": 57.8,
        "headline_metric": "acc_norm",
        "headline": 57.8
      },
      "winogrande": {
        "examples": 1267,
        "seconds": 3.7,
        "acc": 50.828729281767956,
        "acc_norm": 50.828729281767956,
        "headline_metric": "acc",
        "headline": 50.828729281767956
      },
      "openbookqa": {
        "examples": 500,
        "seconds": 3.0,
        "acc": 15.8,
        "acc_norm": 25.2,
        "headline_metric": "acc_norm",
        "headline": 25.2
      },
      "sciq": {
        "examples": 1000,
        "seconds": 6.9,
        "acc": 73.3,
        "acc_norm": 70.4,
        "headline_metric": "acc_norm",
        "headline": 70.4
      },
      "boolq": {
        "examples": 1500,
        "seconds": 5.5,
        "acc": 61.8,
        "acc_norm": 62.46666666666667,
        "headline_metric": "acc",
        "headline": 61.8
      },
      "lambada_openai": {
        "examples": 1500,
        "seconds": 2.4,
        "acc": 20.066666666666666,
        "acc_norm": 20.066666666666666,
        "headline_metric": "acc",
        "headline": 20.066666666666666
      },
      "mmlu": {
        "examples": 1500,
        "seconds": 10.0,
        "acc": 27.066666666666666,
        "acc_norm": 27.066666666666666,
        "headline_metric": "acc",
        "headline": 27.066666666666666
      },
      "_average": 40.76,
      "_average_above_chance": 10.76
    },
    "CubicHierLM-157M (chat, direct prompt)": {
      "hellaswag": {
        "examples": 1500,
        "seconds": 8.6,
        "acc": 27.333333333333332,
        "acc_norm": 29.666666666666668,
        "headline_metric": "acc_norm",
        "headline": 29.666666666666668
      },
      "arc_easy": {
        "examples": 1500,
        "seconds": 8.4,
        "acc": 37.13333333333333,
        "acc_norm": 36.6,
        "headline_metric": "acc_norm",
        "headline": 36.6
      },
      "arc_challenge": {
        "examples": 1172,
        "seconds": 6.8,
        "acc": 21.67235494880546,
        "acc_norm": 24.061433447098977,
        "headline_metric": "acc_norm",
        "headline": 24.061433447098977
      },
      "piqa": {
        "examples": 1500,
        "seconds": 4.1,
        "acc": 58.13333333333333,
        "acc_norm": 57.13333333333333,
        "headline_metric": "acc_norm",
        "headline": 57.13333333333333
      },
      "winogrande": {
        "examples": 1267,
        "seconds": 3.4,
        "acc": 49.09234411996843,
        "acc_norm": 49.09234411996843,
        "headline_metric": "acc",
        "headline": 49.09234411996843
      },
      "openbookqa": {
        "examples": 500,
        "seconds": 2.7,
        "acc": 15.4,
        "acc_norm": 29.2,
        "headline_metric": "acc_norm",
        "headline": 29.2
      },
      "sciq": {
        "examples": 1000,
        "seconds": 6.3,
        "acc": 68.9,
        "acc_norm": 66.5,
        "headline_metric": "acc_norm",
        "headline": 66.5
      },
      "boolq": {
        "examples": 1500,
        "seconds": 5.0,
        "acc": 43.733333333333334,
        "acc_norm": 61.733333333333334,
        "headline_metric": "acc",
        "headline": 43.733333333333334
      },
      "lambada_openai": {
        "examples": 1500,
        "seconds": 2.2,
        "acc": 0.7333333333333333,
        "acc_norm": 0.7333333333333333,
        "headline_metric": "acc",
        "headline": 0.7333333333333333
      },
      "mmlu": {
        "examples": 1500,
        "seconds": 9.6,
        "acc": 25.733333333333334,
        "acc_norm": 25.733333333333334,
        "headline_metric": "acc",
        "headline": 25.733333333333334
      },
      "_average": 36.25,
      "_average_above_chance": 6.25
    },
    "CubicHierLM-157M (chat, reasoning prompt)": {
      "hellaswag": {
        "examples": 1500,
        "seconds": 8.6,
        "acc": 27.866666666666667,
        "acc_norm": 30.133333333333333,
        "headline_metric": "acc_norm",
        "headline": 30.133333333333333
      },
      "arc_easy": {
        "examples": 1500,
        "seconds": 8.4,
        "acc": 36.266666666666666,
        "acc_norm": 35.733333333333334,
        "headline_metric": "acc_norm",
        "headline": 35.733333333333334
      },
      "arc_challenge": {
        "examples": 1172,
        "seconds": 6.5,
        "acc": 21.58703071672355,
        "acc_norm": 23.976109215017065,
        "headline_metric": "acc_norm",
        "headline": 23.976109215017065
      },
      "piqa": {
        "examples": 1500,
        "seconds": 4.1,
        "acc": 58.93333333333333,
        "acc_norm": 57.06666666666667,
        "headline_metric": "acc_norm",
        "headline": 57.06666666666667
      },
      "winogrande": {
        "examples": 1267,
        "seconds": 3.5,
        "acc": 50.828729281767956,
        "acc_norm": 50.828729281767956,
        "headline_metric": "acc",
        "headline": 50.828729281767956
      },
      "openbookqa": {
        "examples": 500,
        "seconds": 2.8,
        "acc": 15.0,
        "acc_norm": 28.8,
        "headline_metric": "acc_norm",
        "headline": 28.8
      },
      "sciq": {
        "examples": 1000,
        "seconds": 6.3,
        "acc": 69.1,
        "acc_norm": 65.9,
        "headline_metric": "acc_norm",
        "headline": 65.9
      },
      "boolq": {
        "examples": 1500,
        "seconds": 4.9,
        "acc": 42.2,
        "acc_norm": 62.0,
        "headline_metric": "acc",
        "headline": 42.2
      },
      "lambada_openai": {
        "examples": 1500,
        "seconds": 2.2,
        "acc": 1.0666666666666667,
        "acc_norm": 1.0666666666666667,
        "headline_metric": "acc",
        "headline": 1.0666666666666667
      },
      "mmlu": {
        "examples": 1500,
        "seconds": 9.2,
        "acc": 26.266666666666666,
        "acc_norm": 26.266666666666666,
        "headline_metric": "acc",
        "headline": 26.266666666666666
      },
      "_average": 36.2,
      "_average_above_chance": 6.2
    },
    "HuggingFaceTB/SmolLM2-135M": {
      "hellaswag": {
        "examples": 1500,
        "seconds": 11.0,
        "acc": 33.266666666666666,
        "acc_norm": 43.86666666666667,
        "headline_metric": "acc_norm",
        "headline": 43.86666666666667
      },
      "arc_easy": {
        "examples": 1500,
        "seconds": 8.5,
        "acc": 64.93333333333334,
        "acc_norm": 59.93333333333333,
        "headline_metric": "acc_norm",
        "headline": 59.93333333333333
      },
      "arc_challenge": {
        "examples": 1172,
        "seconds": 6.7,
        "acc": 27.986348122866893,
        "acc_norm": 29.18088737201365,
        "headline_metric": "acc_norm",
        "headline": 29.18088737201365
      },
      "piqa": {
        "examples": 1500,
        "seconds": 4.6,
        "acc": 68.26666666666667,
        "acc_norm": 68.2,
        "headline_metric": "acc_norm",
        "headline": 68.2
      },
      "winogrande": {
        "examples": 1267,
        "seconds": 3.9,
        "acc": 53.27545382794001,
        "acc_norm": 53.27545382794001,
        "headline_metric": "acc",
        "headline": 53.27545382794001
      },
      "openbookqa": {
        "examples": 500,
        "seconds": 3.0,
        "acc": 22.0,
        "acc_norm": 32.4,
        "headline_metric": "acc_norm",
        "headline": 32.4
      },
      "sciq": {
        "examples": 1000,
        "seconds": 7.8,
        "acc": 83.8,
        "acc_norm": 79.9,
        "headline_metric": "acc_norm",
        "headline": 79.9
      },
      "boolq": {
        "examples": 1500,
        "seconds": 6.2,
        "acc": 61.13333333333333,
        "acc_norm": 62.266666666666666,
        "headline_metric": "acc",
        "headline": 61.13333333333333
      },
      "lambada_openai": {
        "examples": 1500,
        "seconds": 2.6,
        "acc": 41.06666666666667,
        "acc_norm": 41.06666666666667,
        "headline_metric": "acc",
        "headline": 41.06666666666667
      },
      "mmlu": {
        "examples": 1500,
        "seconds": 11.0,
        "acc": 23.133333333333333,
        "acc_norm": 23.133333333333333,
        "headline_metric": "acc",
        "headline": 23.133333333333333
      },
      "_average": 49.21,
      "_average_above_chance": 19.21
    },
    "EleutherAI/pythia-160m": {
      "hellaswag": {
        "examples": 1500,
        "seconds": 6.1,
        "acc": 27.8,
        "acc_norm": 29.0,
        "headline_metric": "acc_norm",
        "headline": 29.0
      },
      "arc_easy": {
        "examples": 1500,
        "seconds": 4.6,
        "acc": 39.46666666666667,
        "acc_norm": 37.666666666666664,
        "headline_metric": "acc_norm",
        "headline": 37.666666666666664
      },
      "arc_challenge": {
        "examples": 1172,
        "seconds": 3.5,
        "acc": 20.22184300341297,
        "acc_norm": 24.744027303754265,
        "headline_metric": "acc_norm",
        "headline": 24.744027303754265
      },
      "piqa": {
        "examples": 1500,
        "seconds": 2.1,
        "acc": 58.86666666666667,
        "acc_norm": 58.733333333333334,
        "headline_metric": "acc_norm",
        "headline": 58.733333333333334
      },
      "winogrande": {
        "examples": 1267,
        "seconds": 1.7,
        "acc": 50.74980268350434,
        "acc_norm": 50.74980268350434,
        "headline_metric": "acc",
        "headline": 50.74980268350434
      },
      "openbookqa": {
        "examples": 500,
        "seconds": 1.5,
        "acc": 17.2,
        "acc_norm": 25.2,
        "headline_metric": "acc_norm",
        "headline": 25.2
      },
      "sciq": {
        "examples": 1000,
        "seconds": 5.0,
        "acc": 56.1,
        "acc_norm": 63.6,
        "headline_metric": "acc_norm",
        "headline": 63.6
      },
      "boolq": {
        "examples": 1500,
        "seconds": 4.4,
        "acc": 43.86666666666667,
        "acc_norm": 61.733333333333334,
        "headline_metric": "acc",
        "headline": 43.86666666666667
      },
      "lambada_openai": {
        "examples": 1500,
        "seconds": 1.6,
        "acc": 10.933333333333334,
        "acc_norm": 10.933333333333334,
        "headline_metric": "acc",
        "headline": 10.933333333333334
      },
      "mmlu": {
        "examples": 1500,
        "seconds": 6.5,
        "acc": 24.133333333333333,
        "acc_norm": 24.133333333333333,
        "headline_metric": "acc",
        "headline": 24.133333333333333
      },
      "_average": 36.86,
      "_average_above_chance": 6.86
    },
    "facebook/opt-125m": {
      "hellaswag": {
        "examples": 1500,
        "seconds": 3.9,
        "acc": 27.8,
        "acc_norm": 30.333333333333332,
        "headline_metric": "acc_norm",
        "headline": 30.333333333333332
      },
      "arc_easy": {
        "examples": 1500,
        "seconds": 3.6,
        "acc": 43.86666666666667,
        "acc_norm": 40.93333333333333,
        "headline_metric": "acc_norm",
        "headline": 40.93333333333333
      },
      "arc_challenge": {
        "examples": 1172,
        "seconds": 2.8,
        "acc": 19.197952218430036,
        "acc_norm": 22.696245733788395,
        "headline_metric": "acc_norm",
        "headline": 22.696245733788395
      },
      "piqa": {
        "examples": 1500,
        "seconds": 1.6,
        "acc": 63.13333333333333,
        "acc_norm": 61.8,
        "headline_metric": "acc_norm",
        "headline": 61.8
      },
      "winogrande": {
        "examples": 1267,
        "seconds": 1.4,
        "acc": 50.355169692186266,
        "acc_norm": 50.355169692186266,
        "headline_metric": "acc",
        "headline": 50.355169692186266
      },
      "openbookqa": {
        "examples": 500,
        "seconds": 0.8,
        "acc": 16.4,
        "acc_norm": 27.4,
        "headline_metric": "acc_norm",
        "headline": 27.4
      },
      "sciq": {
        "examples": 1000,
        "seconds": 3.5,
        "acc": 75.1,
        "acc_norm": 68.9,
        "headline_metric": "acc_norm",
        "headline": 68.9
      },
      "boolq": {
        "examples": 1500,
        "seconds": 2.9,
        "acc": 55.8,
        "acc_norm": 62.46666666666667,
        "headline_metric": "acc",
        "headline": 55.8
      },
      "lambada_openai": {
        "examples": 1500,
        "seconds": 1.1,
        "acc": 38.13333333333333,
        "acc_norm": 38.13333333333333,
        "headline_metric": "acc",
        "headline": 38.13333333333333
      },
      "mmlu": {
        "examples": 1500,
        "seconds": 4.9,
        "acc": 24.2,
        "acc_norm": 24.2,
        "headline_metric": "acc",
        "headline": 24.2
      },
      "_average": 42.06,
      "_average_above_chance": 12.06
    }
  }
}