| { |
| "generated_at": "2026-07-26T13:34:32+0000", |
| "checkpoint": { |
| "checkpoint": "/marimo/cubic_hier_150m_gemma4/checkpoints/final.pt", |
| "phase_index": 4, |
| "step": 0, |
| "saved_at": "2026-07-26T13:06:24+0000", |
| "format": "cubic-hier-v7-gemma4-150m-v2", |
| "parameters": 157065144, |
| "phase_name": "complete (dpo done)" |
| }, |
| "protocol": { |
| "type": "log-likelihood multiple choice", |
| "shots": 0, |
| "cubic_prompt_formats": { |
| "base": "CubicHierLM-157M (base format)", |
| "chat_direct": "CubicHierLM-157M (chat, direct prompt)", |
| "chat_reasoning": "CubicHierLM-157M (chat, reasoning prompt)" |
| }, |
| "reasoning_row_note": "Scored by log-likelihood only. No text is generated, so no <think> trace exists. This measures the effect of the reasoning system prompt, not chain-of-thought ability.", |
| "limit_per_task": 1500, |
| "max_sequence_length": 1536, |
| "note": "All models scored by this same script in one run. Not comparable to published numbers from other harnesses." |
| }, |
| "parameters": { |
| "CubicHierLM-157M (base format)": 157065144, |
| "CubicHierLM-157M (chat, direct prompt)": 157065144, |
| "CubicHierLM-157M (chat, reasoning prompt)": 157065144, |
| "HuggingFaceTB/SmolLM2-135M": 134515008, |
| "EleutherAI/pythia-160m": 162322944, |
| "facebook/opt-125m": 125239296 |
| }, |
| "results": { |
| "CubicHierLM-157M (base format)": { |
| "hellaswag": { |
| "examples": 1500, |
| "seconds": 9.7, |
| "acc": 26.8, |
| "acc_norm": 30.066666666666666, |
| "headline_metric": "acc_norm", |
| "headline": 30.066666666666666 |
| }, |
| "arc_easy": { |
| "examples": 1500, |
| "seconds": 8.5, |
| "acc": 41.2, |
| "acc_norm": 39.06666666666667, |
| "headline_metric": "acc_norm", |
| "headline": 39.06666666666667 |
| }, |
| "arc_challenge": { |
| "examples": 1172, |
| "seconds": 6.9, |
| "acc": 20.90443686006826, |
| "acc_norm": 25.255972696245735, |
| "headline_metric": "acc_norm", |
| "headline": 25.255972696245735 |
| }, |
| "piqa": { |
| "examples": 1500, |
| "seconds": 4.3, |
| "acc": 59.266666666666666, |
| "acc_norm": 57.8, |
| "headline_metric": "acc_norm", |
| "headline": 57.8 |
| }, |
| "winogrande": { |
| "examples": 1267, |
| "seconds": 3.7, |
| "acc": 50.828729281767956, |
| "acc_norm": 50.828729281767956, |
| "headline_metric": "acc", |
| "headline": 50.828729281767956 |
| }, |
| "openbookqa": { |
| "examples": 500, |
| "seconds": 3.0, |
| "acc": 15.8, |
| "acc_norm": 25.2, |
| "headline_metric": "acc_norm", |
| "headline": 25.2 |
| }, |
| "sciq": { |
| "examples": 1000, |
| "seconds": 6.9, |
| "acc": 73.3, |
| "acc_norm": 70.4, |
| "headline_metric": "acc_norm", |
| "headline": 70.4 |
| }, |
| "boolq": { |
| "examples": 1500, |
| "seconds": 5.5, |
| "acc": 61.8, |
| "acc_norm": 62.46666666666667, |
| "headline_metric": "acc", |
| "headline": 61.8 |
| }, |
| "lambada_openai": { |
| "examples": 1500, |
| "seconds": 2.4, |
| "acc": 20.066666666666666, |
| "acc_norm": 20.066666666666666, |
| "headline_metric": "acc", |
| "headline": 20.066666666666666 |
| }, |
| "mmlu": { |
| "examples": 1500, |
| "seconds": 10.0, |
| "acc": 27.066666666666666, |
| "acc_norm": 27.066666666666666, |
| "headline_metric": "acc", |
| "headline": 27.066666666666666 |
| }, |
| "_average": 40.76, |
| "_average_above_chance": 10.76 |
| }, |
| "CubicHierLM-157M (chat, direct prompt)": { |
| "hellaswag": { |
| "examples": 1500, |
| "seconds": 8.6, |
| "acc": 27.333333333333332, |
| "acc_norm": 29.666666666666668, |
| "headline_metric": "acc_norm", |
| "headline": 29.666666666666668 |
| }, |
| "arc_easy": { |
| "examples": 1500, |
| "seconds": 8.4, |
| "acc": 37.13333333333333, |
| "acc_norm": 36.6, |
| "headline_metric": "acc_norm", |
| "headline": 36.6 |
| }, |
| "arc_challenge": { |
| "examples": 1172, |
| "seconds": 6.8, |
| "acc": 21.67235494880546, |
| "acc_norm": 24.061433447098977, |
| "headline_metric": "acc_norm", |
| "headline": 24.061433447098977 |
| }, |
| "piqa": { |
| "examples": 1500, |
| "seconds": 4.1, |
| "acc": 58.13333333333333, |
| "acc_norm": 57.13333333333333, |
| "headline_metric": "acc_norm", |
| "headline": 57.13333333333333 |
| }, |
| "winogrande": { |
| "examples": 1267, |
| "seconds": 3.4, |
| "acc": 49.09234411996843, |
| "acc_norm": 49.09234411996843, |
| "headline_metric": "acc", |
| "headline": 49.09234411996843 |
| }, |
| "openbookqa": { |
| "examples": 500, |
| "seconds": 2.7, |
| "acc": 15.4, |
| "acc_norm": 29.2, |
| "headline_metric": "acc_norm", |
| "headline": 29.2 |
| }, |
| "sciq": { |
| "examples": 1000, |
| "seconds": 6.3, |
| "acc": 68.9, |
| "acc_norm": 66.5, |
| "headline_metric": "acc_norm", |
| "headline": 66.5 |
| }, |
| "boolq": { |
| "examples": 1500, |
| "seconds": 5.0, |
| "acc": 43.733333333333334, |
| "acc_norm": 61.733333333333334, |
| "headline_metric": "acc", |
| "headline": 43.733333333333334 |
| }, |
| "lambada_openai": { |
| "examples": 1500, |
| "seconds": 2.2, |
| "acc": 0.7333333333333333, |
| "acc_norm": 0.7333333333333333, |
| "headline_metric": "acc", |
| "headline": 0.7333333333333333 |
| }, |
| "mmlu": { |
| "examples": 1500, |
| "seconds": 9.6, |
| "acc": 25.733333333333334, |
| "acc_norm": 25.733333333333334, |
| "headline_metric": "acc", |
| "headline": 25.733333333333334 |
| }, |
| "_average": 36.25, |
| "_average_above_chance": 6.25 |
| }, |
| "CubicHierLM-157M (chat, reasoning prompt)": { |
| "hellaswag": { |
| "examples": 1500, |
| "seconds": 8.6, |
| "acc": 27.866666666666667, |
| "acc_norm": 30.133333333333333, |
| "headline_metric": "acc_norm", |
| "headline": 30.133333333333333 |
| }, |
| "arc_easy": { |
| "examples": 1500, |
| "seconds": 8.4, |
| "acc": 36.266666666666666, |
| "acc_norm": 35.733333333333334, |
| "headline_metric": "acc_norm", |
| "headline": 35.733333333333334 |
| }, |
| "arc_challenge": { |
| "examples": 1172, |
| "seconds": 6.5, |
| "acc": 21.58703071672355, |
| "acc_norm": 23.976109215017065, |
| "headline_metric": "acc_norm", |
| "headline": 23.976109215017065 |
| }, |
| "piqa": { |
| "examples": 1500, |
| "seconds": 4.1, |
| "acc": 58.93333333333333, |
| "acc_norm": 57.06666666666667, |
| "headline_metric": "acc_norm", |
| "headline": 57.06666666666667 |
| }, |
| "winogrande": { |
| "examples": 1267, |
| "seconds": 3.5, |
| "acc": 50.828729281767956, |
| "acc_norm": 50.828729281767956, |
| "headline_metric": "acc", |
| "headline": 50.828729281767956 |
| }, |
| "openbookqa": { |
| "examples": 500, |
| "seconds": 2.8, |
| "acc": 15.0, |
| "acc_norm": 28.8, |
| "headline_metric": "acc_norm", |
| "headline": 28.8 |
| }, |
| "sciq": { |
| "examples": 1000, |
| "seconds": 6.3, |
| "acc": 69.1, |
| "acc_norm": 65.9, |
| "headline_metric": "acc_norm", |
| "headline": 65.9 |
| }, |
| "boolq": { |
| "examples": 1500, |
| "seconds": 4.9, |
| "acc": 42.2, |
| "acc_norm": 62.0, |
| "headline_metric": "acc", |
| "headline": 42.2 |
| }, |
| "lambada_openai": { |
| "examples": 1500, |
| "seconds": 2.2, |
| "acc": 1.0666666666666667, |
| "acc_norm": 1.0666666666666667, |
| "headline_metric": "acc", |
| "headline": 1.0666666666666667 |
| }, |
| "mmlu": { |
| "examples": 1500, |
| "seconds": 9.2, |
| "acc": 26.266666666666666, |
| "acc_norm": 26.266666666666666, |
| "headline_metric": "acc", |
| "headline": 26.266666666666666 |
| }, |
| "_average": 36.2, |
| "_average_above_chance": 6.2 |
| }, |
| "HuggingFaceTB/SmolLM2-135M": { |
| "hellaswag": { |
| "examples": 1500, |
| "seconds": 11.0, |
| "acc": 33.266666666666666, |
| "acc_norm": 43.86666666666667, |
| "headline_metric": "acc_norm", |
| "headline": 43.86666666666667 |
| }, |
| "arc_easy": { |
| "examples": 1500, |
| "seconds": 8.5, |
| "acc": 64.93333333333334, |
| "acc_norm": 59.93333333333333, |
| "headline_metric": "acc_norm", |
| "headline": 59.93333333333333 |
| }, |
| "arc_challenge": { |
| "examples": 1172, |
| "seconds": 6.7, |
| "acc": 27.986348122866893, |
| "acc_norm": 29.18088737201365, |
| "headline_metric": "acc_norm", |
| "headline": 29.18088737201365 |
| }, |
| "piqa": { |
| "examples": 1500, |
| "seconds": 4.6, |
| "acc": 68.26666666666667, |
| "acc_norm": 68.2, |
| "headline_metric": "acc_norm", |
| "headline": 68.2 |
| }, |
| "winogrande": { |
| "examples": 1267, |
| "seconds": 3.9, |
| "acc": 53.27545382794001, |
| "acc_norm": 53.27545382794001, |
| "headline_metric": "acc", |
| "headline": 53.27545382794001 |
| }, |
| "openbookqa": { |
| "examples": 500, |
| "seconds": 3.0, |
| "acc": 22.0, |
| "acc_norm": 32.4, |
| "headline_metric": "acc_norm", |
| "headline": 32.4 |
| }, |
| "sciq": { |
| "examples": 1000, |
| "seconds": 7.8, |
| "acc": 83.8, |
| "acc_norm": 79.9, |
| "headline_metric": "acc_norm", |
| "headline": 79.9 |
| }, |
| "boolq": { |
| "examples": 1500, |
| "seconds": 6.2, |
| "acc": 61.13333333333333, |
| "acc_norm": 62.266666666666666, |
| "headline_metric": "acc", |
| "headline": 61.13333333333333 |
| }, |
| "lambada_openai": { |
| "examples": 1500, |
| "seconds": 2.6, |
| "acc": 41.06666666666667, |
| "acc_norm": 41.06666666666667, |
| "headline_metric": "acc", |
| "headline": 41.06666666666667 |
| }, |
| "mmlu": { |
| "examples": 1500, |
| "seconds": 11.0, |
| "acc": 23.133333333333333, |
| "acc_norm": 23.133333333333333, |
| "headline_metric": "acc", |
| "headline": 23.133333333333333 |
| }, |
| "_average": 49.21, |
| "_average_above_chance": 19.21 |
| }, |
| "EleutherAI/pythia-160m": { |
| "hellaswag": { |
| "examples": 1500, |
| "seconds": 6.1, |
| "acc": 27.8, |
| "acc_norm": 29.0, |
| "headline_metric": "acc_norm", |
| "headline": 29.0 |
| }, |
| "arc_easy": { |
| "examples": 1500, |
| "seconds": 4.6, |
| "acc": 39.46666666666667, |
| "acc_norm": 37.666666666666664, |
| "headline_metric": "acc_norm", |
| "headline": 37.666666666666664 |
| }, |
| "arc_challenge": { |
| "examples": 1172, |
| "seconds": 3.5, |
| "acc": 20.22184300341297, |
| "acc_norm": 24.744027303754265, |
| "headline_metric": "acc_norm", |
| "headline": 24.744027303754265 |
| }, |
| "piqa": { |
| "examples": 1500, |
| "seconds": 2.1, |
| "acc": 58.86666666666667, |
| "acc_norm": 58.733333333333334, |
| "headline_metric": "acc_norm", |
| "headline": 58.733333333333334 |
| }, |
| "winogrande": { |
| "examples": 1267, |
| "seconds": 1.7, |
| "acc": 50.74980268350434, |
| "acc_norm": 50.74980268350434, |
| "headline_metric": "acc", |
| "headline": 50.74980268350434 |
| }, |
| "openbookqa": { |
| "examples": 500, |
| "seconds": 1.5, |
| "acc": 17.2, |
| "acc_norm": 25.2, |
| "headline_metric": "acc_norm", |
| "headline": 25.2 |
| }, |
| "sciq": { |
| "examples": 1000, |
| "seconds": 5.0, |
| "acc": 56.1, |
| "acc_norm": 63.6, |
| "headline_metric": "acc_norm", |
| "headline": 63.6 |
| }, |
| "boolq": { |
| "examples": 1500, |
| "seconds": 4.4, |
| "acc": 43.86666666666667, |
| "acc_norm": 61.733333333333334, |
| "headline_metric": "acc", |
| "headline": 43.86666666666667 |
| }, |
| "lambada_openai": { |
| "examples": 1500, |
| "seconds": 1.6, |
| "acc": 10.933333333333334, |
| "acc_norm": 10.933333333333334, |
| "headline_metric": "acc", |
| "headline": 10.933333333333334 |
| }, |
| "mmlu": { |
| "examples": 1500, |
| "seconds": 6.5, |
| "acc": 24.133333333333333, |
| "acc_norm": 24.133333333333333, |
| "headline_metric": "acc", |
| "headline": 24.133333333333333 |
| }, |
| "_average": 36.86, |
| "_average_above_chance": 6.86 |
| }, |
| "facebook/opt-125m": { |
| "hellaswag": { |
| "examples": 1500, |
| "seconds": 3.9, |
| "acc": 27.8, |
| "acc_norm": 30.333333333333332, |
| "headline_metric": "acc_norm", |
| "headline": 30.333333333333332 |
| }, |
| "arc_easy": { |
| "examples": 1500, |
| "seconds": 3.6, |
| "acc": 43.86666666666667, |
| "acc_norm": 40.93333333333333, |
| "headline_metric": "acc_norm", |
| "headline": 40.93333333333333 |
| }, |
| "arc_challenge": { |
| "examples": 1172, |
| "seconds": 2.8, |
| "acc": 19.197952218430036, |
| "acc_norm": 22.696245733788395, |
| "headline_metric": "acc_norm", |
| "headline": 22.696245733788395 |
| }, |
| "piqa": { |
| "examples": 1500, |
| "seconds": 1.6, |
| "acc": 63.13333333333333, |
| "acc_norm": 61.8, |
| "headline_metric": "acc_norm", |
| "headline": 61.8 |
| }, |
| "winogrande": { |
| "examples": 1267, |
| "seconds": 1.4, |
| "acc": 50.355169692186266, |
| "acc_norm": 50.355169692186266, |
| "headline_metric": "acc", |
| "headline": 50.355169692186266 |
| }, |
| "openbookqa": { |
| "examples": 500, |
| "seconds": 0.8, |
| "acc": 16.4, |
| "acc_norm": 27.4, |
| "headline_metric": "acc_norm", |
| "headline": 27.4 |
| }, |
| "sciq": { |
| "examples": 1000, |
| "seconds": 3.5, |
| "acc": 75.1, |
| "acc_norm": 68.9, |
| "headline_metric": "acc_norm", |
| "headline": 68.9 |
| }, |
| "boolq": { |
| "examples": 1500, |
| "seconds": 2.9, |
| "acc": 55.8, |
| "acc_norm": 62.46666666666667, |
| "headline_metric": "acc", |
| "headline": 55.8 |
| }, |
| "lambada_openai": { |
| "examples": 1500, |
| "seconds": 1.1, |
| "acc": 38.13333333333333, |
| "acc_norm": 38.13333333333333, |
| "headline_metric": "acc", |
| "headline": 38.13333333333333 |
| }, |
| "mmlu": { |
| "examples": 1500, |
| "seconds": 4.9, |
| "acc": 24.2, |
| "acc_norm": 24.2, |
| "headline_metric": "acc", |
| "headline": 24.2 |
| }, |
| "_average": 42.06, |
| "_average_above_chance": 12.06 |
| } |
| } |
| } |
