{
  "tasks": {
    "gsm_hard": {
      "domain": "math",
      "selected": {
        "topk8_global_ridge": [
          "math_counting_easy",
          "mbpp_sanitized",
          "mmlu_high_school_physics",
          "humaneval",
          "multiarith",
          "math_algebra_easy",
          "mmlu_elementary_math",
          "mmlu_high_school_biology"
        ],
        "topk8_pertensor_ridge": [
          "math_counting_easy",
          "mbpp_sanitized",
          "mmlu_high_school_physics",
          "humaneval",
          "multiarith",
          "math_algebra_easy",
          "mmlu_elementary_math",
          "mmlu_high_school_biology"
        ]
      },
      "metrics": {
        "base_Y": 0.06333333333333334,
        "oracle": 0.15,
        "mean": 0.056666666666666664,
        "mean__cos": 0.8538880348205566,
        "global_ridge": 0.06,
        "global_ridge__cos": 0.9063830375671387,
        "pertensor_ridge": 0.06666666666666667,
        "pertensor_ridge__cos": 0.904435396194458,
        "pertensor_pca": 0.06666666666666667,
        "pertensor_pca__cos": 0.9048259854316711,
        "pertensor_mlp": 0.07333333333333333,
        "pertensor_mlp__cos": 0.90220707654953,
        "procrustes": 0.07,
        "procrustes__cos": 0.89919513463974,
        "topk8_global_ridge": 0.06666666666666667,
        "topk8_global_ridge__cos": 0.9051854014396667,
        "topk8_pertensor_ridge": 0.06333333333333334,
        "topk8_pertensor_ridge__cos": 0.903511106967926
      },
      "main_row": {
        "Domain": "math",
        "Task": "gsm_hard",
        "base_Y": 0.06333333333333334,
        "mean": 0.056666666666666664,
        "global_ridge": 0.06,
        "pertensor_ridge": 0.06666666666666667,
        "topk8_global_ridge": 0.06666666666666667,
        "topk8_pertensor_ridge": 0.06333333333333334,
        "pertensor_mlp": 0.07333333333333333,
        "oracle": 0.15,
        "oracle_minus_base_pp": 8.666666666666666,
        "usable": true,
        "gap_recovered": 0.11538461538461534
      }
    },
    "gsm8k_test_500": {
      "domain": "math",
      "selected": {
        "topk8_global_ridge": [
          "math_counting_easy",
          "mbpp_sanitized",
          "mmlu_high_school_physics",
          "humaneval",
          "multiarith",
          "math_algebra_easy",
          "mmlu_elementary_math",
          "mmlu_high_school_biology"
        ],
        "topk8_pertensor_ridge": [
          "math_counting_easy",
          "mbpp_sanitized",
          "mmlu_high_school_physics",
          "humaneval",
          "multiarith",
          "math_algebra_easy",
          "mmlu_elementary_math",
          "mmlu_high_school_biology"
        ]
      },
      "metrics": {
        "base_Y": 0.08,
        "oracle": 0.29333333333333333,
        "mean": 0.09333333333333334,
        "mean__cos": 0.9122087955474854,
        "global_ridge": 0.1,
        "global_ridge__cos": 0.9690855145454407,
        "pertensor_ridge": 0.1,
        "pertensor_ridge__cos": 0.9674875736236572,
        "pertensor_pca": 0.1,
        "pertensor_pca__cos": 0.9675261974334717,
        "pertensor_mlp": 0.1,
        "pertensor_mlp__cos": 0.9635453224182129,
        "procrustes": 0.09666666666666666,
        "procrustes__cos": 0.9608618021011353,
        "topk8_global_ridge": 0.09333333333333334,
        "topk8_global_ridge__cos": 0.9682586789131165,
        "topk8_pertensor_ridge": 0.09666666666666666,
        "topk8_pertensor_ridge__cos": 0.9668623805046082
      },
      "main_row": {
        "Domain": "math",
        "Task": "gsm8k_test_500",
        "base_Y": 0.08,
        "mean": 0.09333333333333334,
        "global_ridge": 0.1,
        "pertensor_ridge": 0.1,
        "topk8_global_ridge": 0.09333333333333334,
        "topk8_pertensor_ridge": 0.09666666666666666,
        "pertensor_mlp": 0.1,
        "oracle": 0.29333333333333333,
        "oracle_minus_base_pp": 21.333333333333332,
        "usable": true,
        "gap_recovered": 0.09375000000000003
      }
    },
    "mbpp_test_held": {
      "domain": "code",
      "selected": {
        "topk8_global_ridge": [
          "mbpp_sanitized",
          "math_counting_easy",
          "humaneval",
          "mmlu_high_school_physics",
          "multiarith",
          "mmlu_high_school_biology",
          "mmlu_elementary_math",
          "math_algebra_easy"
        ],
        "topk8_pertensor_ridge": [
          "mbpp_sanitized",
          "math_counting_easy",
          "humaneval",
          "mmlu_high_school_physics",
          "multiarith",
          "mmlu_high_school_biology",
          "mmlu_elementary_math",
          "math_algebra_easy"
        ]
      },
      "metrics": {
        "base_Y": 0.23,
        "oracle": 0.32,
        "mean": 0.24,
        "mean__cos": 0.9324136972427368,
        "global_ridge": 0.25,
        "global_ridge__cos": 0.9998323917388916,
        "pertensor_ridge": 0.25,
        "pertensor_ridge__cos": 0.9997650980949402,
        "pertensor_pca": 0.25,
        "pertensor_pca__cos": 0.9902871251106262,
        "pertensor_mlp": 0.24,
        "pertensor_mlp__cos": 0.9861795902252197,
        "procrustes": 0.24,
        "procrustes__cos": 0.9862682819366455,
        "topk8_global_ridge": 0.25,
        "topk8_global_ridge__cos": 0.9998441338539124,
        "topk8_pertensor_ridge": 0.25,
        "topk8_pertensor_ridge__cos": 0.9995993375778198
      },
      "main_row": {
        "Domain": "code",
        "Task": "mbpp_test_held",
        "base_Y": 0.23,
        "mean": 0.24,
        "global_ridge": 0.25,
        "pertensor_ridge": 0.25,
        "topk8_global_ridge": 0.25,
        "topk8_pertensor_ridge": 0.25,
        "pertensor_mlp": 0.24,
        "oracle": 0.32,
        "oracle_minus_base_pp": 9.0,
        "usable": true,
        "gap_recovered": 0.22222222222222213
      }
    },
    "mbpp_plus": {
      "domain": "code",
      "selected": {
        "topk8_global_ridge": [
          "mbpp_sanitized",
          "humaneval",
          "math_counting_easy",
          "mmlu_high_school_physics",
          "multiarith",
          "mmlu_high_school_biology",
          "mmlu_elementary_math",
          "math_algebra_easy"
        ],
        "topk8_pertensor_ridge": [
          "mbpp_sanitized",
          "humaneval",
          "math_counting_easy",
          "mmlu_high_school_physics",
          "multiarith",
          "mmlu_high_school_biology",
          "mmlu_elementary_math",
          "math_algebra_easy"
        ]
      },
      "metrics": {
        "base_Y": 0.21666666666666667,
        "oracle": 0.45,
        "mean": 0.21333333333333335,
        "mean__cos": 0.9124462008476257,
        "global_ridge": 0.28,
        "global_ridge__cos": 0.9848983287811279,
        "pertensor_ridge": 0.27,
        "pertensor_ridge__cos": 0.9846793413162231,
        "pertensor_pca": 0.21,
        "pertensor_pca__cos": 0.9684830904006958,
        "pertensor_mlp": 0.21,
        "pertensor_mlp__cos": 0.9642786383628845,
        "procrustes": 0.22666666666666666,
        "procrustes__cos": 0.9647142887115479,
        "topk8_global_ridge": 0.27,
        "topk8_global_ridge__cos": 0.9848766922950745,
        "topk8_pertensor_ridge": 0.26666666666666666,
        "topk8_pertensor_ridge__cos": 0.9846369624137878
      },
      "main_row": {
        "Domain": "code",
        "Task": "mbpp_plus",
        "base_Y": 0.21666666666666667,
        "mean": 0.21333333333333335,
        "global_ridge": 0.28,
        "pertensor_ridge": 0.27,
        "topk8_global_ridge": 0.27,
        "topk8_pertensor_ridge": 0.26666666666666666,
        "pertensor_mlp": 0.21,
        "oracle": 0.45,
        "oracle_minus_base_pp": 23.333333333333332,
        "usable": true,
        "gap_recovered": 0.2714285714285715
      }
    },
    "arc_challenge": {
      "domain": "science",
      "selected": {
        "topk8_global_ridge": [
          "mmlu_high_school_physics",
          "mmlu_high_school_biology",
          "mmlu_elementary_math",
          "math_counting_easy",
          "mbpp_sanitized",
          "humaneval",
          "multiarith",
          "math_algebra_easy"
        ],
        "topk8_pertensor_ridge": [
          "mmlu_high_school_physics",
          "mmlu_high_school_biology",
          "mmlu_elementary_math",
          "math_counting_easy",
          "mbpp_sanitized",
          "humaneval",
          "multiarith",
          "math_algebra_easy"
        ]
      },
      "metrics": {
        "base_Y": 0.7157190635451505,
        "oracle": 0.7224080267558528,
        "mean": 0.7324414715719063,
        "mean__cos": 0.8707941174507141,
        "global_ridge": 0.7357859531772575,
        "global_ridge__cos": 0.9247814416885376,
        "pertensor_ridge": 0.7290969899665551,
        "pertensor_ridge__cos": 0.9244466423988342,
        "pertensor_pca": 0.7357859531772575,
        "pertensor_pca__cos": 0.9224098920822144,
        "pertensor_mlp": 0.7391304347826086,
        "pertensor_mlp__cos": 0.920215368270874,
        "procrustes": 0.7491638795986622,
        "procrustes__cos": 0.9195225238800049,
        "topk8_global_ridge": 0.7357859531772575,
        "topk8_global_ridge__cos": 0.9233748316764832,
        "topk8_pertensor_ridge": 0.7290969899665551,
        "topk8_pertensor_ridge__cos": 0.9231237173080444
      },
      "main_row": {
        "Domain": "science",
        "Task": "arc_challenge",
        "base_Y": 0.7157190635451505,
        "mean": 0.7324414715719063,
        "global_ridge": 0.7357859531772575,
        "pertensor_ridge": 0.7290969899665551,
        "topk8_global_ridge": 0.7357859531772575,
        "topk8_pertensor_ridge": 0.7290969899665551,
        "pertensor_mlp": 0.7391304347826086,
        "oracle": 0.7224080267558528,
        "oracle_minus_base_pp": 0.6688963210702337,
        "usable": false,
        "gap_recovered": 5.0
      }
    },
    "openbookqa_test": {
      "domain": "science",
      "selected": {
        "topk8_global_ridge": [
          "mmlu_high_school_physics",
          "mmlu_high_school_biology",
          "mbpp_sanitized",
          "math_counting_easy",
          "mmlu_elementary_math",
          "humaneval",
          "multiarith",
          "math_algebra_easy"
        ],
        "topk8_pertensor_ridge": [
          "mmlu_high_school_physics",
          "mmlu_high_school_biology",
          "mbpp_sanitized",
          "math_counting_easy",
          "mmlu_elementary_math",
          "humaneval",
          "multiarith",
          "math_algebra_easy"
        ]
      },
      "metrics": {
        "base_Y": 0.71,
        "oracle": 0.9833333333333333,
        "mean": 0.76,
        "mean__cos": 0.9152830243110657,
        "global_ridge": 0.7466666666666667,
        "global_ridge__cos": 0.9711560010910034,
        "pertensor_ridge": 0.7433333333333333,
        "pertensor_ridge__cos": 0.9709675312042236,
        "pertensor_pca": 0.76,
        "pertensor_pca__cos": 0.9696671366691589,
        "pertensor_mlp": 0.7533333333333333,
        "pertensor_mlp__cos": 0.9671377539634705,
        "procrustes": 0.7366666666666667,
        "procrustes__cos": 0.9668078422546387,
        "topk8_global_ridge": 0.7133333333333334,
        "topk8_global_ridge__cos": 0.969284176826477,
        "topk8_pertensor_ridge": 0.7166666666666667,
        "topk8_pertensor_ridge__cos": 0.9690907597541809
      },
      "main_row": {
        "Domain": "science",
        "Task": "openbookqa_test",
        "base_Y": 0.71,
        "mean": 0.76,
        "global_ridge": 0.7466666666666667,
        "pertensor_ridge": 0.7433333333333333,
        "topk8_global_ridge": 0.7133333333333334,
        "topk8_pertensor_ridge": 0.7166666666666667,
        "pertensor_mlp": 0.7533333333333333,
        "oracle": 0.9833333333333333,
        "oracle_minus_base_pp": 27.333333333333332,
        "usable": true,
        "gap_recovered": 0.18292682926829285
      }
    }
  },
  "main_table": [
    {
      "Domain": "math",
      "Task": "gsm_hard",
      "base_Y": 0.06333333333333334,
      "mean": 0.056666666666666664,
      "global_ridge": 0.06,
      "pertensor_ridge": 0.06666666666666667,
      "topk8_global_ridge": 0.06666666666666667,
      "topk8_pertensor_ridge": 0.06333333333333334,
      "pertensor_mlp": 0.07333333333333333,
      "oracle": 0.15,
      "oracle_minus_base_pp": 8.666666666666666,
      "usable": true,
      "gap_recovered": 0.11538461538461534
    },
    {
      "Domain": "math",
      "Task": "gsm8k_test_500",
      "base_Y": 0.08,
      "mean": 0.09333333333333334,
      "global_ridge": 0.1,
      "pertensor_ridge": 0.1,
      "topk8_global_ridge": 0.09333333333333334,
      "topk8_pertensor_ridge": 0.09666666666666666,
      "pertensor_mlp": 0.1,
      "oracle": 0.29333333333333333,
      "oracle_minus_base_pp": 21.333333333333332,
      "usable": true,
      "gap_recovered": 0.09375000000000003
    },
    {
      "Domain": "code",
      "Task": "mbpp_test_held",
      "base_Y": 0.23,
      "mean": 0.24,
      "global_ridge": 0.25,
      "pertensor_ridge": 0.25,
      "topk8_global_ridge": 0.25,
      "topk8_pertensor_ridge": 0.25,
      "pertensor_mlp": 0.24,
      "oracle": 0.32,
      "oracle_minus_base_pp": 9.0,
      "usable": true,
      "gap_recovered": 0.22222222222222213
    },
    {
      "Domain": "code",
      "Task": "mbpp_plus",
      "base_Y": 0.21666666666666667,
      "mean": 0.21333333333333335,
      "global_ridge": 0.28,
      "pertensor_ridge": 0.27,
      "topk8_global_ridge": 0.27,
      "topk8_pertensor_ridge": 0.26666666666666666,
      "pertensor_mlp": 0.21,
      "oracle": 0.45,
      "oracle_minus_base_pp": 23.333333333333332,
      "usable": true,
      "gap_recovered": 0.2714285714285715
    },
    {
      "Domain": "science",
      "Task": "arc_challenge",
      "base_Y": 0.7157190635451505,
      "mean": 0.7324414715719063,
      "global_ridge": 0.7357859531772575,
      "pertensor_ridge": 0.7290969899665551,
      "topk8_global_ridge": 0.7357859531772575,
      "topk8_pertensor_ridge": 0.7290969899665551,
      "pertensor_mlp": 0.7391304347826086,
      "oracle": 0.7224080267558528,
      "oracle_minus_base_pp": 0.6688963210702337,
      "usable": false,
      "gap_recovered": 5.0
    },
    {
      "Domain": "science",
      "Task": "openbookqa_test",
      "base_Y": 0.71,
      "mean": 0.76,
      "global_ridge": 0.7466666666666667,
      "pertensor_ridge": 0.7433333333333333,
      "topk8_global_ridge": 0.7133333333333334,
      "topk8_pertensor_ridge": 0.7166666666666667,
      "pertensor_mlp": 0.7533333333333333,
      "oracle": 0.9833333333333333,
      "oracle_minus_base_pp": 27.333333333333332,
      "usable": true,
      "gap_recovered": 0.18292682926829285
    }
  ],
  "anchor_names": [
    "gsm8k",
    "svamp",
    "multiarith",
    "aqua_rat",
    "math_algebra_easy",
    "math_counting_easy",
    "mbpp",
    "humaneval",
    "mbpp_sanitized",
    "sciq",
    "arc_easy",
    "openbookqa",
    "medmcqa_easy",
    "mmlu_elementary_math",
    "mmlu_high_school_biology",
    "mmlu_high_school_physics"
  ],
  "heldout_names": [
    "gsm_hard",
    "gsm8k_test_500",
    "mbpp_test_held",
    "mbpp_plus",
    "arc_challenge",
    "openbookqa_test"
  ]
}