| { |
| "tasks": { |
| "gsm_hard": { |
| "domain": "math", |
| "selected": { |
| "topk8_global_ridge": [ |
| "multiarith", |
| "math_algebra_easy", |
| "math_counting_easy", |
| "mmlu_elementary_math", |
| "mmlu_high_school_biology", |
| "humaneval", |
| "mmlu_high_school_physics", |
| "mbpp" |
| ], |
| "topk8_pertensor_ridge": [ |
| "multiarith", |
| "math_algebra_easy", |
| "math_counting_easy", |
| "mmlu_elementary_math", |
| "mmlu_high_school_biology", |
| "humaneval", |
| "mmlu_high_school_physics", |
| "mbpp" |
| ] |
| }, |
| "metrics": { |
| "base_Y": 0.056666666666666664, |
| "oracle": 0.07333333333333333, |
| "mean": 0.06333333333333334, |
| "mean__cos": 0.9403474926948547, |
| "global_ridge": 0.05333333333333334, |
| "global_ridge__cos": 0.9845342636108398, |
| "pertensor_ridge": 0.056666666666666664, |
| "pertensor_ridge__cos": 0.981560230255127, |
| "pertensor_pca": 0.05333333333333334, |
| "pertensor_pca__cos": 0.9814527630805969, |
| "pertensor_mlp": 0.06666666666666667, |
| "pertensor_mlp__cos": 0.9654154777526855, |
| "procrustes": 0.06, |
| "procrustes__cos": 0.9561138153076172, |
| "topk8_global_ridge": 0.05, |
| "topk8_global_ridge__cos": 0.9844202995300293, |
| "topk8_pertensor_ridge": 0.04666666666666667, |
| "topk8_pertensor_ridge__cos": 0.9822383522987366 |
| }, |
| "main_row": { |
| "Domain": "math", |
| "Task": "gsm_hard", |
| "base_Y": 0.056666666666666664, |
| "mean": 0.06333333333333334, |
| "global_ridge": 0.05333333333333334, |
| "pertensor_ridge": 0.056666666666666664, |
| "topk8_global_ridge": 0.05, |
| "topk8_pertensor_ridge": 0.04666666666666667, |
| "pertensor_mlp": 0.06666666666666667, |
| "oracle": 0.07333333333333333, |
| "gap_recovered": 0.6 |
| } |
| }, |
| "math_algebra_medium": { |
| "domain": "math", |
| "selected": { |
| "topk8_global_ridge": [ |
| "math_algebra_easy", |
| "multiarith", |
| "math_counting_easy", |
| "mmlu_high_school_biology", |
| "mmlu_elementary_math", |
| "humaneval", |
| "mmlu_high_school_physics", |
| "mbpp" |
| ], |
| "topk8_pertensor_ridge": [ |
| "math_algebra_easy", |
| "multiarith", |
| "math_counting_easy", |
| "mmlu_high_school_biology", |
| "mmlu_elementary_math", |
| "humaneval", |
| "mmlu_high_school_physics", |
| "mbpp" |
| ] |
| }, |
| "metrics": { |
| "base_Y": 0.09333333333333334, |
| "oracle": 0.09666666666666666, |
| "mean": 0.1, |
| "mean__cos": 0.9451424479484558, |
| "global_ridge": 0.09333333333333334, |
| "global_ridge__cos": 0.994994044303894, |
| "pertensor_ridge": 0.1, |
| "pertensor_ridge__cos": 0.9946495294570923, |
| "pertensor_pca": 0.09333333333333334, |
| "pertensor_pca__cos": 0.9928159713745117, |
| "pertensor_mlp": 0.09333333333333334, |
| "pertensor_mlp__cos": 0.9720228910446167, |
| "procrustes": 0.06666666666666667, |
| "procrustes__cos": 0.9579223394393921, |
| "topk8_global_ridge": 0.10333333333333333, |
| "topk8_global_ridge__cos": 0.994929313659668, |
| "topk8_pertensor_ridge": 0.10333333333333333, |
| "topk8_pertensor_ridge__cos": 0.9947062730789185 |
| }, |
| "main_row": { |
| "Domain": "math", |
| "Task": "math_algebra_medium", |
| "base_Y": 0.09333333333333334, |
| "mean": 0.1, |
| "global_ridge": 0.09333333333333334, |
| "pertensor_ridge": 0.1, |
| "topk8_global_ridge": 0.10333333333333333, |
| "topk8_pertensor_ridge": 0.10333333333333333, |
| "pertensor_mlp": 0.09333333333333334, |
| "oracle": 0.09666666666666666, |
| "gap_recovered": 3.000000000000004 |
| } |
| }, |
| "humaneval_plus": { |
| "domain": "code", |
| "selected": { |
| "topk8_global_ridge": [ |
| "humaneval", |
| "mbpp_sanitized", |
| "mbpp", |
| "math_counting_easy", |
| "mmlu_high_school_physics", |
| "mmlu_high_school_biology", |
| "mmlu_elementary_math", |
| "multiarith" |
| ], |
| "topk8_pertensor_ridge": [ |
| "humaneval", |
| "mbpp_sanitized", |
| "mbpp", |
| "math_counting_easy", |
| "mmlu_high_school_physics", |
| "mmlu_high_school_biology", |
| "mmlu_elementary_math", |
| "multiarith" |
| ] |
| }, |
| "metrics": { |
| "base_Y": 0.07926829268292683, |
| "oracle": 0.06707317073170732, |
| "mean": 0.08536585365853659, |
| "mean__cos": 0.9547188878059387, |
| "global_ridge": 0.06707317073170732, |
| "global_ridge__cos": 0.9997959136962891, |
| "pertensor_ridge": 0.06707317073170732, |
| "pertensor_ridge__cos": 0.9997047781944275, |
| "pertensor_pca": 0.07926829268292683, |
| "pertensor_pca__cos": 0.9963724613189697, |
| "pertensor_mlp": 0.07317073170731707, |
| "pertensor_mlp__cos": 0.9848037958145142, |
| "procrustes": 0.07317073170731707, |
| "procrustes__cos": 0.98451828956604, |
| "topk8_global_ridge": 0.06707317073170732, |
| "topk8_global_ridge__cos": 0.9997950196266174, |
| "topk8_pertensor_ridge": 0.06707317073170732, |
| "topk8_pertensor_ridge__cos": 0.9997144937515259 |
| }, |
| "main_row": { |
| "Domain": "code", |
| "Task": "humaneval_plus", |
| "base_Y": 0.07926829268292683, |
| "mean": 0.08536585365853659, |
| "global_ridge": 0.06707317073170732, |
| "pertensor_ridge": 0.06707317073170732, |
| "topk8_global_ridge": 0.06707317073170732, |
| "topk8_pertensor_ridge": 0.06707317073170732, |
| "pertensor_mlp": 0.07317073170731707, |
| "oracle": 0.06707317073170732, |
| "gap_recovered": -0.5000000000000006 |
| } |
| }, |
| "mbpp_plus": { |
| "domain": "code", |
| "selected": { |
| "topk8_global_ridge": [ |
| "mbpp_sanitized", |
| "mbpp", |
| "humaneval", |
| "math_counting_easy", |
| "mmlu_high_school_physics", |
| "mmlu_high_school_biology", |
| "multiarith", |
| "mmlu_elementary_math" |
| ], |
| "topk8_pertensor_ridge": [ |
| "mbpp_sanitized", |
| "mbpp", |
| "humaneval", |
| "math_counting_easy", |
| "mmlu_high_school_physics", |
| "mmlu_high_school_biology", |
| "multiarith", |
| "mmlu_elementary_math" |
| ] |
| }, |
| "metrics": { |
| "base_Y": 0.21666666666666667, |
| "oracle": 0.22, |
| "mean": 0.20666666666666667, |
| "mean__cos": 0.9514243602752686, |
| "global_ridge": 0.21666666666666667, |
| "global_ridge__cos": 0.9871735572814941, |
| "pertensor_ridge": 0.21, |
| "pertensor_ridge__cos": 0.9867655038833618, |
| "pertensor_pca": 0.2, |
| "pertensor_pca__cos": 0.9821508526802063, |
| "pertensor_mlp": 0.2, |
| "pertensor_mlp__cos": 0.9766831994056702, |
| "procrustes": 0.20666666666666667, |
| "procrustes__cos": 0.9758116602897644, |
| "topk8_global_ridge": 0.21333333333333335, |
| "topk8_global_ridge__cos": 0.9844338893890381, |
| "topk8_pertensor_ridge": 0.20333333333333334, |
| "topk8_pertensor_ridge__cos": 0.9844347834587097 |
| }, |
| "main_row": { |
| "Domain": "code", |
| "Task": "mbpp_plus", |
| "base_Y": 0.21666666666666667, |
| "mean": 0.20666666666666667, |
| "global_ridge": 0.21666666666666667, |
| "pertensor_ridge": 0.21, |
| "topk8_global_ridge": 0.21333333333333335, |
| "topk8_pertensor_ridge": 0.20333333333333334, |
| "pertensor_mlp": 0.2, |
| "oracle": 0.22, |
| "gap_recovered": 0.0 |
| } |
| }, |
| "arc_challenge": { |
| "domain": "science", |
| "selected": { |
| "topk8_global_ridge": [ |
| "arc_easy", |
| "sciq", |
| "openbookqa", |
| "medmcqa_easy", |
| "mmlu_elementary_math", |
| "mmlu_high_school_biology", |
| "aqua_rat", |
| "mmlu_high_school_physics" |
| ], |
| "topk8_pertensor_ridge": [ |
| "arc_easy", |
| "sciq", |
| "openbookqa", |
| "medmcqa_easy", |
| "mmlu_elementary_math", |
| "mmlu_high_school_biology", |
| "aqua_rat", |
| "mmlu_high_school_physics" |
| ] |
| }, |
| "metrics": { |
| "base_Y": 0.705685618729097, |
| "oracle": 0.725752508361204, |
| "mean": 0.7324414715719063, |
| "mean__cos": 0.9541645050048828, |
| "global_ridge": 0.705685618729097, |
| "global_ridge__cos": 0.9965179562568665, |
| "pertensor_ridge": 0.705685618729097, |
| "pertensor_ridge__cos": 0.9963470101356506, |
| "pertensor_pca": 0.7090301003344481, |
| "pertensor_pca__cos": 0.9951907396316528, |
| "pertensor_mlp": 0.725752508361204, |
| "pertensor_mlp__cos": 0.9860411882400513, |
| "procrustes": 0.7123745819397993, |
| "procrustes__cos": 0.9873964786529541, |
| "topk8_global_ridge": 0.705685618729097, |
| "topk8_global_ridge__cos": 0.99649977684021, |
| "topk8_pertensor_ridge": 0.705685618729097, |
| "topk8_pertensor_ridge__cos": 0.9963691234588623 |
| }, |
| "main_row": { |
| "Domain": "science", |
| "Task": "arc_challenge", |
| "base_Y": 0.705685618729097, |
| "mean": 0.7324414715719063, |
| "global_ridge": 0.705685618729097, |
| "pertensor_ridge": 0.705685618729097, |
| "topk8_global_ridge": 0.705685618729097, |
| "topk8_pertensor_ridge": 0.705685618729097, |
| "pertensor_mlp": 0.725752508361204, |
| "oracle": 0.725752508361204, |
| "gap_recovered": 1.3333333333333333 |
| } |
| }, |
| "mmlu_college_chemistry": { |
| "domain": "science", |
| "selected": { |
| "topk8_global_ridge": [ |
| "mmlu_high_school_physics", |
| "mbpp_sanitized", |
| "mbpp", |
| "math_counting_easy", |
| "humaneval", |
| "mmlu_high_school_biology", |
| "mmlu_elementary_math", |
| "multiarith" |
| ], |
| "topk8_pertensor_ridge": [ |
| "mmlu_high_school_physics", |
| "mbpp_sanitized", |
| "mbpp", |
| "math_counting_easy", |
| "humaneval", |
| "mmlu_high_school_biology", |
| "mmlu_elementary_math", |
| "multiarith" |
| ] |
| }, |
| "metrics": { |
| "base_Y": 0.375, |
| "oracle": 0.375, |
| "mean": 0.375, |
| "mean__cos": 0.9513781070709229, |
| "global_ridge": 0.375, |
| "global_ridge__cos": 0.9985741972923279, |
| "pertensor_ridge": 0.375, |
| "pertensor_ridge__cos": 0.9986124634742737, |
| "pertensor_pca": 0.375, |
| "pertensor_pca__cos": 0.9976071119308472, |
| "pertensor_mlp": 0.25, |
| "pertensor_mlp__cos": 0.981284499168396, |
| "procrustes": 0.375, |
| "procrustes__cos": 0.9835162162780762, |
| "topk8_global_ridge": 0.375, |
| "topk8_global_ridge__cos": 0.998512327671051, |
| "topk8_pertensor_ridge": 0.375, |
| "topk8_pertensor_ridge__cos": 0.9985535144805908 |
| }, |
| "main_row": { |
| "Domain": "science", |
| "Task": "mmlu_college_chemistry", |
| "base_Y": 0.375, |
| "mean": 0.375, |
| "global_ridge": 0.375, |
| "pertensor_ridge": 0.375, |
| "topk8_global_ridge": 0.375, |
| "topk8_pertensor_ridge": 0.375, |
| "pertensor_mlp": 0.25, |
| "oracle": 0.375, |
| "gap_recovered": null |
| } |
| } |
| }, |
| "main_table": [ |
| { |
| "Domain": "math", |
| "Task": "gsm_hard", |
| "base_Y": 0.056666666666666664, |
| "mean": 0.06333333333333334, |
| "global_ridge": 0.05333333333333334, |
| "pertensor_ridge": 0.056666666666666664, |
| "topk8_global_ridge": 0.05, |
| "topk8_pertensor_ridge": 0.04666666666666667, |
| "pertensor_mlp": 0.06666666666666667, |
| "oracle": 0.07333333333333333, |
| "gap_recovered": 0.6 |
| }, |
| { |
| "Domain": "math", |
| "Task": "math_algebra_medium", |
| "base_Y": 0.09333333333333334, |
| "mean": 0.1, |
| "global_ridge": 0.09333333333333334, |
| "pertensor_ridge": 0.1, |
| "topk8_global_ridge": 0.10333333333333333, |
| "topk8_pertensor_ridge": 0.10333333333333333, |
| "pertensor_mlp": 0.09333333333333334, |
| "oracle": 0.09666666666666666, |
| "gap_recovered": 3.000000000000004 |
| }, |
| { |
| "Domain": "code", |
| "Task": "humaneval_plus", |
| "base_Y": 0.07926829268292683, |
| "mean": 0.08536585365853659, |
| "global_ridge": 0.06707317073170732, |
| "pertensor_ridge": 0.06707317073170732, |
| "topk8_global_ridge": 0.06707317073170732, |
| "topk8_pertensor_ridge": 0.06707317073170732, |
| "pertensor_mlp": 0.07317073170731707, |
| "oracle": 0.06707317073170732, |
| "gap_recovered": -0.5000000000000006 |
| }, |
| { |
| "Domain": "code", |
| "Task": "mbpp_plus", |
| "base_Y": 0.21666666666666667, |
| "mean": 0.20666666666666667, |
| "global_ridge": 0.21666666666666667, |
| "pertensor_ridge": 0.21, |
| "topk8_global_ridge": 0.21333333333333335, |
| "topk8_pertensor_ridge": 0.20333333333333334, |
| "pertensor_mlp": 0.2, |
| "oracle": 0.22, |
| "gap_recovered": 0.0 |
| }, |
| { |
| "Domain": "science", |
| "Task": "arc_challenge", |
| "base_Y": 0.705685618729097, |
| "mean": 0.7324414715719063, |
| "global_ridge": 0.705685618729097, |
| "pertensor_ridge": 0.705685618729097, |
| "topk8_global_ridge": 0.705685618729097, |
| "topk8_pertensor_ridge": 0.705685618729097, |
| "pertensor_mlp": 0.725752508361204, |
| "oracle": 0.725752508361204, |
| "gap_recovered": 1.3333333333333333 |
| }, |
| { |
| "Domain": "science", |
| "Task": "mmlu_college_chemistry", |
| "base_Y": 0.375, |
| "mean": 0.375, |
| "global_ridge": 0.375, |
| "pertensor_ridge": 0.375, |
| "topk8_global_ridge": 0.375, |
| "topk8_pertensor_ridge": 0.375, |
| "pertensor_mlp": 0.25, |
| "oracle": 0.375, |
| "gap_recovered": null |
| } |
| ], |
| "anchor_names": [ |
| "gsm8k", |
| "svamp", |
| "asdiv", |
| "mawps", |
| "multiarith", |
| "aqua_rat", |
| "math_algebra_easy", |
| "math_counting_easy", |
| "mbpp", |
| "humaneval", |
| "codealpaca_mini", |
| "mbpp_sanitized", |
| "conala_curated", |
| "livecodebench_easy", |
| "sciq", |
| "arc_easy", |
| "openbookqa", |
| "medmcqa_easy", |
| "mmlu_elementary_math", |
| "mmlu_high_school_biology", |
| "mmlu_high_school_physics", |
| "pubmedqa_pqal" |
| ] |
| } |
