reports/ablation_summary.json

{
  "Proposed": {
    "mean_macro_f1": 0.790854835849216,
    "mean_accuracy": 0.8479555555555556,
    "per_aspect": {
      "SIZE": {
        "macro_f1": 0.8688511032834313,
        "accuracy": 0.876
      },
      "MATERIAL": {
        "macro_f1": 0.8351109775214702,
        "accuracy": 0.8648666666666667
      },
      "QUALITY": {
        "macro_f1": 0.7742721084444115,
        "accuracy": 0.8063333333333333
      },
      "APPEARANCE": {
        "macro_f1": 0.7866997719239698,
        "accuracy": 0.8634666666666667
      },
      "STYLE": {
        "macro_f1": 0.7622600117091981,
        "accuracy": 0.8287333333333333
      },
      "VALUE": {
        "macro_f1": 0.7179350422128157,
        "accuracy": 0.8483333333333334
      }
    }
  },
  "A1_no_text_meta": {
    "mean_macro_f1": 0.7405760198232086,
    "mean_accuracy": 0.7894666666666666,
    "per_aspect": {
      "SIZE": {
        "macro_f1": 0.8068747136235311,
        "accuracy": 0.8090666666666667
      },
      "MATERIAL": {
        "macro_f1": 0.8128940857458821,
        "accuracy": 0.8442
      },
      "QUALITY": {
        "macro_f1": 0.7185149356332249,
        "accuracy": 0.7352666666666666
      },
      "APPEARANCE": {
        "macro_f1": 0.6981066845508933,
        "accuracy": 0.7523333333333333
      },
      "STYLE": {
        "macro_f1": 0.7065456106077872,
        "accuracy": 0.7587333333333334
      },
      "VALUE": {
        "macro_f1": 0.7005200887779329,
        "accuracy": 0.8372
      }
    }
  },
  "A2_no_numeric_meta": {
    "mean_macro_f1": 0.7556072889209918,
    "mean_accuracy": 0.8053,
    "per_aspect": {
      "SIZE": {
        "macro_f1": 0.8261798151548717,
        "accuracy": 0.8282
      },
      "MATERIAL": {
        "macro_f1": 0.7622481835378002,
        "accuracy": 0.7784666666666666
      },
      "QUALITY": {
        "macro_f1": 0.7470141599939275,
        "accuracy": 0.7757333333333334
      },
      "APPEARANCE": {
        "macro_f1": 0.75832091109464,
        "accuracy": 0.8269333333333333
      },
      "STYLE": {
        "macro_f1": 0.7282681172699741,
        "accuracy": 0.7826
      },
      "VALUE": {
        "macro_f1": 0.7116125464747367,
        "accuracy": 0.8398666666666667
      }
    }
  },
  "A3_concat_fusion": {
    "mean_macro_f1": 0.7891864169696635,
    "mean_accuracy": 0.8470222222222222,
    "per_aspect": {
      "SIZE": {
        "macro_f1": 0.8673939825303104,
        "accuracy": 0.8746666666666667
      },
      "MATERIAL": {
        "macro_f1": 0.8271559495053421,
        "accuracy": 0.8584666666666667
      },
      "QUALITY": {
        "macro_f1": 0.7772450897602642,
        "accuracy": 0.8106
      },
      "APPEARANCE": {
        "macro_f1": 0.7811169194295688,
        "accuracy": 0.8627333333333334
      },
      "STYLE": {
        "macro_f1": 0.7616829060410565,
        "accuracy": 0.8259333333333333
      },
      "VALUE": {
        "macro_f1": 0.7205236545514385,
        "accuracy": 0.8497333333333333
      }
    }
  }
}