crossdataset_eval.json

[
  {
    "name": "in_distribution_test",
    "n_images": 603,
    "n_errors": 0,
    "accuracy": 0.956882255389718,
    "macro_f1": 0.9552596935794003,
    "per_class": {
      "REAL": {
        "precision": 0.9323671497584541,
        "recall": 0.946078431372549,
        "f1": 0.9391727493917275,
        "support": 204
      },
      "AI_GENERATED": {
        "precision": 0.9866071428571429,
        "recall": 0.9822222222222222,
        "f1": 0.9844097995545658,
        "support": 225
      },
      "MANIPULATED_DEEPFAKE": {
        "precision": 0.9476744186046512,
        "recall": 0.9367816091954023,
        "f1": 0.9421965317919075,
        "support": 174
      }
    },
    "confusion_matrix": {
      "matrix": [
        [
          193,
          2,
          9
        ],
        [
          4,
          221,
          0
        ],
        [
          10,
          1,
          163
        ]
      ]
    },
    "ece": 0.02945039832769943,
    "reliability_diagram": [
      {
        "bin_lo": 0.0,
        "bin_hi": 0.06666666666666667,
        "count": 0,
        "accuracy": null,
        "confidence": null
      },
      {
        "bin_lo": 0.06666666666666667,
        "bin_hi": 0.13333333333333333,
        "count": 0,
        "accuracy": null,
        "confidence": null
      },
      {
        "bin_lo": 0.13333333333333333,
        "bin_hi": 0.2,
        "count": 0,
        "accuracy": null,
        "confidence": null
      },
      {
        "bin_lo": 0.2,
        "bin_hi": 0.26666666666666666,
        "count": 0,
        "accuracy": null,
        "confidence": null
      },
      {
        "bin_lo": 0.26666666666666666,
        "bin_hi": 0.3333333333333333,
        "count": 0,
        "accuracy": null,
        "confidence": null
      },
      {
        "bin_lo": 0.3333333333333333,
        "bin_hi": 0.4,
        "count": 0,
        "accuracy": null,
        "confidence": null
      },
      {
        "bin_lo": 0.4,
        "bin_hi": 0.4666666666666667,
        "count": 0,
        "accuracy": null,
        "confidence": null
      },
      {
        "bin_lo": 0.4666666666666667,
        "bin_hi": 0.5333333333333333,
        "count": 3,
        "accuracy": 0.6666666666666666,
        "confidence": 0.5007048745950063
      },
      {
        "bin_lo": 0.5333333333333333,
        "bin_hi": 0.6,
        "count": 6,
        "accuracy": 0.5,
        "confidence": 0.5685910185178121
      },
      {
        "bin_lo": 0.6,
        "bin_hi": 0.6666666666666666,
        "count": 4,
        "accuracy": 0.75,
        "confidence": 0.625779539346695
      },
      {
        "bin_lo": 0.6666666666666666,
        "bin_hi": 0.7333333333333333,
        "count": 2,
        "accuracy": 1.0,
        "confidence": 0.7083684504032135
      },
      {
        "bin_lo": 0.7333333333333333,
        "bin_hi": 0.8,
        "count": 12,
        "accuracy": 0.9166666666666666,
        "confidence": 0.7812791367371877
      },
      {
        "bin_lo": 0.8,
        "bin_hi": 0.8666666666666667,
        "count": 15,
        "accuracy": 0.8,
        "confidence": 0.8362609227498372
      },
      {
        "bin_lo": 0.8666666666666667,
        "bin_hi": 0.9333333333333333,
        "count": 83,
        "accuracy": 0.9397590361445783,
        "confidence": 0.9114187043833445
      },
      {
        "bin_lo": 0.9333333333333333,
        "bin_hi": 1.0,
        "count": 478,
        "accuracy": 0.9748953974895398,
        "confidence": 0.9513635940880955
      }
    ],
    "errors": []
  }
]