challenger_calibration.json

{
  "temperature": 0.5913705321969809,
  "fitted_on": "artifacts/preds_challenger_val.npz",
  "n_fit": 8172,
  "evaluated_on": "artifacts/preds_challenger.npz",
  "n_eval": 8125,
  "before": {
    "ece": 0.09274875829403217,
    "mce": 0.3013893961906433,
    "brier": 0.02436713844387271,
    "accuracy": 0.9907692307692307,
    "mean_confidence": 0.8982142806053162,
    "n_bins": 15
  },
  "after": {
    "ece": 0.004247930189491249,
    "mce": 0.42238962781387135,
    "brier": 0.015956286251189052,
    "accuracy": 0.9907692307692307,
    "mean_confidence": 0.9948689015885677,
    "n_bins": 15
  },
  "reliability_after": {
    "bin_center": [
      0.03333333333333333,
      0.1,
      0.16666666666666669,
      0.23333333333333334,
      0.3,
      0.3666666666666667,
      0.43333333333333335,
      0.5,
      0.5666666666666667,
      0.6333333333333333,
      0.7,
      0.7666666666666666,
      0.8333333333333334,
      0.9,
      0.9666666666666667
    ],
    "confidence": [
      NaN,
      NaN,
      NaN,
      NaN,
      NaN,
      NaN,
      0.42238962781387135,
      0.4982589606799188,
      0.5613511057946308,
      0.6282423298211325,
      0.6923367621433499,
      0.7696053907150049,
      0.8401243896322524,
      0.903614667737649,
      0.9976575836120416
    ],
    "accuracy": [
      NaN,
      NaN,
      NaN,
      NaN,
      NaN,
      NaN,
      0.0,
      0.25,
      0.5384615384615384,
      0.7142857142857143,
      0.5,
      0.6153846153846154,
      0.7333333333333333,
      0.8387096774193549,
      0.9946397407130392
    ],
    "count": [
      0,
      0,
      0,
      0,
      0,
      0,
      1,
      4,
      13,
      7,
      4,
      13,
      30,
      31,
      8022
    ]
  }
}