data/evaluation/aggregate_l4ac.json

{
  "format_version": 1,
  "config_fingerprint": "v06_l4ac_retro_archive",
  "evaluated_at": "2026-06-07T17:05:36.052948Z",
  "n_events": 6,
  "n_seeds": 3,
  "seed_list": [
    42,
    1337,
    2026
  ],
  "bootstrap": {
    "n_resamples": 1000,
    "seed": 42,
    "confidence": 0.95
  },
  "metrics": {
    "category_recall": {
      "mean": 0.4332671957671958,
      "ci_low": 0.3005869708994709,
      "ci_high": 0.607579365079365,
      "n": 6,
      "n_resamples": 1000,
      "confidence": 0.95,
      "per_event_values": {
        "2024-0077-GRC": 0.5,
        "2024-0183-FRA": 0.375,
        "2024-0796-ESP": 0.2222222222222222,
        "2025-0183-ITA": 0.2857142857142857,
        "2025-0848-UKR": 0.4166666666666667,
        "2025-0852-BGR": 0.8000000000000002
      },
      "per_event_seed_values": {
        "2024-0077-GRC": [
          0.5,
          0.5,
          0.5
        ],
        "2024-0183-FRA": [
          0.375,
          0.375,
          0.375
        ],
        "2024-0796-ESP": [
          0.2222222222222222,
          0.2222222222222222,
          0.2222222222222222
        ],
        "2025-0183-ITA": [
          0.2857142857142857,
          0.2857142857142857,
          0.2857142857142857
        ],
        "2025-0848-UKR": [
          0.4166666666666667,
          0.4166666666666667,
          0.4166666666666667
        ],
        "2025-0852-BGR": [
          0.8,
          0.8,
          0.8
        ]
      }
    },
    "category_severity_match_rate": {
      "mean": 0.725,
      "ci_low": 0.6027083333333334,
      "ci_high": 0.8611111111111112,
      "n": 6,
      "n_resamples": 1000,
      "confidence": 0.95,
      "per_event_values": {
        "2024-0077-GRC": 0.5,
        "2024-0183-FRA": 0.6666666666666666,
        "2024-0796-ESP": 0.8333333333333334,
        "2025-0183-ITA": 1.0,
        "2025-0848-UKR": 0.6,
        "2025-0852-BGR": 0.75
      },
      "per_event_seed_values": {
        "2024-0077-GRC": [
          0.5,
          0.5,
          0.5
        ],
        "2024-0183-FRA": [
          0.6666666666666666,
          0.6666666666666666,
          0.6666666666666666
        ],
        "2024-0796-ESP": [
          0.8333333333333334,
          0.8333333333333334,
          0.8333333333333334
        ],
        "2025-0183-ITA": [
          1.0,
          1.0,
          1.0
        ],
        "2025-0848-UKR": [
          0.6,
          0.6,
          0.6
        ],
        "2025-0852-BGR": [
          0.75,
          0.75,
          0.75
        ]
      }
    },
    "cosine_f1": {
      "mean": 0.24180000000000001,
      "ci_low": 0.20118999999999998,
      "ci_high": 0.28701666666666664,
      "n": 6,
      "n_resamples": 1000,
      "confidence": 0.95,
      "per_event_values": {
        "2024-0077-GRC": 0.25,
        "2024-0183-FRA": 0.25,
        "2024-0796-ESP": 0.2286,
        "2025-0183-ITA": 0.22220000000000004,
        "2025-0848-UKR": 0.3333,
        "2025-0852-BGR": 0.1667
      },
      "per_event_seed_values": {
        "2024-0077-GRC": [
          0.25,
          0.25,
          0.25
        ],
        "2024-0183-FRA": [
          0.25,
          0.25,
          0.25
        ],
        "2024-0796-ESP": [
          0.2286,
          0.2286,
          0.2286
        ],
        "2025-0183-ITA": [
          0.2222,
          0.2222,
          0.2222
        ],
        "2025-0848-UKR": [
          0.3333,
          0.3333,
          0.3333
        ],
        "2025-0852-BGR": [
          0.1667,
          0.1667,
          0.1667
        ]
      }
    },
    "category_f1": {
      "mean": 0.4437169312169312,
      "ci_low": 0.322650462962963,
      "ci_high": 0.5648148148148148,
      "n": 6,
      "n_resamples": 1000,
      "confidence": 0.95,
      "per_event_values": {
        "2024-0077-GRC": 0.5,
        "2024-0183-FRA": 0.375,
        "2024-0796-ESP": 0.3428571428571428,
        "2025-0183-ITA": 0.2222222222222222,
        "2025-0848-UKR": 0.5555555555555556,
        "2025-0852-BGR": 0.6666666666666666
      },
      "per_event_seed_values": {
        "2024-0077-GRC": [
          0.5,
          0.5,
          0.5
        ],
        "2024-0183-FRA": [
          0.375,
          0.375,
          0.375
        ],
        "2024-0796-ESP": [
          0.34285714285714286,
          0.34285714285714286,
          0.34285714285714286
        ],
        "2025-0183-ITA": [
          0.2222222222222222,
          0.2222222222222222,
          0.2222222222222222
        ],
        "2025-0848-UKR": [
          0.5555555555555556,
          0.5555555555555556,
          0.5555555555555556
        ],
        "2025-0852-BGR": [
          0.6666666666666666,
          0.6666666666666666,
          0.6666666666666666
        ]
      }
    }
  },
  "source_archive": "data/evaluation/gold/_v10_l4ac_archive"
}