data/evaluation/aggregate_l4a.json

{
  "format_version": 1,
  "config_fingerprint": "v06_l4a_retro_archive",
  "evaluated_at": "2026-06-07T17:05:35.498463Z",
  "n_events": 6,
  "n_seeds": 3,
  "seed_list": [
    42,
    1337,
    2026
  ],
  "bootstrap": {
    "n_resamples": 1000,
    "seed": 42,
    "confidence": 0.95
  },
  "metrics": {
    "category_recall": {
      "mean": 0.48331128747795415,
      "ci_low": 0.3291446208112875,
      "ci_high": 0.6470982142857142,
      "n": 6,
      "n_resamples": 1000,
      "confidence": 0.95,
      "per_event_values": {
        "2024-0077-GRC": 0.625,
        "2024-0183-FRA": 0.25,
        "2024-0796-ESP": 0.2962962962962963,
        "2025-0183-ITA": 0.42857142857142855,
        "2025-0848-UKR": 0.5,
        "2025-0852-BGR": 0.8000000000000002
      },
      "per_event_seed_values": {
        "2024-0077-GRC": [
          0.625,
          0.625,
          0.625
        ],
        "2024-0183-FRA": [
          0.25,
          0.25,
          0.25
        ],
        "2024-0796-ESP": [
          0.2962962962962963,
          0.2962962962962963,
          0.2962962962962963
        ],
        "2025-0183-ITA": [
          0.42857142857142855,
          0.42857142857142855,
          0.42857142857142855
        ],
        "2025-0848-UKR": [
          0.5,
          0.5,
          0.5
        ],
        "2025-0852-BGR": [
          0.8,
          0.8,
          0.8
        ]
      }
    },
    "category_severity_match_rate": {
      "mean": 0.5597222222222222,
      "ci_low": 0.38881944444444444,
      "ci_high": 0.7152777777777777,
      "n": 6,
      "n_resamples": 1000,
      "confidence": 0.95,
      "per_event_values": {
        "2024-0077-GRC": 0.4000000000000001,
        "2024-0183-FRA": 0.5,
        "2024-0796-ESP": 0.875,
        "2025-0183-ITA": 0.6666666666666666,
        "2025-0848-UKR": 0.6666666666666666,
        "2025-0852-BGR": 0.25
      },
      "per_event_seed_values": {
        "2024-0077-GRC": [
          0.4,
          0.4,
          0.4
        ],
        "2024-0183-FRA": [
          0.5,
          0.5,
          0.5
        ],
        "2024-0796-ESP": [
          0.875,
          0.875,
          0.875
        ],
        "2025-0183-ITA": [
          0.6666666666666666,
          0.6666666666666666,
          0.6666666666666666
        ],
        "2025-0848-UKR": [
          0.6666666666666666,
          0.6666666666666666,
          0.6666666666666666
        ],
        "2025-0852-BGR": [
          0.25,
          0.25,
          0.25
        ]
      }
    },
    "cosine_f1": {
      "mean": 0.29285,
      "ci_low": 0.17538333333333334,
      "ci_high": 0.42220041666666663,
      "n": 6,
      "n_resamples": 1000,
      "confidence": 0.95,
      "per_event_values": {
        "2024-0077-GRC": 0.2667,
        "2024-0183-FRA": 0.2857,
        "2024-0796-ESP": 0.4000000000000001,
        "2025-0183-ITA": 0.10000000000000002,
        "2025-0848-UKR": 0.5714,
        "2025-0852-BGR": 0.1333
      },
      "per_event_seed_values": {
        "2024-0077-GRC": [
          0.2667,
          0.2667,
          0.2667
        ],
        "2024-0183-FRA": [
          0.2857,
          0.2857,
          0.2857
        ],
        "2024-0796-ESP": [
          0.4,
          0.4,
          0.4
        ],
        "2025-0183-ITA": [
          0.1,
          0.1,
          0.1
        ],
        "2025-0848-UKR": [
          0.5714,
          0.5714,
          0.5714
        ],
        "2025-0852-BGR": [
          0.1333,
          0.1333,
          0.1333
        ]
      }
    },
    "category_f1": {
      "mean": 0.469047619047619,
      "ci_low": 0.34761904761904766,
      "ci_high": 0.5777777777777778,
      "n": 6,
      "n_resamples": 1000,
      "confidence": 0.95,
      "per_event_values": {
        "2024-0077-GRC": 0.6666666666666666,
        "2024-0183-FRA": 0.28571428571428575,
        "2024-0796-ESP": 0.45714285714285713,
        "2025-0183-ITA": 0.3,
        "2025-0848-UKR": 0.5714285714285715,
        "2025-0852-BGR": 0.5333333333333333
      },
      "per_event_seed_values": {
        "2024-0077-GRC": [
          0.6666666666666666,
          0.6666666666666666,
          0.6666666666666666
        ],
        "2024-0183-FRA": [
          0.28571428571428575,
          0.28571428571428575,
          0.28571428571428575
        ],
        "2024-0796-ESP": [
          0.45714285714285713,
          0.45714285714285713,
          0.45714285714285713
        ],
        "2025-0183-ITA": [
          0.3,
          0.3,
          0.3
        ],
        "2025-0848-UKR": [
          0.5714285714285715,
          0.5714285714285715,
          0.5714285714285715
        ],
        "2025-0852-BGR": [
          0.5333333333333333,
          0.5333333333333333,
          0.5333333333333333
        ]
      }
    }
  },
  "source_archive": "data/evaluation/gold/_v10_l4a_authoritative"
}