[
  {
    "comparison": "v2_minus_core",
    "metric": "prompt_sim",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.42742575221539786,
    "mean_b": 0.417741510256504,
    "delta_a_minus_b": 0.009684241958893836,
    "ci_low": -0.014334722388302907,
    "ci_high": 0.03340032646257895,
    "p_direction": 0.2117,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "topic_drift",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.5725742477846022,
    "mean_b": 0.582258489743496,
    "delta_a_minus_b": -0.009684241958893836,
    "ci_low": -0.033228457572404294,
    "ci_high": 0.0140339194383705,
    "p_direction": 0.2097,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "rep_adj",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.010224358974358975,
    "mean_b": 0.024644795657726693,
    "delta_a_minus_b": -0.014420436683367717,
    "ci_low": -0.03675067694518125,
    "ci_high": 0.005540412552804795,
    "p_direction": 0.0807,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "rep_pair",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.008393365893365893,
    "mean_b": 0.013133639987088263,
    "delta_a_minus_b": -0.0047402740937223685,
    "ci_low": -0.01998703914221155,
    "ci_high": 0.008390627412179132,
    "p_direction": 0.2712,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "progression_band",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.6360696479446479,
    "mean_b": 0.6674425287356323,
    "delta_a_minus_b": -0.03137288079098424,
    "ci_low": -0.09394879469987227,
    "ci_high": 0.0325977232976155,
    "p_direction": 0.1646,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "lexical_loop_penalty",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.07701128526080024,
    "mean_b": 0.11459236275146452,
    "delta_a_minus_b": -0.037581077490664284,
    "ci_low": -0.077373644597447,
    "ci_high": 0.0005587195890821763,
    "p_direction": 0.0271,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "exact_lexical_loop",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.2833333333333333,
    "mean_b": 0.31666666666666665,
    "delta_a_minus_b": -0.03333333333333333,
    "ci_low": -0.14166666666666666,
    "ci_high": 0.075,
    "p_direction": 0.3033,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "semantic_loop",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.06666666666666667,
    "mean_b": 0.09166666666666666,
    "delta_a_minus_b": -0.025,
    "ci_low": -0.09166666666666666,
    "ci_high": 0.041666666666666664,
    "p_direction": 0.2715,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "prompt_drift",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.16666666666666666,
    "mean_b": 0.19166666666666668,
    "delta_a_minus_b": -0.025,
    "ci_low": -0.1,
    "ci_high": 0.05,
    "p_direction": 0.2912,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_minus_core",
    "metric": "weak_progression",
    "model_a": "v2",
    "model_b": "core",
    "mean_a": 0.4,
    "mean_b": 0.35833333333333334,
    "delta_a_minus_b": 0.041666666666666664,
    "ci_low": -0.075,
    "ci_high": 0.15833333333333333,
    "p_direction": 0.2627,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "prompt_sim",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.4953933523967862,
    "mean_b": 0.417741510256504,
    "delta_a_minus_b": 0.07765184214028219,
    "ci_low": 0.052679028646477194,
    "ci_high": 0.10289676335446225,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "topic_drift",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.5046066476032138,
    "mean_b": 0.582258489743496,
    "delta_a_minus_b": -0.07765184214028219,
    "ci_low": -0.10261079253124383,
    "ci_high": -0.05282198344318506,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "rep_adj",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.0,
    "mean_b": 0.024644795657726693,
    "delta_a_minus_b": -0.024644795657726693,
    "ci_low": -0.04381924489144317,
    "ci_high": -0.009019416507024272,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "rep_pair",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.003630952380952381,
    "mean_b": 0.013133639987088263,
    "delta_a_minus_b": -0.00950268760613588,
    "ci_low": -0.023706889534475736,
    "ci_high": 0.0017172961138478369,
    "p_direction": 0.0538,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "progression_band",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.872714947089947,
    "mean_b": 0.6674425287356323,
    "delta_a_minus_b": 0.20527241835431492,
    "ci_low": 0.14412666769293928,
    "ci_high": 0.26460901010308346,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "lexical_loop_penalty",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.10273307336652525,
    "mean_b": 0.11459236275146452,
    "delta_a_minus_b": -0.011859289384939289,
    "ci_low": -0.06206824574604235,
    "ci_high": 0.03688690511192931,
    "p_direction": 0.325,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "exact_lexical_loop",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.325,
    "mean_b": 0.31666666666666665,
    "delta_a_minus_b": 0.008333333333333333,
    "ci_low": -0.1,
    "ci_high": 0.11666666666666667,
    "p_direction": 0.4752,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "semantic_loop",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.025,
    "mean_b": 0.09166666666666666,
    "delta_a_minus_b": -0.06666666666666667,
    "ci_low": -0.125,
    "ci_high": -0.008333333333333333,
    "p_direction": 0.0179,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "prompt_drift",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.075,
    "mean_b": 0.19166666666666668,
    "delta_a_minus_b": -0.11666666666666667,
    "ci_low": -0.18333333333333332,
    "ci_high": -0.05,
    "p_direction": 0.0002,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_core",
    "metric": "weak_progression",
    "model_a": "v2_calibrated_c5",
    "model_b": "core",
    "mean_a": 0.06666666666666667,
    "mean_b": 0.35833333333333334,
    "delta_a_minus_b": -0.2916666666666667,
    "ci_low": -0.39166666666666666,
    "ci_high": -0.19166666666666668,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "prompt_sim",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.4953933523967862,
    "mean_b": 0.419695561643069,
    "delta_a_minus_b": 0.07569779075371723,
    "ci_low": 0.04942825103295036,
    "ci_high": 0.10246047055271143,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "topic_drift",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.5046066476032138,
    "mean_b": 0.580304438356931,
    "delta_a_minus_b": -0.07569779075371723,
    "ci_low": -0.10292517608962953,
    "ci_high": -0.04924626664413761,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "rep_adj",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.0,
    "mean_b": 0.023875849190250813,
    "delta_a_minus_b": -0.023875849190250813,
    "ci_low": -0.04554280764029749,
    "ci_high": -0.006909313725490198,
    "p_direction": 0.0002,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "rep_pair",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.003630952380952381,
    "mean_b": 0.014127715262350151,
    "delta_a_minus_b": -0.01049676288139777,
    "ci_low": -0.025938013471672194,
    "ci_high": 0.0009135992519613183,
    "p_direction": 0.0412,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "progression_band",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.872714947089947,
    "mean_b": 0.667454491854213,
    "delta_a_minus_b": 0.20526045523573413,
    "ci_low": 0.15239755233990146,
    "ci_high": 0.256650521319639,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "lexical_loop_penalty",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.10273307336652525,
    "mean_b": 0.11296329904449201,
    "delta_a_minus_b": -0.01023022567796677,
    "ci_low": -0.06751814638009117,
    "ci_high": 0.044096100544658186,
    "p_direction": 0.3658,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "exact_lexical_loop",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.325,
    "mean_b": 0.3,
    "delta_a_minus_b": 0.025,
    "ci_low": -0.09166666666666666,
    "ci_high": 0.14166666666666666,
    "p_direction": 0.3551,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "semantic_loop",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.025,
    "mean_b": 0.06666666666666667,
    "delta_a_minus_b": -0.041666666666666664,
    "ci_low": -0.09166666666666666,
    "ci_high": 0.008333333333333333,
    "p_direction": 0.0606,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "prompt_drift",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.075,
    "mean_b": 0.20833333333333334,
    "delta_a_minus_b": -0.13333333333333333,
    "ci_low": -0.2,
    "ci_high": -0.06666666666666667,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "v2_calibrated_c5_minus_baseline",
    "metric": "weak_progression",
    "model_a": "v2_calibrated_c5",
    "model_b": "baseline",
    "mean_a": 0.06666666666666667,
    "mean_b": 0.375,
    "delta_a_minus_b": -0.30833333333333335,
    "ci_low": -0.4,
    "ci_high": -0.21666666666666667,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "prompt_sim",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.3558435012275974,
    "mean_b": 0.419695561643069,
    "delta_a_minus_b": -0.06385206041547159,
    "ci_low": -0.09164656913722866,
    "ci_high": -0.035541312434167305,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "topic_drift",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.6441564987724026,
    "mean_b": 0.580304438356931,
    "delta_a_minus_b": 0.06385206041547159,
    "ci_low": 0.035899566583878675,
    "ci_high": 0.09180333533945181,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "rep_adj",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.0,
    "mean_b": 0.023875849190250813,
    "delta_a_minus_b": -0.023875849190250813,
    "ci_low": -0.04550146495379761,
    "ci_high": -0.007170868347338936,
    "p_direction": 0.0003,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "rep_pair",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.0,
    "mean_b": 0.014127715262350151,
    "delta_a_minus_b": -0.014127715262350151,
    "ci_low": -0.029040374770597892,
    "ci_high": -0.003399180457623667,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "progression_band",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.4197420634920635,
    "mean_b": 0.667454491854213,
    "delta_a_minus_b": -0.2477124283621495,
    "ci_low": -0.32201206574583857,
    "ci_high": -0.17468596335804434,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "lexical_loop_penalty",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.0002543139730639731,
    "mean_b": 0.11296329904449201,
    "delta_a_minus_b": -0.11270898507142804,
    "ci_low": -0.16070996851914124,
    "ci_high": -0.07367638869322533,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "exact_lexical_loop",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.0,
    "mean_b": 0.3,
    "delta_a_minus_b": -0.3,
    "ci_low": -0.38333333333333336,
    "ci_high": -0.21666666666666667,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "semantic_loop",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.0,
    "mean_b": 0.06666666666666667,
    "delta_a_minus_b": -0.06666666666666667,
    "ci_low": -0.11666666666666667,
    "ci_high": -0.025,
    "p_direction": 0.0003,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "prompt_drift",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.24166666666666667,
    "mean_b": 0.20833333333333334,
    "delta_a_minus_b": 0.03333333333333333,
    "ci_low": -0.041666666666666664,
    "ci_high": 0.11666666666666667,
    "p_direction": 0.2279,
    "n_prompts": 120,
    "n_bootstrap": 10000
  },
  {
    "comparison": "baseline_rep_penalty_minus_baseline",
    "metric": "weak_progression",
    "model_a": "baseline_rep_penalty",
    "model_b": "baseline",
    "mean_a": 0.7083333333333334,
    "mean_b": 0.375,
    "delta_a_minus_b": 0.3333333333333333,
    "ci_low": 0.20833333333333334,
    "ci_high": 0.45,
    "p_direction": 0.0,
    "n_prompts": 120,
    "n_bootstrap": 10000
  }
]