| [ |
| { |
| "comparison": "v2_minus_core", |
| "metric": "prompt_sim", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.42742575221539786, |
| "mean_b": 0.417741510256504, |
| "delta_a_minus_b": 0.009684241958893836, |
| "ci_low": -0.014334722388302907, |
| "ci_high": 0.03340032646257895, |
| "p_direction": 0.2117, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "topic_drift", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.5725742477846022, |
| "mean_b": 0.582258489743496, |
| "delta_a_minus_b": -0.009684241958893836, |
| "ci_low": -0.033228457572404294, |
| "ci_high": 0.0140339194383705, |
| "p_direction": 0.2097, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "rep_adj", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.010224358974358975, |
| "mean_b": 0.024644795657726693, |
| "delta_a_minus_b": -0.014420436683367717, |
| "ci_low": -0.03675067694518125, |
| "ci_high": 0.005540412552804795, |
| "p_direction": 0.0807, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "rep_pair", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.008393365893365893, |
| "mean_b": 0.013133639987088263, |
| "delta_a_minus_b": -0.0047402740937223685, |
| "ci_low": -0.01998703914221155, |
| "ci_high": 0.008390627412179132, |
| "p_direction": 0.2712, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "progression_band", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.6360696479446479, |
| "mean_b": 0.6674425287356323, |
| "delta_a_minus_b": -0.03137288079098424, |
| "ci_low": -0.09394879469987227, |
| "ci_high": 0.0325977232976155, |
| "p_direction": 0.1646, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "lexical_loop_penalty", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.07701128526080024, |
| "mean_b": 0.11459236275146452, |
| "delta_a_minus_b": -0.037581077490664284, |
| "ci_low": -0.077373644597447, |
| "ci_high": 0.0005587195890821763, |
| "p_direction": 0.0271, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "exact_lexical_loop", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.2833333333333333, |
| "mean_b": 0.31666666666666665, |
| "delta_a_minus_b": -0.03333333333333333, |
| "ci_low": -0.14166666666666666, |
| "ci_high": 0.075, |
| "p_direction": 0.3033, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "semantic_loop", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.06666666666666667, |
| "mean_b": 0.09166666666666666, |
| "delta_a_minus_b": -0.025, |
| "ci_low": -0.09166666666666666, |
| "ci_high": 0.041666666666666664, |
| "p_direction": 0.2715, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "prompt_drift", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.16666666666666666, |
| "mean_b": 0.19166666666666668, |
| "delta_a_minus_b": -0.025, |
| "ci_low": -0.1, |
| "ci_high": 0.05, |
| "p_direction": 0.2912, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_minus_core", |
| "metric": "weak_progression", |
| "model_a": "v2", |
| "model_b": "core", |
| "mean_a": 0.4, |
| "mean_b": 0.35833333333333334, |
| "delta_a_minus_b": 0.041666666666666664, |
| "ci_low": -0.075, |
| "ci_high": 0.15833333333333333, |
| "p_direction": 0.2627, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "prompt_sim", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.4953933523967862, |
| "mean_b": 0.417741510256504, |
| "delta_a_minus_b": 0.07765184214028219, |
| "ci_low": 0.052679028646477194, |
| "ci_high": 0.10289676335446225, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "topic_drift", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.5046066476032138, |
| "mean_b": 0.582258489743496, |
| "delta_a_minus_b": -0.07765184214028219, |
| "ci_low": -0.10261079253124383, |
| "ci_high": -0.05282198344318506, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "rep_adj", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.0, |
| "mean_b": 0.024644795657726693, |
| "delta_a_minus_b": -0.024644795657726693, |
| "ci_low": -0.04381924489144317, |
| "ci_high": -0.009019416507024272, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "rep_pair", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.003630952380952381, |
| "mean_b": 0.013133639987088263, |
| "delta_a_minus_b": -0.00950268760613588, |
| "ci_low": -0.023706889534475736, |
| "ci_high": 0.0017172961138478369, |
| "p_direction": 0.0538, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "progression_band", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.872714947089947, |
| "mean_b": 0.6674425287356323, |
| "delta_a_minus_b": 0.20527241835431492, |
| "ci_low": 0.14412666769293928, |
| "ci_high": 0.26460901010308346, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "lexical_loop_penalty", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.10273307336652525, |
| "mean_b": 0.11459236275146452, |
| "delta_a_minus_b": -0.011859289384939289, |
| "ci_low": -0.06206824574604235, |
| "ci_high": 0.03688690511192931, |
| "p_direction": 0.325, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "exact_lexical_loop", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.325, |
| "mean_b": 0.31666666666666665, |
| "delta_a_minus_b": 0.008333333333333333, |
| "ci_low": -0.1, |
| "ci_high": 0.11666666666666667, |
| "p_direction": 0.4752, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "semantic_loop", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.025, |
| "mean_b": 0.09166666666666666, |
| "delta_a_minus_b": -0.06666666666666667, |
| "ci_low": -0.125, |
| "ci_high": -0.008333333333333333, |
| "p_direction": 0.0179, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "prompt_drift", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.075, |
| "mean_b": 0.19166666666666668, |
| "delta_a_minus_b": -0.11666666666666667, |
| "ci_low": -0.18333333333333332, |
| "ci_high": -0.05, |
| "p_direction": 0.0002, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_core", |
| "metric": "weak_progression", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "core", |
| "mean_a": 0.06666666666666667, |
| "mean_b": 0.35833333333333334, |
| "delta_a_minus_b": -0.2916666666666667, |
| "ci_low": -0.39166666666666666, |
| "ci_high": -0.19166666666666668, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "prompt_sim", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.4953933523967862, |
| "mean_b": 0.419695561643069, |
| "delta_a_minus_b": 0.07569779075371723, |
| "ci_low": 0.04942825103295036, |
| "ci_high": 0.10246047055271143, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "topic_drift", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.5046066476032138, |
| "mean_b": 0.580304438356931, |
| "delta_a_minus_b": -0.07569779075371723, |
| "ci_low": -0.10292517608962953, |
| "ci_high": -0.04924626664413761, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "rep_adj", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.0, |
| "mean_b": 0.023875849190250813, |
| "delta_a_minus_b": -0.023875849190250813, |
| "ci_low": -0.04554280764029749, |
| "ci_high": -0.006909313725490198, |
| "p_direction": 0.0002, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "rep_pair", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.003630952380952381, |
| "mean_b": 0.014127715262350151, |
| "delta_a_minus_b": -0.01049676288139777, |
| "ci_low": -0.025938013471672194, |
| "ci_high": 0.0009135992519613183, |
| "p_direction": 0.0412, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "progression_band", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.872714947089947, |
| "mean_b": 0.667454491854213, |
| "delta_a_minus_b": 0.20526045523573413, |
| "ci_low": 0.15239755233990146, |
| "ci_high": 0.256650521319639, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "lexical_loop_penalty", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.10273307336652525, |
| "mean_b": 0.11296329904449201, |
| "delta_a_minus_b": -0.01023022567796677, |
| "ci_low": -0.06751814638009117, |
| "ci_high": 0.044096100544658186, |
| "p_direction": 0.3658, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "exact_lexical_loop", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.325, |
| "mean_b": 0.3, |
| "delta_a_minus_b": 0.025, |
| "ci_low": -0.09166666666666666, |
| "ci_high": 0.14166666666666666, |
| "p_direction": 0.3551, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "semantic_loop", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.025, |
| "mean_b": 0.06666666666666667, |
| "delta_a_minus_b": -0.041666666666666664, |
| "ci_low": -0.09166666666666666, |
| "ci_high": 0.008333333333333333, |
| "p_direction": 0.0606, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "prompt_drift", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.075, |
| "mean_b": 0.20833333333333334, |
| "delta_a_minus_b": -0.13333333333333333, |
| "ci_low": -0.2, |
| "ci_high": -0.06666666666666667, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "v2_calibrated_c5_minus_baseline", |
| "metric": "weak_progression", |
| "model_a": "v2_calibrated_c5", |
| "model_b": "baseline", |
| "mean_a": 0.06666666666666667, |
| "mean_b": 0.375, |
| "delta_a_minus_b": -0.30833333333333335, |
| "ci_low": -0.4, |
| "ci_high": -0.21666666666666667, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "prompt_sim", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.3558435012275974, |
| "mean_b": 0.419695561643069, |
| "delta_a_minus_b": -0.06385206041547159, |
| "ci_low": -0.09164656913722866, |
| "ci_high": -0.035541312434167305, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "topic_drift", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.6441564987724026, |
| "mean_b": 0.580304438356931, |
| "delta_a_minus_b": 0.06385206041547159, |
| "ci_low": 0.035899566583878675, |
| "ci_high": 0.09180333533945181, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "rep_adj", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.0, |
| "mean_b": 0.023875849190250813, |
| "delta_a_minus_b": -0.023875849190250813, |
| "ci_low": -0.04550146495379761, |
| "ci_high": -0.007170868347338936, |
| "p_direction": 0.0003, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "rep_pair", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.0, |
| "mean_b": 0.014127715262350151, |
| "delta_a_minus_b": -0.014127715262350151, |
| "ci_low": -0.029040374770597892, |
| "ci_high": -0.003399180457623667, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "progression_band", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.4197420634920635, |
| "mean_b": 0.667454491854213, |
| "delta_a_minus_b": -0.2477124283621495, |
| "ci_low": -0.32201206574583857, |
| "ci_high": -0.17468596335804434, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "lexical_loop_penalty", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.0002543139730639731, |
| "mean_b": 0.11296329904449201, |
| "delta_a_minus_b": -0.11270898507142804, |
| "ci_low": -0.16070996851914124, |
| "ci_high": -0.07367638869322533, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "exact_lexical_loop", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.0, |
| "mean_b": 0.3, |
| "delta_a_minus_b": -0.3, |
| "ci_low": -0.38333333333333336, |
| "ci_high": -0.21666666666666667, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "semantic_loop", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.0, |
| "mean_b": 0.06666666666666667, |
| "delta_a_minus_b": -0.06666666666666667, |
| "ci_low": -0.11666666666666667, |
| "ci_high": -0.025, |
| "p_direction": 0.0003, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "prompt_drift", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.24166666666666667, |
| "mean_b": 0.20833333333333334, |
| "delta_a_minus_b": 0.03333333333333333, |
| "ci_low": -0.041666666666666664, |
| "ci_high": 0.11666666666666667, |
| "p_direction": 0.2279, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| }, |
| { |
| "comparison": "baseline_rep_penalty_minus_baseline", |
| "metric": "weak_progression", |
| "model_a": "baseline_rep_penalty", |
| "model_b": "baseline", |
| "mean_a": 0.7083333333333334, |
| "mean_b": 0.375, |
| "delta_a_minus_b": 0.3333333333333333, |
| "ci_low": 0.20833333333333334, |
| "ci_high": 0.45, |
| "p_direction": 0.0, |
| "n_prompts": 120, |
| "n_bootstrap": 10000 |
| } |
| ] |
