Spaces:
Running
Running
| { | |
| "cells": [ | |
| { | |
| "mean": 0.8916666666666667, | |
| "metric": "argument_exact_match", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.8333333333333334, | |
| "metric": "correct_decline_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 30, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "json_parse_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 500, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.7733333333333332, | |
| "metric": "schema_compliance", | |
| "model": "gemma2_2b", | |
| "n_prompts": 350, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.9666666666666667, | |
| "metric": "tool_selection_acc", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.9, | |
| "metric": "argument_exact_match", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.4, | |
| "metric": "correct_decline_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9973333333333334, | |
| "metric": "json_parse_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.6590476190476191, | |
| "metric": "schema_compliance", | |
| "model": "gemma2_2b", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9916666666666667, | |
| "metric": "tool_selection_acc", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.8916666666666667, | |
| "metric": "argument_exact_match", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.8444444444444446, | |
| "metric": "correct_decline_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.998, | |
| "metric": "json_parse_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.7295238095238095, | |
| "metric": "schema_compliance", | |
| "model": "gemma2_2b", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.975, | |
| "metric": "tool_selection_acc", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.8916666666666667, | |
| "metric": "argument_exact_match", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.8666666666666667, | |
| "metric": "correct_decline_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 30, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "json_parse_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 500, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.7733333333333332, | |
| "metric": "schema_compliance", | |
| "model": "gemma2_2b", | |
| "n_prompts": 350, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.9666666666666667, | |
| "metric": "tool_selection_acc", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.7333333333333333, | |
| "metric": "argument_exact_match", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "correct_decline_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 30, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.906, | |
| "metric": "json_parse_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 500, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.2666666666666667, | |
| "metric": "schema_compliance", | |
| "model": "llama32_3b", | |
| "n_prompts": 350, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.975, | |
| "metric": "tool_selection_acc", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.6944444444444444, | |
| "metric": "argument_exact_match", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9111111111111111, | |
| "metric": "correct_decline_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9186666666666667, | |
| "metric": "json_parse_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.35142857142857137, | |
| "metric": "schema_compliance", | |
| "model": "llama32_3b", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "tool_selection_acc", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.8388888888888888, | |
| "metric": "argument_exact_match", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9666666666666667, | |
| "metric": "correct_decline_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9293333333333332, | |
| "metric": "json_parse_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.2857142857142857, | |
| "metric": "schema_compliance", | |
| "model": "llama32_3b", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9916666666666667, | |
| "metric": "tool_selection_acc", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.7083333333333334, | |
| "metric": "argument_exact_match", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "correct_decline_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 30, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.9073333333333332, | |
| "metric": "json_parse_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 500, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.2638095238095238, | |
| "metric": "schema_compliance", | |
| "model": "llama32_3b", | |
| "n_prompts": 350, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.9666666666666667, | |
| "metric": "tool_selection_acc", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.9861111111111112, | |
| "metric": "argument_exact_match", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.8888888888888888, | |
| "metric": "correct_decline_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 30, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "json_parse_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 500, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.7666666666666666, | |
| "metric": "schema_compliance", | |
| "model": "phi35_mini", | |
| "n_prompts": 350, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "tool_selection_acc", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.925, | |
| "metric": "argument_exact_match", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.5, | |
| "metric": "correct_decline_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9873333333333333, | |
| "metric": "json_parse_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.7266666666666667, | |
| "metric": "schema_compliance", | |
| "model": "phi35_mini", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9833333333333333, | |
| "metric": "tool_selection_acc", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9666666666666667, | |
| "metric": "argument_exact_match", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.7666666666666667, | |
| "metric": "correct_decline_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "json_parse_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.7647619047619046, | |
| "metric": "schema_compliance", | |
| "model": "phi35_mini", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "tool_selection_acc", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9916666666666667, | |
| "metric": "argument_exact_match", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.8666666666666667, | |
| "metric": "correct_decline_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 30, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "json_parse_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 500, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.7609523809523809, | |
| "metric": "schema_compliance", | |
| "model": "phi35_mini", | |
| "n_prompts": 350, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "tool_selection_acc", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.9083333333333333, | |
| "metric": "argument_exact_match", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "correct_decline_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 30, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "json_parse_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 500, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.8352380952380952, | |
| "metric": "schema_compliance", | |
| "model": "qwen25_3b", | |
| "n_prompts": 350, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.9583333333333334, | |
| "metric": "tool_selection_acc", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.8916666666666667, | |
| "metric": "argument_exact_match", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "correct_decline_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9966666666666667, | |
| "metric": "json_parse_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.6495238095238095, | |
| "metric": "schema_compliance", | |
| "model": "qwen25_3b", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "tool_selection_acc", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.8944444444444444, | |
| "metric": "argument_exact_match", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "correct_decline_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "json_parse_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.8114285714285714, | |
| "metric": "schema_compliance", | |
| "model": "qwen25_3b", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9277777777777777, | |
| "metric": "tool_selection_acc", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9111111111111111, | |
| "metric": "argument_exact_match", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "correct_decline_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 30, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "json_parse_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 500, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.8371428571428572, | |
| "metric": "schema_compliance", | |
| "model": "qwen25_3b", | |
| "n_prompts": 350, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.961111111111111, | |
| "metric": "tool_selection_acc", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.9, | |
| "metric": "argument_exact_match", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 30, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.986, | |
| "metric": "json_parse_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 500, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.33714285714285713, | |
| "metric": "schema_compliance", | |
| "model": "smollm2_17b", | |
| "n_prompts": 350, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "tool_selection_acc", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "FP16" | |
| }, | |
| { | |
| "mean": 0.9194444444444445, | |
| "metric": "argument_exact_match", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9846666666666666, | |
| "metric": "json_parse_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.2876190476190476, | |
| "metric": "schema_compliance", | |
| "model": "smollm2_17b", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9916666666666667, | |
| "metric": "tool_selection_acc", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M" | |
| }, | |
| { | |
| "mean": 0.9416666666666667, | |
| "metric": "argument_exact_match", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9833333333333333, | |
| "metric": "json_parse_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.3076190476190476, | |
| "metric": "schema_compliance", | |
| "model": "smollm2_17b", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9944444444444446, | |
| "metric": "tool_selection_acc", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M" | |
| }, | |
| { | |
| "mean": 0.9, | |
| "metric": "argument_exact_match", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 30, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.9933333333333333, | |
| "metric": "json_parse_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 500, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 0.33619047619047615, | |
| "metric": "schema_compliance", | |
| "model": "smollm2_17b", | |
| "n_prompts": 350, | |
| "quant": "Q8_0" | |
| }, | |
| { | |
| "mean": 1.0, | |
| "metric": "tool_selection_acc", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0" | |
| } | |
| ], | |
| "deltas": [ | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.041666666666666664, | |
| "ci_lo": -0.025, | |
| "delta": 0.008333333333333333, | |
| "metric": "argument_exact_match", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.025, | |
| "ci_lo": -0.025, | |
| "delta": 0.0, | |
| "metric": "argument_exact_match", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "argument_exact_match", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.26666666666666666, | |
| "ci_lo": -0.6, | |
| "delta": -0.43333333333333335, | |
| "metric": "correct_decline_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.1, | |
| "ci_lo": -0.06666666666666667, | |
| "delta": 0.011111111111111108, | |
| "metric": "correct_decline_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.1, | |
| "ci_lo": 0.0, | |
| "delta": 0.03333333333333333, | |
| "metric": "correct_decline_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 30, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.008, | |
| "delta": -0.002666666666666667, | |
| "metric": "json_parse_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.006, | |
| "delta": -0.002, | |
| "metric": "json_parse_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "json_parse_rate", | |
| "model": "gemma2_2b", | |
| "n_prompts": 500, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.06380952380952382, | |
| "ci_lo": -0.16476190476190478, | |
| "delta": -0.11428571428571428, | |
| "metric": "schema_compliance", | |
| "model": "gemma2_2b", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -7.58123722529796e-18, | |
| "ci_lo": -0.08761904761904761, | |
| "delta": -0.04380952380952381, | |
| "metric": "schema_compliance", | |
| "model": "gemma2_2b", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.01619047619047619, | |
| "ci_lo": -0.016190476190476193, | |
| "delta": -1.2688263138573218e-18, | |
| "metric": "schema_compliance", | |
| "model": "gemma2_2b", | |
| "n_prompts": 350, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.058333333333333334, | |
| "ci_lo": 0.0, | |
| "delta": 0.025, | |
| "metric": "tool_selection_acc", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.025, | |
| "ci_lo": 0.0, | |
| "delta": 0.008333333333333333, | |
| "metric": "tool_selection_acc", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "tool_selection_acc", | |
| "model": "gemma2_2b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.013888888888888888, | |
| "ci_lo": -0.09166666666666666, | |
| "delta": -0.03888888888888889, | |
| "metric": "argument_exact_match", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.16666666666666666, | |
| "ci_lo": 0.05, | |
| "delta": 0.10555555555555556, | |
| "metric": "argument_exact_match", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.058333333333333334, | |
| "delta": -0.025, | |
| "metric": "argument_exact_match", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.2, | |
| "delta": -0.08888888888888889, | |
| "metric": "correct_decline_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.1, | |
| "delta": -0.03333333333333333, | |
| "metric": "correct_decline_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 30, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.026, | |
| "ci_lo": 0.0, | |
| "delta": 0.012666666666666666, | |
| "metric": "json_parse_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.03733333333333333, | |
| "ci_lo": 0.010666666666666666, | |
| "delta": 0.02333333333333333, | |
| "metric": "json_parse_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.006666666666666666, | |
| "ci_lo": -0.002666666666666668, | |
| "delta": 0.001333333333333333, | |
| "metric": "json_parse_rate", | |
| "model": "llama32_3b", | |
| "n_prompts": 500, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.13238095238095238, | |
| "ci_lo": 0.03809523809523809, | |
| "delta": 0.08476190476190476, | |
| "metric": "schema_compliance", | |
| "model": "llama32_3b", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.05333333333333333, | |
| "ci_lo": -0.016190476190476196, | |
| "delta": 0.01904761904761905, | |
| "metric": "schema_compliance", | |
| "model": "llama32_3b", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.01238095238095238, | |
| "ci_lo": -0.018095238095238098, | |
| "delta": -0.0028571428571428584, | |
| "metric": "schema_compliance", | |
| "model": "llama32_3b", | |
| "n_prompts": 350, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.058333333333333334, | |
| "ci_lo": 0.0, | |
| "delta": 0.025, | |
| "metric": "tool_selection_acc", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.041666666666666664, | |
| "ci_lo": 0.0, | |
| "delta": 0.016666666666666666, | |
| "metric": "tool_selection_acc", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.025, | |
| "delta": -0.008333333333333333, | |
| "metric": "tool_selection_acc", | |
| "model": "llama32_3b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.022222222222222223, | |
| "ci_lo": -0.10833333333333334, | |
| "delta": -0.061111111111111116, | |
| "metric": "argument_exact_match", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.047222222222222214, | |
| "delta": -0.019444444444444445, | |
| "metric": "argument_exact_match", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.016666666666666666, | |
| "ci_lo": 0.0, | |
| "delta": 0.005555555555555556, | |
| "metric": "argument_exact_match", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.2222222222222222, | |
| "ci_lo": -0.5558333333333331, | |
| "delta": -0.3888888888888889, | |
| "metric": "correct_decline_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.02222222222222222, | |
| "ci_lo": -0.24444444444444444, | |
| "delta": -0.12222222222222222, | |
| "metric": "correct_decline_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.06666666666666667, | |
| "delta": -0.02222222222222222, | |
| "metric": "correct_decline_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 30, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.004, | |
| "ci_lo": -0.023333333333333334, | |
| "delta": -0.012666666666666668, | |
| "metric": "json_parse_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "json_parse_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "json_parse_rate", | |
| "model": "phi35_mini", | |
| "n_prompts": 500, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.004761904761904758, | |
| "ci_lo": -0.08666666666666667, | |
| "delta": -0.04000000000000001, | |
| "metric": "schema_compliance", | |
| "model": "phi35_mini", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.02952380952380952, | |
| "ci_lo": -0.03333333333333334, | |
| "delta": -0.0019047619047619082, | |
| "metric": "schema_compliance", | |
| "model": "phi35_mini", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.008571428571428572, | |
| "ci_lo": -0.020952380952380955, | |
| "delta": -0.005714285714285714, | |
| "metric": "schema_compliance", | |
| "model": "phi35_mini", | |
| "n_prompts": 350, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.041666666666666664, | |
| "delta": -0.016666666666666666, | |
| "metric": "tool_selection_acc", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "tool_selection_acc", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "tool_selection_acc", | |
| "model": "phi35_mini", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.041666666666666664, | |
| "ci_lo": -0.075, | |
| "delta": -0.016666666666666666, | |
| "metric": "argument_exact_match", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.025, | |
| "ci_lo": -0.052777777777777785, | |
| "delta": -0.01388888888888889, | |
| "metric": "argument_exact_match", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.03055555555555555, | |
| "ci_lo": -0.022222222222222223, | |
| "delta": 0.002777777777777777, | |
| "metric": "argument_exact_match", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 30, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.008666666666666668, | |
| "delta": -0.0033333333333333335, | |
| "metric": "json_parse_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "json_parse_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "json_parse_rate", | |
| "model": "qwen25_3b", | |
| "n_prompts": 500, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.13238095238095238, | |
| "ci_lo": -0.23904761904761906, | |
| "delta": -0.18571428571428572, | |
| "metric": "schema_compliance", | |
| "model": "qwen25_3b", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.010476190476190474, | |
| "ci_lo": -0.05904761904761904, | |
| "delta": -0.02380952380952381, | |
| "metric": "schema_compliance", | |
| "model": "qwen25_3b", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.022857142857142857, | |
| "ci_lo": -0.02, | |
| "delta": 0.0019047619047619043, | |
| "metric": "schema_compliance", | |
| "model": "qwen25_3b", | |
| "n_prompts": 350, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.08333333333333333, | |
| "ci_lo": 0.008333333333333333, | |
| "delta": 0.041666666666666664, | |
| "metric": "tool_selection_acc", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.005555555555555556, | |
| "ci_lo": -0.0638888888888889, | |
| "delta": -0.030555555555555558, | |
| "metric": "tool_selection_acc", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.016666666666666666, | |
| "ci_lo": -0.008333333333333333, | |
| "delta": 0.002777777777777777, | |
| "metric": "tool_selection_acc", | |
| "model": "qwen25_3b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.05277777777777777, | |
| "ci_lo": -0.011111111111111112, | |
| "delta": 0.01944444444444444, | |
| "metric": "argument_exact_match", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.08333333333333333, | |
| "ci_lo": 0.005555555555555554, | |
| "delta": 0.041666666666666664, | |
| "metric": "argument_exact_match", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "argument_exact_match", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 30, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 30, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "correct_decline_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 30, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.013333333333333332, | |
| "ci_lo": -0.016, | |
| "delta": -0.0013333333333333348, | |
| "metric": "json_parse_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 500, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.010666666666666665, | |
| "ci_lo": -0.016, | |
| "delta": -0.0026666666666666674, | |
| "metric": "json_parse_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 500, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.018666666666666665, | |
| "ci_lo": -0.002666666666666667, | |
| "delta": 0.007333333333333333, | |
| "metric": "json_parse_rate", | |
| "model": "smollm2_17b", | |
| "n_prompts": 500, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": -0.004761904761904762, | |
| "ci_lo": -0.09523809523809525, | |
| "delta": -0.04952380952380953, | |
| "metric": "schema_compliance", | |
| "model": "smollm2_17b", | |
| "n_prompts": 350, | |
| "quant": "Q3_K_M", | |
| "significant": true | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.00476190476190476, | |
| "ci_lo": -0.06380952380952382, | |
| "delta": -0.029523809523809525, | |
| "metric": "schema_compliance", | |
| "model": "smollm2_17b", | |
| "n_prompts": 350, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.020952380952380948, | |
| "ci_lo": -0.02190476190476191, | |
| "delta": -0.0009523809523809541, | |
| "metric": "schema_compliance", | |
| "model": "smollm2_17b", | |
| "n_prompts": 350, | |
| "quant": "Q8_0", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.025, | |
| "delta": -0.008333333333333333, | |
| "metric": "tool_selection_acc", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q3_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": -0.016666666666666666, | |
| "delta": -0.005555555555555556, | |
| "metric": "tool_selection_acc", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q4_K_M", | |
| "significant": false | |
| }, | |
| { | |
| "baseline": "FP16", | |
| "ci_hi": 0.0, | |
| "ci_lo": 0.0, | |
| "delta": 0.0, | |
| "metric": "tool_selection_acc", | |
| "model": "smollm2_17b", | |
| "n_prompts": 120, | |
| "quant": "Q8_0", | |
| "significant": false | |
| } | |
| ], | |
| "meta": { | |
| "baseline": "FP16", | |
| "bootstrap_seed": 12345, | |
| "generated_at": "2026-07-04T07:43:41.035511+00:00", | |
| "n_boot": 10000, | |
| "pipeline_version": 1 | |
| } | |
| } |