{
  "table": [
    {
      "model": "nace-ai/drex-max",
      "seconds": 0.5262559164548293,
      "cost_per_1k": 0.010185272727272727,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9866666666666667,
        "macro_f1": 0.9867300455535749,
        "recall": {
          "valid": 0.98,
          "invalid": 1.0,
          "unknown": 0.98
        },
        "false_safe": 0,
        "invalid": 50,
        "false_stop": 2,
        "interval": [
          0.9666666666666667,
          1.0
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9666666666666667,
        "macro_f1": 0.9663651780667042,
        "recall": {
          "valid": 0.9166666666666666,
          "invalid": 0.9833333333333333,
          "unknown": 1.0
        },
        "false_safe": 1,
        "invalid": 60,
        "false_stop": 3,
        "interval": [
          0.9333333333333333,
          0.9944444444444445
        ]
      },
      "stress_by_kind": {
        "weekday": 1.0,
        "either_or": 0.9722222222222222,
        "until_while": 0.9444444444444444,
        "numbers": 0.9444444444444444,
        "conjunction": 1.0,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 1.0,
        "source": 1.0,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "baseten/mammoth-1",
      "seconds": 0.29967600002419204,
      "cost_per_1k": 0.017375454545454545,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9733333333333334,
        "macro_f1": 0.9731020432140302,
        "recall": {
          "valid": 1.0,
          "invalid": 1.0,
          "unknown": 0.92
        },
        "false_safe": 0,
        "invalid": 50,
        "false_stop": 3,
        "interval": [
          0.9466666666666667,
          0.9933333333333333
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9666666666666667,
        "macro_f1": 0.9666484417714599,
        "recall": {
          "valid": 0.95,
          "invalid": 1.0,
          "unknown": 0.95
        },
        "false_safe": 0,
        "invalid": 60,
        "false_stop": 4,
        "interval": [
          0.9388888888888889,
          0.9888888888888889
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9722222222222222,
        "either_or": 0.9722222222222222,
        "until_while": 0.9444444444444444,
        "numbers": 1.0,
        "conjunction": 0.9166666666666666,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 1.0,
        "source": 1.0,
        "unrelated": 0.8333333333333334
      }
    },
    {
      "model": "perplexity/pplx-decider-v1.2",
      "seconds": 0.2852161875925958,
      "cost_per_1k": 0.0033350909090909095,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9666666666666667,
        "macro_f1": 0.9665831244778613,
        "recall": {
          "valid": 1.0,
          "invalid": 1.0,
          "unknown": 0.9
        },
        "false_safe": 0,
        "invalid": 50,
        "false_stop": 5,
        "interval": [
          0.9398333333333333,
          0.9933333333333333
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.95,
        "macro_f1": 0.9498928688190172,
        "recall": {
          "valid": 0.9333333333333333,
          "invalid": 0.9833333333333333,
          "unknown": 0.9333333333333333
        },
        "false_safe": 1,
        "invalid": 60,
        "false_stop": 4,
        "interval": [
          0.9166666666666666,
          0.9777777777777777
        ]
      },
      "stress_by_kind": {
        "weekday": 1.0,
        "either_or": 0.9444444444444444,
        "until_while": 0.8888888888888888,
        "numbers": 1.0,
        "conjunction": 0.9166666666666666,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 1.0,
        "source": 1.0,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "microsoft/microsoft-decision-1",
      "seconds": 0.334794812486507,
      "cost_per_1k": 0.0047360727272727264,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9733333333333334,
        "macro_f1": 0.9733875309464768,
        "recall": {
          "valid": 0.96,
          "invalid": 1.0,
          "unknown": 0.96
        },
        "false_safe": 0,
        "invalid": 50,
        "false_stop": 3,
        "interval": [
          0.9466666666666667,
          0.9933333333333333
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9388888888888889,
        "macro_f1": 0.9381159420289856,
        "recall": {
          "valid": 0.8666666666666667,
          "invalid": 0.95,
          "unknown": 1.0
        },
        "false_safe": 3,
        "invalid": 60,
        "false_stop": 3,
        "interval": [
          0.8944444444444445,
          0.9723611111111116
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9166666666666666,
        "either_or": 1.0,
        "until_while": 0.9444444444444444,
        "numbers": 0.8888888888888888,
        "conjunction": 1.0,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 1.0,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "liquid/d1-ultra",
      "seconds": 0.3077511665178463,
      "cost_per_1k": 0.005164345454545455,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.96,
        "macro_f1": 0.9598554797270173,
        "recall": {
          "valid": 1.0,
          "invalid": 1.0,
          "unknown": 0.88
        },
        "false_safe": 0,
        "invalid": 50,
        "false_stop": 6,
        "interval": [
          0.9266666666666666,
          0.9866666666666667
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9222222222222223,
        "macro_f1": 0.92250790145527,
        "recall": {
          "valid": 0.95,
          "invalid": 1.0,
          "unknown": 0.8166666666666667
        },
        "false_safe": 0,
        "invalid": 60,
        "false_stop": 13,
        "interval": [
          0.8833333333333333,
          0.9555555555555556
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9166666666666666,
        "either_or": 0.8888888888888888,
        "until_while": 0.8888888888888888,
        "numbers": 1.0,
        "conjunction": 0.75,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 1.0,
        "source": 1.0,
        "unrelated": 1.0
      }
    },
    {
      "model": "cloudflare/clef",
      "seconds": 0.3500548335723579,
      "cost_per_1k": 0.04747432727272727,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.94,
        "macro_f1": 0.9395157734396923,
        "recall": {
          "valid": 1.0,
          "invalid": 0.94,
          "unknown": 0.88
        },
        "false_safe": 2,
        "invalid": 50,
        "false_stop": 4,
        "interval": [
          0.9,
          0.9733333333333334
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9333333333333333,
        "macro_f1": 0.9335852295996254,
        "recall": {
          "valid": 0.9333333333333333,
          "invalid": 0.95,
          "unknown": 0.9166666666666666
        },
        "false_safe": 3,
        "invalid": 60,
        "false_stop": 2,
        "interval": [
          0.8888888888888888,
          0.9722222222222222
        ]
      },
      "stress_by_kind": {
        "weekday": 1.0,
        "either_or": 0.9166666666666666,
        "until_while": 0.8888888888888888,
        "numbers": 0.9444444444444444,
        "conjunction": 1.0,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 1.0,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "respan/span-02",
      "seconds": 0.35821633331943303,
      "cost_per_1k": 0.0018272121212121214,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9333333333333333,
        "macro_f1": 0.9319902319902319,
        "recall": {
          "valid": 1.0,
          "invalid": 0.98,
          "unknown": 0.82
        },
        "false_safe": 1,
        "invalid": 50,
        "false_stop": 6,
        "interval": [
          0.8933333333333333,
          0.9666666666666667
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9277777777777778,
        "macro_f1": 0.9275925994787841,
        "recall": {
          "valid": 0.9666666666666667,
          "invalid": 0.9666666666666667,
          "unknown": 0.85
        },
        "false_safe": 2,
        "invalid": 60,
        "false_stop": 3,
        "interval": [
          0.8833333333333333,
          0.9666666666666667
        ]
      },
      "stress_by_kind": {
        "weekday": 1.0,
        "either_or": 0.9444444444444444,
        "until_while": 0.8055555555555556,
        "numbers": 1.0,
        "conjunction": 0.9166666666666666,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 1.0,
        "unrelated": 0.8333333333333334
      }
    },
    {
      "model": "openai/gpt-6-luna-decisions",
      "seconds": 0.4417982914019376,
      "cost_per_1k": 0.01913,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9133333333333333,
        "macro_f1": 0.9129327044696159,
        "recall": {
          "valid": 0.96,
          "invalid": 0.96,
          "unknown": 0.82
        },
        "false_safe": 2,
        "invalid": 50,
        "false_stop": 8,
        "interval": [
          0.8666666666666667,
          0.9533333333333334
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9,
        "macro_f1": 0.8999669229653272,
        "recall": {
          "valid": 0.95,
          "invalid": 0.9,
          "unknown": 0.85
        },
        "false_safe": 6,
        "invalid": 60,
        "false_stop": 8,
        "interval": [
          0.8555555555555555,
          0.9388888888888889
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9444444444444444,
        "either_or": 0.9166666666666666,
        "until_while": 0.8888888888888888,
        "numbers": 0.8888888888888888,
        "conjunction": 0.75,
        "entity_scope": 1.0,
        "time_scope": 0.8888888888888888,
        "negation": 0.8888888888888888,
        "source": 1.0,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "inception/mercury-decide",
      "seconds": 0.3358184579992667,
      "cost_per_1k": 0.0030656363636363637,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.94,
        "macro_f1": 0.9393213123368023,
        "recall": {
          "valid": 1.0,
          "invalid": 0.98,
          "unknown": 0.84
        },
        "false_safe": 1,
        "invalid": 50,
        "false_stop": 7,
        "interval": [
          0.9,
          0.9733333333333334
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8722222222222222,
        "macro_f1": 0.8711668847156465,
        "recall": {
          "valid": 0.8833333333333333,
          "invalid": 0.9833333333333333,
          "unknown": 0.75
        },
        "false_safe": 1,
        "invalid": 60,
        "false_stop": 16,
        "interval": [
          0.8166666666666667,
          0.9222222222222223
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9722222222222222,
        "either_or": 0.8333333333333334,
        "until_while": 0.8611111111111112,
        "numbers": 0.9444444444444444,
        "conjunction": 0.6666666666666666,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 0.8333333333333334,
        "unrelated": 0.5
      }
    },
    {
      "model": "scaledown/classify-1",
      "seconds": 0.35615362552925944,
      "cost_per_1k": 0.014190181818181819,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8866666666666667,
        "macro_f1": 0.8857125932627349,
        "recall": {
          "valid": 1.0,
          "invalid": 0.88,
          "unknown": 0.78
        },
        "false_safe": 6,
        "invalid": 50,
        "false_stop": 10,
        "interval": [
          0.84,
          0.9333333333333333
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9222222222222223,
        "macro_f1": 0.9219122013030537,
        "recall": {
          "valid": 0.9666666666666667,
          "invalid": 0.9333333333333333,
          "unknown": 0.8666666666666667
        },
        "false_safe": 3,
        "invalid": 60,
        "false_stop": 7,
        "interval": [
          0.8833333333333333,
          0.9611111111111111
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9722222222222222,
        "either_or": 0.8888888888888888,
        "until_while": 0.9722222222222222,
        "numbers": 0.8888888888888888,
        "conjunction": 0.9166666666666666,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 0.8333333333333334,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "baseten/elephant-1",
      "seconds": 0.2568398540606722,
      "cost_per_1k": 0.0060814090909090904,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9133333333333333,
        "macro_f1": 0.9128540305010894,
        "recall": {
          "valid": 0.98,
          "invalid": 0.96,
          "unknown": 0.8
        },
        "false_safe": 2,
        "invalid": 50,
        "false_stop": 10,
        "interval": [
          0.8666666666666667,
          0.96
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8944444444444445,
        "macro_f1": 0.894161881053234,
        "recall": {
          "valid": 0.8333333333333334,
          "invalid": 0.9666666666666667,
          "unknown": 0.8833333333333333
        },
        "false_safe": 2,
        "invalid": 60,
        "false_stop": 11,
        "interval": [
          0.8444444444444444,
          0.9388888888888889
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9444444444444444,
        "either_or": 0.8333333333333334,
        "until_while": 0.9166666666666666,
        "numbers": 1.0,
        "conjunction": 0.8333333333333334,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.6666666666666666,
        "source": 1.0,
        "unrelated": 0.5
      }
    },
    {
      "model": "upstage/solar-decide",
      "seconds": 0.7993269795551896,
      "cost_per_1k": 0.021084545454545457,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9133333333333333,
        "macro_f1": 0.9120557232262261,
        "recall": {
          "valid": 1.0,
          "invalid": 0.96,
          "unknown": 0.78
        },
        "false_safe": 2,
        "invalid": 50,
        "false_stop": 10,
        "interval": [
          0.8666666666666667,
          0.9533333333333334
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8944444444444445,
        "macro_f1": 0.8945243687610099,
        "recall": {
          "valid": 0.9,
          "invalid": 0.9666666666666667,
          "unknown": 0.8166666666666667
        },
        "false_safe": 2,
        "invalid": 60,
        "false_stop": 13,
        "interval": [
          0.85,
          0.9333333333333333
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9444444444444444,
        "either_or": 0.8611111111111112,
        "until_while": 0.8888888888888888,
        "numbers": 1.0,
        "conjunction": 0.75,
        "entity_scope": 1.0,
        "time_scope": 0.7777777777777778,
        "negation": 0.8888888888888888,
        "source": 0.8333333333333334,
        "unrelated": 0.8333333333333334
      }
    },
    {
      "model": "liquid/d1.1",
      "seconds": 0.25464525003917515,
      "cost_per_1k": 0.002459212121212121,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9066666666666666,
        "macro_f1": 0.9037319143298265,
        "recall": {
          "valid": 1.0,
          "invalid": 0.98,
          "unknown": 0.74
        },
        "false_safe": 1,
        "invalid": 50,
        "false_stop": 10,
        "interval": [
          0.86,
          0.9466666666666667
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8833333333333333,
        "macro_f1": 0.8813327644419506,
        "recall": {
          "valid": 0.9333333333333333,
          "invalid": 0.9666666666666667,
          "unknown": 0.75
        },
        "false_safe": 2,
        "invalid": 60,
        "false_stop": 12,
        "interval": [
          0.8388888888888889,
          0.9222222222222223
        ]
      },
      "stress_by_kind": {
        "weekday": 0.8888888888888888,
        "either_or": 0.9444444444444444,
        "until_while": 0.75,
        "numbers": 0.8888888888888888,
        "conjunction": 0.8333333333333334,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.8888888888888888,
        "source": 1.0,
        "unrelated": 0.8333333333333334
      }
    },
    {
      "model": "typesafe/jev-1.14",
      "seconds": 0.2514733539428562,
      "cost_per_1k": 0.016669545454545454,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8733333333333333,
        "macro_f1": 0.8702688784084134,
        "recall": {
          "valid": 0.98,
          "invalid": 0.94,
          "unknown": 0.7
        },
        "false_safe": 3,
        "invalid": 50,
        "false_stop": 13,
        "interval": [
          0.8266666666666667,
          0.9133333333333333
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9166666666666666,
        "macro_f1": 0.9166048696082066,
        "recall": {
          "valid": 0.9166666666666666,
          "invalid": 0.95,
          "unknown": 0.8833333333333333
        },
        "false_safe": 3,
        "invalid": 60,
        "false_stop": 7,
        "interval": [
          0.8777777777777778,
          0.9555555555555556
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9444444444444444,
        "either_or": 0.9166666666666666,
        "until_while": 0.8888888888888888,
        "numbers": 0.9444444444444444,
        "conjunction": 0.75,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.8888888888888888,
        "source": 1.0,
        "unrelated": 0.8333333333333334
      }
    },
    {
      "model": "typesafe/jev-1.13",
      "seconds": 0.20312712504528463,
      "cost_per_1k": 0.016669545454545454,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8666666666666667,
        "macro_f1": 0.8630515130515132,
        "recall": {
          "valid": 0.98,
          "invalid": 0.94,
          "unknown": 0.68
        },
        "false_safe": 3,
        "invalid": 50,
        "false_stop": 14,
        "interval": [
          0.82,
          0.9066666666666666
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.9166666666666666,
        "macro_f1": 0.9167209504491453,
        "recall": {
          "valid": 0.9166666666666666,
          "invalid": 0.95,
          "unknown": 0.8833333333333333
        },
        "false_safe": 3,
        "invalid": 60,
        "false_stop": 8,
        "interval": [
          0.8722222222222222,
          0.9555555555555556
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9722222222222222,
        "either_or": 0.9166666666666666,
        "until_while": 0.9166666666666666,
        "numbers": 0.9444444444444444,
        "conjunction": 0.75,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 1.0,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "cloudflare/clef-omni",
      "seconds": 0.2646954794181511,
      "cost_per_1k": 0.03191409090909091,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8933333333333333,
        "macro_f1": 0.8912329937981834,
        "recall": {
          "valid": 0.98,
          "invalid": 0.94,
          "unknown": 0.76
        },
        "false_safe": 3,
        "invalid": 50,
        "false_stop": 8,
        "interval": [
          0.84,
          0.94
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8722222222222222,
        "macro_f1": 0.8692366209641751,
        "recall": {
          "valid": 0.9666666666666667,
          "invalid": 0.95,
          "unknown": 0.7
        },
        "false_safe": 3,
        "invalid": 60,
        "false_stop": 8,
        "interval": [
          0.8222222222222222,
          0.9166666666666666
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9444444444444444,
        "either_or": 0.9166666666666666,
        "until_while": 0.7222222222222222,
        "numbers": 0.8888888888888888,
        "conjunction": 0.8333333333333334,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.6666666666666666,
        "source": 1.0,
        "unrelated": 0.8333333333333334
      }
    },
    {
      "model": "baseten/joey-1",
      "seconds": 0.251558166812174,
      "cost_per_1k": 0.0017375454545454547,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8866666666666667,
        "macro_f1": 0.8854230017596354,
        "recall": {
          "valid": 0.96,
          "invalid": 0.96,
          "unknown": 0.74
        },
        "false_safe": 1,
        "invalid": 50,
        "false_stop": 13,
        "interval": [
          0.8466666666666667,
          0.9266666666666666
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8666666666666667,
        "macro_f1": 0.8681364177405165,
        "recall": {
          "valid": 0.8166666666666667,
          "invalid": 0.9333333333333333,
          "unknown": 0.85
        },
        "false_safe": 4,
        "invalid": 60,
        "false_stop": 17,
        "interval": [
          0.8166666666666667,
          0.9111111111111111
        ]
      },
      "stress_by_kind": {
        "weekday": 0.8888888888888888,
        "either_or": 0.8611111111111112,
        "until_while": 0.8055555555555556,
        "numbers": 0.8888888888888888,
        "conjunction": 0.8333333333333334,
        "entity_scope": 1.0,
        "time_scope": 0.8888888888888888,
        "negation": 0.8888888888888888,
        "source": 1.0,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "liquid/d1",
      "seconds": 0.2740912709850818,
      "cost_per_1k": 0.002459212121212121,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.88,
        "macro_f1": 0.8764369864269058,
        "recall": {
          "valid": 1.0,
          "invalid": 0.94,
          "unknown": 0.7
        },
        "false_safe": 3,
        "invalid": 50,
        "false_stop": 12,
        "interval": [
          0.8333333333333334,
          0.92
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8722222222222222,
        "macro_f1": 0.8698006357039435,
        "recall": {
          "valid": 0.9166666666666666,
          "invalid": 0.9666666666666667,
          "unknown": 0.7333333333333333
        },
        "false_safe": 1,
        "invalid": 60,
        "false_stop": 13,
        "interval": [
          0.8277777777777777,
          0.9166666666666666
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9166666666666666,
        "either_or": 0.8333333333333334,
        "until_while": 0.8333333333333334,
        "numbers": 0.8888888888888888,
        "conjunction": 0.8333333333333334,
        "entity_scope": 1.0,
        "time_scope": 1.0,
        "negation": 0.8888888888888888,
        "source": 1.0,
        "unrelated": 0.5
      }
    },
    {
      "model": "nace-ai/drex-v1.5",
      "seconds": 0.27356195845641196,
      "cost_per_1k": 0.004110181818181818,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8933333333333333,
        "macro_f1": 0.8924785295915539,
        "recall": {
          "valid": 0.9,
          "invalid": 0.8,
          "unknown": 0.98
        },
        "false_safe": 7,
        "invalid": 50,
        "false_stop": 1,
        "interval": [
          0.8333333333333334,
          0.9466666666666667
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.85,
        "macro_f1": 0.8474750352118249,
        "recall": {
          "valid": 0.6666666666666666,
          "invalid": 0.9,
          "unknown": 0.9833333333333333
        },
        "false_safe": 2,
        "invalid": 60,
        "false_stop": 4,
        "interval": [
          0.8,
          0.9
        ]
      },
      "stress_by_kind": {
        "weekday": 0.8333333333333334,
        "either_or": 0.9166666666666666,
        "until_while": 0.7777777777777778,
        "numbers": 0.8888888888888888,
        "conjunction": 1.0,
        "entity_scope": 0.8333333333333334,
        "time_scope": 0.8888888888888888,
        "negation": 0.6666666666666666,
        "source": 1.0,
        "unrelated": 0.6666666666666666
      }
    },
    {
      "model": "togethercomputer/tev1-4b-experimental",
      "seconds": 0.2974191040266305,
      "cost_per_1k": 0.007508072727272727,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8733333333333333,
        "macro_f1": 0.8721066769611864,
        "recall": {
          "valid": 0.96,
          "invalid": 0.9,
          "unknown": 0.76
        },
        "false_safe": 3,
        "invalid": 50,
        "false_stop": 11,
        "interval": [
          0.8266666666666667,
          0.9133333333333333
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.85,
        "macro_f1": 0.8505279629093017,
        "recall": {
          "valid": 0.8166666666666667,
          "invalid": 0.8833333333333333,
          "unknown": 0.85
        },
        "false_safe": 3,
        "invalid": 60,
        "false_stop": 6,
        "interval": [
          0.8,
          0.9
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9166666666666666,
        "either_or": 0.8611111111111112,
        "until_while": 0.8055555555555556,
        "numbers": 0.8888888888888888,
        "conjunction": 0.75,
        "entity_scope": 0.8333333333333334,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 1.0,
        "unrelated": 0.5
      }
    },
    {
      "model": "cloudflare/clef-flash",
      "seconds": 0.48301441699732095,
      "cost_per_1k": 0.004936169696969697,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8666666666666667,
        "macro_f1": 0.8633390693996136,
        "recall": {
          "valid": 1.0,
          "invalid": 0.9,
          "unknown": 0.7
        },
        "false_safe": 5,
        "invalid": 50,
        "false_stop": 11,
        "interval": [
          0.8133333333333334,
          0.9133333333333333
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.85,
        "macro_f1": 0.8460952668661751,
        "recall": {
          "valid": 0.95,
          "invalid": 0.9333333333333333,
          "unknown": 0.6666666666666666
        },
        "false_safe": 4,
        "invalid": 60,
        "false_stop": 8,
        "interval": [
          0.8,
          0.8944444444444445
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9166666666666666,
        "either_or": 0.8611111111111112,
        "until_while": 0.7777777777777778,
        "numbers": 0.8333333333333334,
        "conjunction": 0.8333333333333334,
        "entity_scope": 0.9166666666666666,
        "time_scope": 0.7777777777777778,
        "negation": 0.7777777777777778,
        "source": 1.0,
        "unrelated": 0.8333333333333334
      }
    },
    {
      "model": "jaredpalmer/kev-4b",
      "seconds": 2.229007374960929,
      "cost_per_1k": 0.004315690909090909,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8933333333333333,
        "macro_f1": 0.8935734293717488,
        "recall": {
          "valid": 0.9,
          "invalid": 0.88,
          "unknown": 0.9
        },
        "false_safe": 3,
        "invalid": 50,
        "false_stop": 6,
        "interval": [
          0.8466666666666667,
          0.9333333333333333
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8222222222222222,
        "macro_f1": 0.8221936109867145,
        "recall": {
          "valid": 0.75,
          "invalid": 0.8166666666666667,
          "unknown": 0.9
        },
        "false_safe": 6,
        "invalid": 60,
        "false_stop": 7,
        "interval": [
          0.7555555555555555,
          0.8833333333333333
        ]
      },
      "stress_by_kind": {
        "weekday": 0.8888888888888888,
        "either_or": 0.8611111111111112,
        "until_while": 0.7777777777777778,
        "numbers": 0.8888888888888888,
        "conjunction": 0.8333333333333334,
        "entity_scope": 0.75,
        "time_scope": 1.0,
        "negation": 0.4444444444444444,
        "source": 1.0,
        "unrelated": 0.5
      }
    },
    {
      "model": "nace-ai/drex-v2.0",
      "seconds": 0.3051526249619201,
      "cost_per_1k": 0.006165272727272728,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.8333333333333334,
        "macro_f1": 0.8268323517622028,
        "recall": {
          "valid": 0.98,
          "invalid": 0.9,
          "unknown": 0.62
        },
        "false_safe": 5,
        "invalid": 50,
        "false_stop": 10,
        "interval": [
          0.7733333333333333,
          0.8866666666666667
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8722222222222222,
        "macro_f1": 0.8713136438546275,
        "recall": {
          "valid": 0.9166666666666666,
          "invalid": 0.9166666666666666,
          "unknown": 0.7833333333333333
        },
        "false_safe": 4,
        "invalid": 60,
        "false_stop": 7,
        "interval": [
          0.8222222222222222,
          0.9222222222222223
        ]
      },
      "stress_by_kind": {
        "weekday": 0.9722222222222222,
        "either_or": 0.7777777777777778,
        "until_while": 0.8333333333333334,
        "numbers": 0.9444444444444444,
        "conjunction": 0.9166666666666666,
        "entity_scope": 0.9166666666666666,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 1.0,
        "unrelated": 0.5
      }
    },
    {
      "model": "upstage/solar-decide-flash",
      "seconds": 0.7355554995592684,
      "cost_per_1k": 0.021084545454545457,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.88,
        "macro_f1": 0.8799039652785088,
        "recall": {
          "valid": 0.96,
          "invalid": 0.92,
          "unknown": 0.76
        },
        "false_safe": 4,
        "invalid": 50,
        "false_stop": 13,
        "interval": [
          0.8333333333333334,
          0.9266666666666666
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.8,
        "macro_f1": 0.8014798268881753,
        "recall": {
          "valid": 0.7666666666666667,
          "invalid": 0.8333333333333334,
          "unknown": 0.8
        },
        "false_safe": 9,
        "invalid": 60,
        "false_stop": 20,
        "interval": [
          0.75,
          0.85
        ]
      },
      "stress_by_kind": {
        "weekday": 0.8333333333333334,
        "either_or": 0.8055555555555556,
        "until_while": 0.75,
        "numbers": 0.8333333333333334,
        "conjunction": 0.75,
        "entity_scope": 0.8333333333333334,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 0.8333333333333334,
        "unrelated": 0.5
      }
    },
    {
      "model": "Bauxi-23M",
      "seconds": null,
      "cost_per_1k": 0.0,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.9066666666666666,
        "macro_f1": 0.906498599439776,
        "recall": {
          "valid": 0.84,
          "invalid": 0.9,
          "unknown": 0.98
        },
        "false_safe": 5,
        "invalid": 50,
        "false_stop": 7,
        "interval": [
          0.8533333333333334,
          0.9533333333333334
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.7111111111111111,
        "macro_f1": 0.7187123883774681,
        "recall": {
          "valid": 0.7,
          "invalid": 0.6666666666666666,
          "unknown": 0.7666666666666667
        },
        "false_safe": 20,
        "invalid": 60,
        "false_stop": 24,
        "interval": [
          0.65,
          0.7722222222222223
        ]
      },
      "stress_by_kind": {
        "weekday": 0.7777777777777778,
        "either_or": 0.6111111111111112,
        "until_while": 0.5277777777777778,
        "numbers": 0.7222222222222222,
        "conjunction": 0.8333333333333334,
        "entity_scope": 0.75,
        "time_scope": 1.0,
        "negation": 0.7777777777777778,
        "source": 0.8333333333333334,
        "unrelated": 1.0
      }
    },
    {
      "model": "perplexity/pplx-decider-flash-v1.2",
      "seconds": 0.21223570848815143,
      "cost_per_1k": 0.0016675454545454548,
      "holdout": {
        "answered": 150,
        "of": 150,
        "accuracy": 0.7533333333333333,
        "macro_f1": 0.7286014174003506,
        "recall": {
          "valid": 0.98,
          "invalid": 0.94,
          "unknown": 0.34
        },
        "false_safe": 3,
        "invalid": 50,
        "false_stop": 34,
        "interval": [
          0.7066666666666667,
          0.8
        ]
      },
      "stress": {
        "answered": 180,
        "of": 180,
        "accuracy": 0.7444444444444445,
        "macro_f1": 0.7328463203463204,
        "recall": {
          "valid": 0.8333333333333334,
          "invalid": 0.9833333333333333,
          "unknown": 0.4166666666666667
        },
        "false_safe": 1,
        "invalid": 60,
        "false_stop": 41,
        "interval": [
          0.6944444444444444,
          0.7944444444444444
        ]
      },
      "stress_by_kind": {
        "weekday": 0.75,
        "either_or": 0.6388888888888888,
        "until_while": 0.7777777777777778,
        "numbers": 0.7777777777777778,
        "conjunction": 0.75,
        "entity_scope": 1.0,
        "time_scope": 0.7777777777777778,
        "negation": 0.6666666666666666,
        "source": 0.8333333333333334,
        "unrelated": 0.5
      }
    }
  ],
  "routing": {
    "fitted_on": "dev + calibration",
    "go_threshold": 0.995,
    "stop_threshold": 0.5,
    "fitting": {
      "cases": 1104,
      "go": 76,
      "stop": 358,
      "review": 670,
      "go_wrong_invalid": 2,
      "go_wrong_unknown": 0,
      "stop_wrong": 15,
      "invalid_total": 368
    },
    "holdout": {
      "cases": 150,
      "go": 6,
      "stop": 51,
      "review": 93,
      "go_wrong_invalid": 0,
      "go_wrong_unknown": 0,
      "stop_wrong": 6,
      "invalid_total": 50
    },
    "stress": {
      "cases": 180,
      "go": 6,
      "stop": 64,
      "review": 110,
      "go_wrong_invalid": 0,
      "go_wrong_unknown": 0,
      "stop_wrong": 24,
      "invalid_total": 60
    }
  },
  "best_vs_bauxi": {
    "best": "nace-ai/drex-max",
    "holdout": {
      "gain": 0.08,
      "low": 0.02666666666666667,
      "high": 0.13350000000000062
    },
    "stress": {
      "gain": 0.25555555555555554,
      "low": 0.18888888888888888,
      "high": 0.32222222222222224
    }
  }
}