| { |
| "table": [ |
| { |
| "model": "nace-ai/drex-max", |
| "seconds": 0.5262559164548293, |
| "cost_per_1k": 0.010185272727272727, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9866666666666667, |
| "macro_f1": 0.9867300455535749, |
| "recall": { |
| "valid": 0.98, |
| "invalid": 1.0, |
| "unknown": 0.98 |
| }, |
| "false_safe": 0, |
| "invalid": 50, |
| "false_stop": 2, |
| "interval": [ |
| 0.9666666666666667, |
| 1.0 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9666666666666667, |
| "macro_f1": 0.9663651780667042, |
| "recall": { |
| "valid": 0.9166666666666666, |
| "invalid": 0.9833333333333333, |
| "unknown": 1.0 |
| }, |
| "false_safe": 1, |
| "invalid": 60, |
| "false_stop": 3, |
| "interval": [ |
| 0.9333333333333333, |
| 0.9944444444444445 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 1.0, |
| "either_or": 0.9722222222222222, |
| "until_while": 0.9444444444444444, |
| "numbers": 0.9444444444444444, |
| "conjunction": 1.0, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 1.0, |
| "source": 1.0, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "baseten/mammoth-1", |
| "seconds": 0.29967600002419204, |
| "cost_per_1k": 0.017375454545454545, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9733333333333334, |
| "macro_f1": 0.9731020432140302, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 1.0, |
| "unknown": 0.92 |
| }, |
| "false_safe": 0, |
| "invalid": 50, |
| "false_stop": 3, |
| "interval": [ |
| 0.9466666666666667, |
| 0.9933333333333333 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9666666666666667, |
| "macro_f1": 0.9666484417714599, |
| "recall": { |
| "valid": 0.95, |
| "invalid": 1.0, |
| "unknown": 0.95 |
| }, |
| "false_safe": 0, |
| "invalid": 60, |
| "false_stop": 4, |
| "interval": [ |
| 0.9388888888888889, |
| 0.9888888888888889 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9722222222222222, |
| "either_or": 0.9722222222222222, |
| "until_while": 0.9444444444444444, |
| "numbers": 1.0, |
| "conjunction": 0.9166666666666666, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 1.0, |
| "source": 1.0, |
| "unrelated": 0.8333333333333334 |
| } |
| }, |
| { |
| "model": "perplexity/pplx-decider-v1.2", |
| "seconds": 0.2852161875925958, |
| "cost_per_1k": 0.0033350909090909095, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9666666666666667, |
| "macro_f1": 0.9665831244778613, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 1.0, |
| "unknown": 0.9 |
| }, |
| "false_safe": 0, |
| "invalid": 50, |
| "false_stop": 5, |
| "interval": [ |
| 0.9398333333333333, |
| 0.9933333333333333 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.95, |
| "macro_f1": 0.9498928688190172, |
| "recall": { |
| "valid": 0.9333333333333333, |
| "invalid": 0.9833333333333333, |
| "unknown": 0.9333333333333333 |
| }, |
| "false_safe": 1, |
| "invalid": 60, |
| "false_stop": 4, |
| "interval": [ |
| 0.9166666666666666, |
| 0.9777777777777777 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 1.0, |
| "either_or": 0.9444444444444444, |
| "until_while": 0.8888888888888888, |
| "numbers": 1.0, |
| "conjunction": 0.9166666666666666, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 1.0, |
| "source": 1.0, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "microsoft/microsoft-decision-1", |
| "seconds": 0.334794812486507, |
| "cost_per_1k": 0.0047360727272727264, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9733333333333334, |
| "macro_f1": 0.9733875309464768, |
| "recall": { |
| "valid": 0.96, |
| "invalid": 1.0, |
| "unknown": 0.96 |
| }, |
| "false_safe": 0, |
| "invalid": 50, |
| "false_stop": 3, |
| "interval": [ |
| 0.9466666666666667, |
| 0.9933333333333333 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9388888888888889, |
| "macro_f1": 0.9381159420289856, |
| "recall": { |
| "valid": 0.8666666666666667, |
| "invalid": 0.95, |
| "unknown": 1.0 |
| }, |
| "false_safe": 3, |
| "invalid": 60, |
| "false_stop": 3, |
| "interval": [ |
| 0.8944444444444445, |
| 0.9723611111111116 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9166666666666666, |
| "either_or": 1.0, |
| "until_while": 0.9444444444444444, |
| "numbers": 0.8888888888888888, |
| "conjunction": 1.0, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 1.0, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "liquid/d1-ultra", |
| "seconds": 0.3077511665178463, |
| "cost_per_1k": 0.005164345454545455, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.96, |
| "macro_f1": 0.9598554797270173, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 1.0, |
| "unknown": 0.88 |
| }, |
| "false_safe": 0, |
| "invalid": 50, |
| "false_stop": 6, |
| "interval": [ |
| 0.9266666666666666, |
| 0.9866666666666667 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9222222222222223, |
| "macro_f1": 0.92250790145527, |
| "recall": { |
| "valid": 0.95, |
| "invalid": 1.0, |
| "unknown": 0.8166666666666667 |
| }, |
| "false_safe": 0, |
| "invalid": 60, |
| "false_stop": 13, |
| "interval": [ |
| 0.8833333333333333, |
| 0.9555555555555556 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9166666666666666, |
| "either_or": 0.8888888888888888, |
| "until_while": 0.8888888888888888, |
| "numbers": 1.0, |
| "conjunction": 0.75, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 1.0, |
| "source": 1.0, |
| "unrelated": 1.0 |
| } |
| }, |
| { |
| "model": "cloudflare/clef", |
| "seconds": 0.3500548335723579, |
| "cost_per_1k": 0.04747432727272727, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.94, |
| "macro_f1": 0.9395157734396923, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 0.94, |
| "unknown": 0.88 |
| }, |
| "false_safe": 2, |
| "invalid": 50, |
| "false_stop": 4, |
| "interval": [ |
| 0.9, |
| 0.9733333333333334 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9333333333333333, |
| "macro_f1": 0.9335852295996254, |
| "recall": { |
| "valid": 0.9333333333333333, |
| "invalid": 0.95, |
| "unknown": 0.9166666666666666 |
| }, |
| "false_safe": 3, |
| "invalid": 60, |
| "false_stop": 2, |
| "interval": [ |
| 0.8888888888888888, |
| 0.9722222222222222 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 1.0, |
| "either_or": 0.9166666666666666, |
| "until_while": 0.8888888888888888, |
| "numbers": 0.9444444444444444, |
| "conjunction": 1.0, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 1.0, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "respan/span-02", |
| "seconds": 0.35821633331943303, |
| "cost_per_1k": 0.0018272121212121214, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9333333333333333, |
| "macro_f1": 0.9319902319902319, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 0.98, |
| "unknown": 0.82 |
| }, |
| "false_safe": 1, |
| "invalid": 50, |
| "false_stop": 6, |
| "interval": [ |
| 0.8933333333333333, |
| 0.9666666666666667 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9277777777777778, |
| "macro_f1": 0.9275925994787841, |
| "recall": { |
| "valid": 0.9666666666666667, |
| "invalid": 0.9666666666666667, |
| "unknown": 0.85 |
| }, |
| "false_safe": 2, |
| "invalid": 60, |
| "false_stop": 3, |
| "interval": [ |
| 0.8833333333333333, |
| 0.9666666666666667 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 1.0, |
| "either_or": 0.9444444444444444, |
| "until_while": 0.8055555555555556, |
| "numbers": 1.0, |
| "conjunction": 0.9166666666666666, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 1.0, |
| "unrelated": 0.8333333333333334 |
| } |
| }, |
| { |
| "model": "openai/gpt-6-luna-decisions", |
| "seconds": 0.4417982914019376, |
| "cost_per_1k": 0.01913, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9133333333333333, |
| "macro_f1": 0.9129327044696159, |
| "recall": { |
| "valid": 0.96, |
| "invalid": 0.96, |
| "unknown": 0.82 |
| }, |
| "false_safe": 2, |
| "invalid": 50, |
| "false_stop": 8, |
| "interval": [ |
| 0.8666666666666667, |
| 0.9533333333333334 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9, |
| "macro_f1": 0.8999669229653272, |
| "recall": { |
| "valid": 0.95, |
| "invalid": 0.9, |
| "unknown": 0.85 |
| }, |
| "false_safe": 6, |
| "invalid": 60, |
| "false_stop": 8, |
| "interval": [ |
| 0.8555555555555555, |
| 0.9388888888888889 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9444444444444444, |
| "either_or": 0.9166666666666666, |
| "until_while": 0.8888888888888888, |
| "numbers": 0.8888888888888888, |
| "conjunction": 0.75, |
| "entity_scope": 1.0, |
| "time_scope": 0.8888888888888888, |
| "negation": 0.8888888888888888, |
| "source": 1.0, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "inception/mercury-decide", |
| "seconds": 0.3358184579992667, |
| "cost_per_1k": 0.0030656363636363637, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.94, |
| "macro_f1": 0.9393213123368023, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 0.98, |
| "unknown": 0.84 |
| }, |
| "false_safe": 1, |
| "invalid": 50, |
| "false_stop": 7, |
| "interval": [ |
| 0.9, |
| 0.9733333333333334 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8722222222222222, |
| "macro_f1": 0.8711668847156465, |
| "recall": { |
| "valid": 0.8833333333333333, |
| "invalid": 0.9833333333333333, |
| "unknown": 0.75 |
| }, |
| "false_safe": 1, |
| "invalid": 60, |
| "false_stop": 16, |
| "interval": [ |
| 0.8166666666666667, |
| 0.9222222222222223 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9722222222222222, |
| "either_or": 0.8333333333333334, |
| "until_while": 0.8611111111111112, |
| "numbers": 0.9444444444444444, |
| "conjunction": 0.6666666666666666, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 0.8333333333333334, |
| "unrelated": 0.5 |
| } |
| }, |
| { |
| "model": "scaledown/classify-1", |
| "seconds": 0.35615362552925944, |
| "cost_per_1k": 0.014190181818181819, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8866666666666667, |
| "macro_f1": 0.8857125932627349, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 0.88, |
| "unknown": 0.78 |
| }, |
| "false_safe": 6, |
| "invalid": 50, |
| "false_stop": 10, |
| "interval": [ |
| 0.84, |
| 0.9333333333333333 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9222222222222223, |
| "macro_f1": 0.9219122013030537, |
| "recall": { |
| "valid": 0.9666666666666667, |
| "invalid": 0.9333333333333333, |
| "unknown": 0.8666666666666667 |
| }, |
| "false_safe": 3, |
| "invalid": 60, |
| "false_stop": 7, |
| "interval": [ |
| 0.8833333333333333, |
| 0.9611111111111111 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9722222222222222, |
| "either_or": 0.8888888888888888, |
| "until_while": 0.9722222222222222, |
| "numbers": 0.8888888888888888, |
| "conjunction": 0.9166666666666666, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 0.8333333333333334, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "baseten/elephant-1", |
| "seconds": 0.2568398540606722, |
| "cost_per_1k": 0.0060814090909090904, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9133333333333333, |
| "macro_f1": 0.9128540305010894, |
| "recall": { |
| "valid": 0.98, |
| "invalid": 0.96, |
| "unknown": 0.8 |
| }, |
| "false_safe": 2, |
| "invalid": 50, |
| "false_stop": 10, |
| "interval": [ |
| 0.8666666666666667, |
| 0.96 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8944444444444445, |
| "macro_f1": 0.894161881053234, |
| "recall": { |
| "valid": 0.8333333333333334, |
| "invalid": 0.9666666666666667, |
| "unknown": 0.8833333333333333 |
| }, |
| "false_safe": 2, |
| "invalid": 60, |
| "false_stop": 11, |
| "interval": [ |
| 0.8444444444444444, |
| 0.9388888888888889 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9444444444444444, |
| "either_or": 0.8333333333333334, |
| "until_while": 0.9166666666666666, |
| "numbers": 1.0, |
| "conjunction": 0.8333333333333334, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.6666666666666666, |
| "source": 1.0, |
| "unrelated": 0.5 |
| } |
| }, |
| { |
| "model": "upstage/solar-decide", |
| "seconds": 0.7993269795551896, |
| "cost_per_1k": 0.021084545454545457, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9133333333333333, |
| "macro_f1": 0.9120557232262261, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 0.96, |
| "unknown": 0.78 |
| }, |
| "false_safe": 2, |
| "invalid": 50, |
| "false_stop": 10, |
| "interval": [ |
| 0.8666666666666667, |
| 0.9533333333333334 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8944444444444445, |
| "macro_f1": 0.8945243687610099, |
| "recall": { |
| "valid": 0.9, |
| "invalid": 0.9666666666666667, |
| "unknown": 0.8166666666666667 |
| }, |
| "false_safe": 2, |
| "invalid": 60, |
| "false_stop": 13, |
| "interval": [ |
| 0.85, |
| 0.9333333333333333 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9444444444444444, |
| "either_or": 0.8611111111111112, |
| "until_while": 0.8888888888888888, |
| "numbers": 1.0, |
| "conjunction": 0.75, |
| "entity_scope": 1.0, |
| "time_scope": 0.7777777777777778, |
| "negation": 0.8888888888888888, |
| "source": 0.8333333333333334, |
| "unrelated": 0.8333333333333334 |
| } |
| }, |
| { |
| "model": "liquid/d1.1", |
| "seconds": 0.25464525003917515, |
| "cost_per_1k": 0.002459212121212121, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9066666666666666, |
| "macro_f1": 0.9037319143298265, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 0.98, |
| "unknown": 0.74 |
| }, |
| "false_safe": 1, |
| "invalid": 50, |
| "false_stop": 10, |
| "interval": [ |
| 0.86, |
| 0.9466666666666667 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8833333333333333, |
| "macro_f1": 0.8813327644419506, |
| "recall": { |
| "valid": 0.9333333333333333, |
| "invalid": 0.9666666666666667, |
| "unknown": 0.75 |
| }, |
| "false_safe": 2, |
| "invalid": 60, |
| "false_stop": 12, |
| "interval": [ |
| 0.8388888888888889, |
| 0.9222222222222223 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.8888888888888888, |
| "either_or": 0.9444444444444444, |
| "until_while": 0.75, |
| "numbers": 0.8888888888888888, |
| "conjunction": 0.8333333333333334, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.8888888888888888, |
| "source": 1.0, |
| "unrelated": 0.8333333333333334 |
| } |
| }, |
| { |
| "model": "typesafe/jev-1.14", |
| "seconds": 0.2514733539428562, |
| "cost_per_1k": 0.016669545454545454, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8733333333333333, |
| "macro_f1": 0.8702688784084134, |
| "recall": { |
| "valid": 0.98, |
| "invalid": 0.94, |
| "unknown": 0.7 |
| }, |
| "false_safe": 3, |
| "invalid": 50, |
| "false_stop": 13, |
| "interval": [ |
| 0.8266666666666667, |
| 0.9133333333333333 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9166666666666666, |
| "macro_f1": 0.9166048696082066, |
| "recall": { |
| "valid": 0.9166666666666666, |
| "invalid": 0.95, |
| "unknown": 0.8833333333333333 |
| }, |
| "false_safe": 3, |
| "invalid": 60, |
| "false_stop": 7, |
| "interval": [ |
| 0.8777777777777778, |
| 0.9555555555555556 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9444444444444444, |
| "either_or": 0.9166666666666666, |
| "until_while": 0.8888888888888888, |
| "numbers": 0.9444444444444444, |
| "conjunction": 0.75, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.8888888888888888, |
| "source": 1.0, |
| "unrelated": 0.8333333333333334 |
| } |
| }, |
| { |
| "model": "typesafe/jev-1.13", |
| "seconds": 0.20312712504528463, |
| "cost_per_1k": 0.016669545454545454, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8666666666666667, |
| "macro_f1": 0.8630515130515132, |
| "recall": { |
| "valid": 0.98, |
| "invalid": 0.94, |
| "unknown": 0.68 |
| }, |
| "false_safe": 3, |
| "invalid": 50, |
| "false_stop": 14, |
| "interval": [ |
| 0.82, |
| 0.9066666666666666 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.9166666666666666, |
| "macro_f1": 0.9167209504491453, |
| "recall": { |
| "valid": 0.9166666666666666, |
| "invalid": 0.95, |
| "unknown": 0.8833333333333333 |
| }, |
| "false_safe": 3, |
| "invalid": 60, |
| "false_stop": 8, |
| "interval": [ |
| 0.8722222222222222, |
| 0.9555555555555556 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9722222222222222, |
| "either_or": 0.9166666666666666, |
| "until_while": 0.9166666666666666, |
| "numbers": 0.9444444444444444, |
| "conjunction": 0.75, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 1.0, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "cloudflare/clef-omni", |
| "seconds": 0.2646954794181511, |
| "cost_per_1k": 0.03191409090909091, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8933333333333333, |
| "macro_f1": 0.8912329937981834, |
| "recall": { |
| "valid": 0.98, |
| "invalid": 0.94, |
| "unknown": 0.76 |
| }, |
| "false_safe": 3, |
| "invalid": 50, |
| "false_stop": 8, |
| "interval": [ |
| 0.84, |
| 0.94 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8722222222222222, |
| "macro_f1": 0.8692366209641751, |
| "recall": { |
| "valid": 0.9666666666666667, |
| "invalid": 0.95, |
| "unknown": 0.7 |
| }, |
| "false_safe": 3, |
| "invalid": 60, |
| "false_stop": 8, |
| "interval": [ |
| 0.8222222222222222, |
| 0.9166666666666666 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9444444444444444, |
| "either_or": 0.9166666666666666, |
| "until_while": 0.7222222222222222, |
| "numbers": 0.8888888888888888, |
| "conjunction": 0.8333333333333334, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.6666666666666666, |
| "source": 1.0, |
| "unrelated": 0.8333333333333334 |
| } |
| }, |
| { |
| "model": "baseten/joey-1", |
| "seconds": 0.251558166812174, |
| "cost_per_1k": 0.0017375454545454547, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8866666666666667, |
| "macro_f1": 0.8854230017596354, |
| "recall": { |
| "valid": 0.96, |
| "invalid": 0.96, |
| "unknown": 0.74 |
| }, |
| "false_safe": 1, |
| "invalid": 50, |
| "false_stop": 13, |
| "interval": [ |
| 0.8466666666666667, |
| 0.9266666666666666 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8666666666666667, |
| "macro_f1": 0.8681364177405165, |
| "recall": { |
| "valid": 0.8166666666666667, |
| "invalid": 0.9333333333333333, |
| "unknown": 0.85 |
| }, |
| "false_safe": 4, |
| "invalid": 60, |
| "false_stop": 17, |
| "interval": [ |
| 0.8166666666666667, |
| 0.9111111111111111 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.8888888888888888, |
| "either_or": 0.8611111111111112, |
| "until_while": 0.8055555555555556, |
| "numbers": 0.8888888888888888, |
| "conjunction": 0.8333333333333334, |
| "entity_scope": 1.0, |
| "time_scope": 0.8888888888888888, |
| "negation": 0.8888888888888888, |
| "source": 1.0, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "liquid/d1", |
| "seconds": 0.2740912709850818, |
| "cost_per_1k": 0.002459212121212121, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.88, |
| "macro_f1": 0.8764369864269058, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 0.94, |
| "unknown": 0.7 |
| }, |
| "false_safe": 3, |
| "invalid": 50, |
| "false_stop": 12, |
| "interval": [ |
| 0.8333333333333334, |
| 0.92 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8722222222222222, |
| "macro_f1": 0.8698006357039435, |
| "recall": { |
| "valid": 0.9166666666666666, |
| "invalid": 0.9666666666666667, |
| "unknown": 0.7333333333333333 |
| }, |
| "false_safe": 1, |
| "invalid": 60, |
| "false_stop": 13, |
| "interval": [ |
| 0.8277777777777777, |
| 0.9166666666666666 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9166666666666666, |
| "either_or": 0.8333333333333334, |
| "until_while": 0.8333333333333334, |
| "numbers": 0.8888888888888888, |
| "conjunction": 0.8333333333333334, |
| "entity_scope": 1.0, |
| "time_scope": 1.0, |
| "negation": 0.8888888888888888, |
| "source": 1.0, |
| "unrelated": 0.5 |
| } |
| }, |
| { |
| "model": "nace-ai/drex-v1.5", |
| "seconds": 0.27356195845641196, |
| "cost_per_1k": 0.004110181818181818, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8933333333333333, |
| "macro_f1": 0.8924785295915539, |
| "recall": { |
| "valid": 0.9, |
| "invalid": 0.8, |
| "unknown": 0.98 |
| }, |
| "false_safe": 7, |
| "invalid": 50, |
| "false_stop": 1, |
| "interval": [ |
| 0.8333333333333334, |
| 0.9466666666666667 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.85, |
| "macro_f1": 0.8474750352118249, |
| "recall": { |
| "valid": 0.6666666666666666, |
| "invalid": 0.9, |
| "unknown": 0.9833333333333333 |
| }, |
| "false_safe": 2, |
| "invalid": 60, |
| "false_stop": 4, |
| "interval": [ |
| 0.8, |
| 0.9 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.8333333333333334, |
| "either_or": 0.9166666666666666, |
| "until_while": 0.7777777777777778, |
| "numbers": 0.8888888888888888, |
| "conjunction": 1.0, |
| "entity_scope": 0.8333333333333334, |
| "time_scope": 0.8888888888888888, |
| "negation": 0.6666666666666666, |
| "source": 1.0, |
| "unrelated": 0.6666666666666666 |
| } |
| }, |
| { |
| "model": "togethercomputer/tev1-4b-experimental", |
| "seconds": 0.2974191040266305, |
| "cost_per_1k": 0.007508072727272727, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8733333333333333, |
| "macro_f1": 0.8721066769611864, |
| "recall": { |
| "valid": 0.96, |
| "invalid": 0.9, |
| "unknown": 0.76 |
| }, |
| "false_safe": 3, |
| "invalid": 50, |
| "false_stop": 11, |
| "interval": [ |
| 0.8266666666666667, |
| 0.9133333333333333 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.85, |
| "macro_f1": 0.8505279629093017, |
| "recall": { |
| "valid": 0.8166666666666667, |
| "invalid": 0.8833333333333333, |
| "unknown": 0.85 |
| }, |
| "false_safe": 3, |
| "invalid": 60, |
| "false_stop": 6, |
| "interval": [ |
| 0.8, |
| 0.9 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9166666666666666, |
| "either_or": 0.8611111111111112, |
| "until_while": 0.8055555555555556, |
| "numbers": 0.8888888888888888, |
| "conjunction": 0.75, |
| "entity_scope": 0.8333333333333334, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 1.0, |
| "unrelated": 0.5 |
| } |
| }, |
| { |
| "model": "cloudflare/clef-flash", |
| "seconds": 0.48301441699732095, |
| "cost_per_1k": 0.004936169696969697, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8666666666666667, |
| "macro_f1": 0.8633390693996136, |
| "recall": { |
| "valid": 1.0, |
| "invalid": 0.9, |
| "unknown": 0.7 |
| }, |
| "false_safe": 5, |
| "invalid": 50, |
| "false_stop": 11, |
| "interval": [ |
| 0.8133333333333334, |
| 0.9133333333333333 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.85, |
| "macro_f1": 0.8460952668661751, |
| "recall": { |
| "valid": 0.95, |
| "invalid": 0.9333333333333333, |
| "unknown": 0.6666666666666666 |
| }, |
| "false_safe": 4, |
| "invalid": 60, |
| "false_stop": 8, |
| "interval": [ |
| 0.8, |
| 0.8944444444444445 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9166666666666666, |
| "either_or": 0.8611111111111112, |
| "until_while": 0.7777777777777778, |
| "numbers": 0.8333333333333334, |
| "conjunction": 0.8333333333333334, |
| "entity_scope": 0.9166666666666666, |
| "time_scope": 0.7777777777777778, |
| "negation": 0.7777777777777778, |
| "source": 1.0, |
| "unrelated": 0.8333333333333334 |
| } |
| }, |
| { |
| "model": "jaredpalmer/kev-4b", |
| "seconds": 2.229007374960929, |
| "cost_per_1k": 0.004315690909090909, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8933333333333333, |
| "macro_f1": 0.8935734293717488, |
| "recall": { |
| "valid": 0.9, |
| "invalid": 0.88, |
| "unknown": 0.9 |
| }, |
| "false_safe": 3, |
| "invalid": 50, |
| "false_stop": 6, |
| "interval": [ |
| 0.8466666666666667, |
| 0.9333333333333333 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8222222222222222, |
| "macro_f1": 0.8221936109867145, |
| "recall": { |
| "valid": 0.75, |
| "invalid": 0.8166666666666667, |
| "unknown": 0.9 |
| }, |
| "false_safe": 6, |
| "invalid": 60, |
| "false_stop": 7, |
| "interval": [ |
| 0.7555555555555555, |
| 0.8833333333333333 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.8888888888888888, |
| "either_or": 0.8611111111111112, |
| "until_while": 0.7777777777777778, |
| "numbers": 0.8888888888888888, |
| "conjunction": 0.8333333333333334, |
| "entity_scope": 0.75, |
| "time_scope": 1.0, |
| "negation": 0.4444444444444444, |
| "source": 1.0, |
| "unrelated": 0.5 |
| } |
| }, |
| { |
| "model": "nace-ai/drex-v2.0", |
| "seconds": 0.3051526249619201, |
| "cost_per_1k": 0.006165272727272728, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.8333333333333334, |
| "macro_f1": 0.8268323517622028, |
| "recall": { |
| "valid": 0.98, |
| "invalid": 0.9, |
| "unknown": 0.62 |
| }, |
| "false_safe": 5, |
| "invalid": 50, |
| "false_stop": 10, |
| "interval": [ |
| 0.7733333333333333, |
| 0.8866666666666667 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8722222222222222, |
| "macro_f1": 0.8713136438546275, |
| "recall": { |
| "valid": 0.9166666666666666, |
| "invalid": 0.9166666666666666, |
| "unknown": 0.7833333333333333 |
| }, |
| "false_safe": 4, |
| "invalid": 60, |
| "false_stop": 7, |
| "interval": [ |
| 0.8222222222222222, |
| 0.9222222222222223 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.9722222222222222, |
| "either_or": 0.7777777777777778, |
| "until_while": 0.8333333333333334, |
| "numbers": 0.9444444444444444, |
| "conjunction": 0.9166666666666666, |
| "entity_scope": 0.9166666666666666, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 1.0, |
| "unrelated": 0.5 |
| } |
| }, |
| { |
| "model": "upstage/solar-decide-flash", |
| "seconds": 0.7355554995592684, |
| "cost_per_1k": 0.021084545454545457, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.88, |
| "macro_f1": 0.8799039652785088, |
| "recall": { |
| "valid": 0.96, |
| "invalid": 0.92, |
| "unknown": 0.76 |
| }, |
| "false_safe": 4, |
| "invalid": 50, |
| "false_stop": 13, |
| "interval": [ |
| 0.8333333333333334, |
| 0.9266666666666666 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.8, |
| "macro_f1": 0.8014798268881753, |
| "recall": { |
| "valid": 0.7666666666666667, |
| "invalid": 0.8333333333333334, |
| "unknown": 0.8 |
| }, |
| "false_safe": 9, |
| "invalid": 60, |
| "false_stop": 20, |
| "interval": [ |
| 0.75, |
| 0.85 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.8333333333333334, |
| "either_or": 0.8055555555555556, |
| "until_while": 0.75, |
| "numbers": 0.8333333333333334, |
| "conjunction": 0.75, |
| "entity_scope": 0.8333333333333334, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 0.8333333333333334, |
| "unrelated": 0.5 |
| } |
| }, |
| { |
| "model": "Bauxi-23M", |
| "seconds": null, |
| "cost_per_1k": 0.0, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.9066666666666666, |
| "macro_f1": 0.906498599439776, |
| "recall": { |
| "valid": 0.84, |
| "invalid": 0.9, |
| "unknown": 0.98 |
| }, |
| "false_safe": 5, |
| "invalid": 50, |
| "false_stop": 7, |
| "interval": [ |
| 0.8533333333333334, |
| 0.9533333333333334 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.7111111111111111, |
| "macro_f1": 0.7187123883774681, |
| "recall": { |
| "valid": 0.7, |
| "invalid": 0.6666666666666666, |
| "unknown": 0.7666666666666667 |
| }, |
| "false_safe": 20, |
| "invalid": 60, |
| "false_stop": 24, |
| "interval": [ |
| 0.65, |
| 0.7722222222222223 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.7777777777777778, |
| "either_or": 0.6111111111111112, |
| "until_while": 0.5277777777777778, |
| "numbers": 0.7222222222222222, |
| "conjunction": 0.8333333333333334, |
| "entity_scope": 0.75, |
| "time_scope": 1.0, |
| "negation": 0.7777777777777778, |
| "source": 0.8333333333333334, |
| "unrelated": 1.0 |
| } |
| }, |
| { |
| "model": "perplexity/pplx-decider-flash-v1.2", |
| "seconds": 0.21223570848815143, |
| "cost_per_1k": 0.0016675454545454548, |
| "holdout": { |
| "answered": 150, |
| "of": 150, |
| "accuracy": 0.7533333333333333, |
| "macro_f1": 0.7286014174003506, |
| "recall": { |
| "valid": 0.98, |
| "invalid": 0.94, |
| "unknown": 0.34 |
| }, |
| "false_safe": 3, |
| "invalid": 50, |
| "false_stop": 34, |
| "interval": [ |
| 0.7066666666666667, |
| 0.8 |
| ] |
| }, |
| "stress": { |
| "answered": 180, |
| "of": 180, |
| "accuracy": 0.7444444444444445, |
| "macro_f1": 0.7328463203463204, |
| "recall": { |
| "valid": 0.8333333333333334, |
| "invalid": 0.9833333333333333, |
| "unknown": 0.4166666666666667 |
| }, |
| "false_safe": 1, |
| "invalid": 60, |
| "false_stop": 41, |
| "interval": [ |
| 0.6944444444444444, |
| 0.7944444444444444 |
| ] |
| }, |
| "stress_by_kind": { |
| "weekday": 0.75, |
| "either_or": 0.6388888888888888, |
| "until_while": 0.7777777777777778, |
| "numbers": 0.7777777777777778, |
| "conjunction": 0.75, |
| "entity_scope": 1.0, |
| "time_scope": 0.7777777777777778, |
| "negation": 0.6666666666666666, |
| "source": 0.8333333333333334, |
| "unrelated": 0.5 |
| } |
| } |
| ], |
| "routing": { |
| "fitted_on": "dev + calibration", |
| "go_threshold": 0.995, |
| "stop_threshold": 0.5, |
| "fitting": { |
| "cases": 1104, |
| "go": 76, |
| "stop": 358, |
| "review": 670, |
| "go_wrong_invalid": 2, |
| "go_wrong_unknown": 0, |
| "stop_wrong": 15, |
| "invalid_total": 368 |
| }, |
| "holdout": { |
| "cases": 150, |
| "go": 6, |
| "stop": 51, |
| "review": 93, |
| "go_wrong_invalid": 0, |
| "go_wrong_unknown": 0, |
| "stop_wrong": 6, |
| "invalid_total": 50 |
| }, |
| "stress": { |
| "cases": 180, |
| "go": 6, |
| "stop": 64, |
| "review": 110, |
| "go_wrong_invalid": 0, |
| "go_wrong_unknown": 0, |
| "stop_wrong": 24, |
| "invalid_total": 60 |
| } |
| }, |
| "best_vs_bauxi": { |
| "best": "nace-ai/drex-max", |
| "holdout": { |
| "gain": 0.08, |
| "low": 0.02666666666666667, |
| "high": 0.13350000000000062 |
| }, |
| "stress": { |
| "gain": 0.25555555555555554, |
| "low": 0.18888888888888888, |
| "high": 0.32222222222222224 |
| } |
| } |
| } |
|
|
