pass@k — Homogène vs Dynamique (Algo 2)

Simulation Monte Carlo sur SWE-bench Lite (300 tâches, n=250 runs/tâche oracle) · Plan factoriel seeds monde × seeds ordre · MSE, biais² et variance en pp²
Données : Jimenez et al. 2024 · Méthode dynamique : Kazdan et al. 2025 (arXiv 2510.05197)

n (runs/tâche) 10

T (nb tâches) 100

k (pass@k) 5

seeds monde 5 seeds ordre 5

Homogène

Dynamique

Biais (pp)

—

Variance (pp²)

—

MSE (pp²)

—

Méthode la plus précise (MSE min) : —

Homogène Dynamique

Règle les paramètres puis lance la simulation.

pass@k — Homogène vs Dynamique (Algo 2)

Comparaison biais, variance et MSE entre allocation homogène et dynamique sur SWE-bench Lite