---
title: pass@k — Homogène vs Dynamique (SWE-bench Lite)
emoji: 📊
colorFrom: blue
colorTo: yellow
sdk: gradio
sdk_version: "4.44.0"
app_file: app.py
pinned: false
license: mit
---

# pass@k — Allocation homogène vs dynamique sur SWE-bench Lite

Simulation Monte Carlo interactive comparant deux stratégies d'estimation de **pass@k** sur SWE-bench Lite (300 tâches de résolution de bugs Python, 250 runs/tâche).

## Méthodes comparées

**Homogène (Rao-Blackwell)** : n runs par tâche, estimateur non-paramétrique à variance minimale.

**Dynamique (Algorithme 2, Kazdan et al. 2025)** : budget total B = T×n alloué adaptativement via `SelectHardestProblem`, estimation par fit beta-binomial (MLE Nelder-Mead).

## Paramètres

- `n` : runs par tâche (budget = T×n)
- `T` : nombre de tâches échantillonnées
- `k` : seuil pass@k
- seeds monde × seeds ordre : plan factoriel pour décomposer variance inter-benchmark et variance d'estimation

## Résultats

Sur SWE-bench Lite (distribution Zero-Inflated Beta, 44% de tâches à p=0), l'homogène domine systématiquement. La dynamique gaspille 90% du budget sur des tâches impossibles.

## Références

- Kazdan et al. (2025) — *Efficient Prediction of Pass@k Scaling in Large Language Models* — [arXiv:2510.05197](https://arxiv.org/abs/2510.05197)
- Jimenez et al. (2024) — *SWE-bench Lite* — [GitHub](https://github.com/princeton-nlp/SWE-bench)
- Chen et al. (2021) — *Evaluating Large Language Models Trained on Code* (pass@k original)