Batch the evaluation so progress actually streams

The handler emitted one progress event then blocked in a single predict()
over the whole split, so the UI froze. Inference now runs in batches and
evaluation.run takes a track() wrapper; only handlers knows it is
progress.tqdm. Batched output matches the single call to 6e-8.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

README.md

@@ -27,8 +27,9 @@ Publié par `train.py` dans
 [`bee2link/breakdown-risk-paraphrase-multilingual-MiniLM-L12-v2`](https://huggingface.co/bee2link/breakdown-risk-paraphrase-multilingual-MiniLM-L12-v2),
 entraîné sur [`bee2link/breakdown-risk`](https://huggingface.co/datasets/bee2link/breakdown-risk).
 
-45/46 sur le split de test. Les exemples de la démo viennent de ce même split :
-ce sont des tours que le modèle n'a jamais vus à l'entraînement.
+L'onglet **Évaluation** donne le score courant : le split de test grandit, donc
+aucun chiffre n'est recopié ici. Les exemples de la démo viennent de ce même
+split — des tours que le modèle n'a jamais vus à l'entraînement.
 
 ## La fenêtre de trois tours
 
@@ -95,7 +96,7 @@ uv lock        # après toute modification de pyproject.toml
 d'une régression logistique picklée, et `app.py` charge ces deux pièces
 directement — `gradio` 6 exige `transformers>=5`, que `setfit` 1.1 ne supporte
 pas (`ImportError: default_logdir`). Les deux chemins donnent les mêmes
-prédictions : 45/46 sur le split de test.
+prédictions, à 6e-8 près.
 
 `torch` vient de l'index CPU sur Linux, ce qui évite ~2 Go de CUDA inutile dans
 l'image.

app/evaluation.py

@@ -1,4 +1,5 @@
 import time
+from collections.abc import Callable, Iterable
 from functools import lru_cache
 from typing import NamedTuple
 
@@ -8,6 +9,10 @@ from datasets import load_dataset
 from .config import DATASET_REPO, TOKEN, display
 from .predictors import Predictor, load
 
+BATCH_SIZE = 8
+
+Track = Callable[[Iterable], Iterable]
+
 
 class Report(NamedTuple):
     repo: str
@@ -50,12 +55,33 @@ def cases(ids, texts, gold, predicted, probabilities: np.ndarray) -> list[list]:
     return sorted(rows, key=lambda row: (row[0] == "✓", row[4]))
 
 
-def run(repo: str, revision: str, predict: Predictor | None = None) -> Report:
+def batches(texts: list[str], size: int = BATCH_SIZE) -> list[list[str]]:
+    return [texts[start : start + size] for start in range(0, len(texts), size)]
+
+
+def classify_all(
+    predictor: Predictor, texts: list[str], track: Track | None = None
+) -> tuple[list[str], np.ndarray]:
+    chunks = batches(texts)
+    labels: list[str] = []
+    scored = []
+    for batch in track(chunks) if track else chunks:
+        labels, probabilities = predictor(batch)
+        scored.append(probabilities)
+    return labels, np.concatenate(scored)
+
+
+def run(
+    repo: str,
+    revision: str,
+    predict: Predictor | None = None,
+    track: Track | None = None,
+) -> Report:
     predictor = predict if predict is not None else load(repo, revision)
     ids, texts, gold = test_split()
 
     started = time.perf_counter()
-    labels, probabilities = predictor(texts)
+    labels, probabilities = classify_all(predictor, texts, track)
     elapsed = time.perf_counter() - started
 
     predicted = [labels[int(row.argmax())] for row in probabilities]

app/handlers.py

@@ -1,5 +1,6 @@
 import json
 import time
+from functools import partial
 from pathlib import Path
 
 import gradio as gr
@@ -8,7 +9,7 @@ from . import evaluation
 from .config import display
 from .hub import model_repos, revisions
 from .predictors import load
-from .text import NO_MODEL
+from .text import LOADING, NO_MODEL, SCORING
 from .turns import window
 
 EXAMPLES = json.loads((Path(__file__).parent / "examples.json").read_text(encoding="utf-8"))
@@ -37,8 +38,11 @@ def evaluate(repo: str, revision: str, progress=gr.Progress()):
     if not repo:
         return NO_MODEL, [], []
 
-    progress(0, desc="Chargement du modèle")
-    report = evaluation.run(repo, revision)
+    progress(0, desc=LOADING)
+    predictor = load(repo, revision)
+    track = partial(progress.tqdm, desc=SCORING)
+
+    report = evaluation.run(repo, revision, predict=predictor, track=track)
     return summary(report), report.confusion, report.cases
 
 

app/text.py

@@ -20,3 +20,5 @@ TRANSCRIPT_INFO = (
 )
 
 NO_MODEL = "Aucun modèle sélectionné."
+LOADING = "Chargement du modèle"
+SCORING = "Classement du split de test"

app/ui.py

@@ -55,7 +55,7 @@ def classify_tab() -> tuple[gr.Textbox, gr.Button, list]:
     return transcript, run, [prediction, reads, latency]
 
 
-def evaluation_tab() -> tuple[gr.Button, list]:
+def evaluation_tab() -> tuple[gr.Button, list, gr.Dataframe]:
     run = gr.Button("Évaluer sur le split de test", variant="primary")
     score = gr.Markdown()
     matrix = gr.Dataframe(
@@ -70,7 +70,7 @@ def evaluation_tab() -> tuple[gr.Button, list]:
         wrap=True,
         interactive=False,
     )
-    return run, [score, matrix, cases]
+    return run, [score, matrix, cases], cases
 
 
 def build() -> gr.Blocks:
@@ -85,7 +85,7 @@ def build() -> gr.Blocks:
             transcript, run, results = classify_tab()
 
         with gr.Tab("Évaluation"):
-            evaluate_button, report = evaluation_tab()
+            evaluate_button, report, progress_target = evaluation_tab()
 
         model.change(pick_revision, model, revision)
         refresh.click(pick_model, None, model)
@@ -96,6 +96,13 @@ def build() -> gr.Blocks:
             results,
             api_name="classify",
         )
-        evaluate_button.click(evaluate, selection, report, api_name="evaluate")
+        evaluate_button.click(
+            evaluate,
+            selection,
+            report,
+            show_progress="full",
+            show_progress_on=progress_target,
+            api_name="evaluate",
+        )
 
     return demo