Spaces:
Runtime error
Runtime error
Commit History
-
test(eval): harnais de mesure de la recuperation
Sans mesure, le choix de la dimension et les poids de fusion se decident sur les chiffres MTEB d'un fournisseur et sur une constante tiree d'un papier TREC. Ce harnais permet de trancher sur CE corpus. scripts/eval/metrics.py — recall@k, MRR et intervalle de confiance bootstrap. Fonctions pures, definitions ecrites noir sur blanc dans le module : avec un seul article pertinent par question, recall@k est un taux de succes, et MRR est la metrique principale parce que le RAG n'envoie que 8 articles au modele — ce qui compte est que le bon soit HAUT, pas seulement present. Le module dit aussi qu'avec 60 questions l'erreur type est d'environ 6 points, et le rapport affiche l'intervalle a cote de chaque nombre : un ecart de 2 points n'est pas un resultat. scripts/eval/generate_eval_set.py — echantillonnage stratifie (60 % normatif, 20 % gros textes, 20 % aleatoire, formules d'execution exclues), generation de deux questions par article, et surtout les garde-fous qui ouvrent la boucle ferme…4f32045