Spaces:
Runtime error
Runtime error
Commit History
-
feat(extraction): Docling en local, OCR pleine page, cache reprenable
Docling remplace l'API Gemini, payante, comme extracteur par defaut (PDF_EXTRACTION_ENGINE=docling ; « gemini » reste disponible). - Chaque page est rasterisee (pypdfium2, 216 dpi) et passe par l'OCR pleine page : 42 % des pages n'ont pas de couche texte, et docling-parse rend NOIRES les 59 pages de scans masques (MRC) du corpus. - OCR RapidOCR sur torch, donc sur le GPU : mesure sur 97 pages contre Gemini et LlamaParse, il lit les numeros d'article la ou Tesseract en fausse (« ARTICLE 16 » lu « 13 »), a 3,8-4 s par page. - Conversion par lots de 8 pages, chaque lot mis en cache aussitot, brut : une interruption ne coute que le lot en cours, et ameliorer le nettoyage n'oblige jamais a refaire l'OCR. L'empreinte du cache porte les versions, les revisions des modeles et le rendu ; les lots se relisent quelle que soit leur taille. - Un lot en echec est rejoue ; au bout de TENTATIVES_MAX, il est repris page a page, et seule la page fautive est abandonnee et signalee. - F…69b13a2 -
style: ordre des imports et import inutilise laisses par mes commits du jour
ruff signalait trois ecarts dans des fichiers touches par 153dd7c et ad3ae33 : deux blocs d'imports mal ordonnes et un `Optional` importe sans usage. Aucun changement de comportement. Restent deux signalements anterieurs, dans tests/test_main.py et tests/test_migrations/test_email_tokens_schema.py, laisses en l'etat. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>a9c1b19 -
chore(eval): banc de comparaison des extracteurs PDF
Mesure trois choses contre la couche texte du PDF, page par page : la pagination (le critere qui a fait abandonner LlamaParse), la densite, et l'ancrage lexical avec detection des numeros d'article inventes. Moteurs : Gemini (chemin de production), Docling, Chandra 2 via Datalab, DeepSeek. Reference mesuree sur le Code Minier, pages 21 a 32 : pagination 12/12, 97,4 % d'ancrage, aucun article invente. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>ad3ae33