Spaces:
Runtime error
Runtime error
Commit History
25 days ago
-
feat(ingestion): textes venus d'ailleurs que prc.cm, Actes uniformes OHADA
Le corpus complementaire (Actes uniformes OHADA, Code CIMA, lois que prc.cm ne sert pas) passe par la meme ingestion que le reste. - L'index peut donner la reference du texte (« OHADA-AUA-2017 », « LOI-1992-007 ») ; sans elle, `PRC-{doc_id}` comme avant. Un Acte uniforme ne pretend plus venir de la Presidence. - « Acte uniforme » devient un type d'acte, en dernier dans la recherche sur tout le titre : « Decret portant ratification de l'Acte uniforme… » reste un decret. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>c148f31
-
feat(ingestion): le corpus en deux passes reprenables
Passe 1, scripts/extraire_corpus.py : Docling seul, sans base. Le travail se fait dans un processus enfant (spawn) recycle tous les 25 documents ou au-dela de 5 Go : la memoire de Docling grossit au fil des pages. Le superviseur compte une tentative au lot pendant lequel l'enfant meurt, tue un enfant bloque, s'arrete sur une panne generale (initialisation, echecs en serie) ou si .env et les paquets ont change depuis le lancement — sans quoi l'enfant ecrirait dans un autre cache et la boucle ne finirait pas. Arret propre par data/ingestion/STOP ; suivi dans progression.json. Passe 2, scripts/ingest_corpus.py : ne relit que le cache, jamais Docling. Reprend les lois pending, processing et refused ; une panne de base est rejouee avec attente croissante au lieu de compter chaque document en echec. Les PDF identiques sous deux numeros d'acte sont indexes une fois, l'autre signale. Type et date de l'acte relus dans le titre, l'annee controlee par le numero d'acte. Pipeline (process_law) : …1be6163