MALOBA — rapports d'évaluation et d'entraînement, pièces et journaux

Projet de numérisation et d'accélération du lingala. Programme Local Language Accelerator du Programme des Nations unies pour le développement. Contrat n° 10479844 · COG-00153. Mis en œuvre par Congo Digital Services SAS, pour le consortium WYMEE / CDS / SACLI, sous la tutelle du ministère des Postes, des Télécommunications et de l'Économie numérique.

Les résultats sont arrêtés au 30 septembre 2026. Ce dépôt réunit ce qui a été fait, mesuré et publié, avec ses limites.

---

Ce que contient ce dépôt

E02 (tests statistiques NLLB) n'existe qu'en français. Le rapport E10 n'est pas diffusé ici ; ses pièces le sont.

Rapports d'évaluation

Rapports d'entraînement

---

Les chiffres, arrêtés au 30 septembre 2026

Limites à la clôture

Faits constatés et chiffrés.

• 58,1 heures annotées et vérifiées, sous la fourchette de 80 à 100 heures des termes de référence.
• Le nombre de locuteurs distincts du corpus V3.2 n'est pas établi.
• L'accord entre validateurs humains reste sous le seuil de 0,60 fixé avant les campagnes : les taux sont publiés à titre indicatif.
• Les jeux de test comptent 19 enregistrements, 50 images et 79 phrases.
• L'orthographe du lingala n'est pas stabilisée : la variation pèse environ 5 % de WER sur les références.
• Le désaccord entre transcripteurs humains atteint 12 % au caractère : c'est le plancher mesuré.
• Les collectes d'Impfondo et de Talangaï n'ont pas été réalisées.
• Llama 3.1 est un modèle de référence mesuré : il n'est pas déployé. Son évaluation humaine n'a pas été conduite, les moyens ayant été affectés à la traduction.
• Le point d'accès aux modèles est en cours de mise en service.

Ressources constituées, hors du corpus annoté

• Voice-a-thon Santé : 11 enregistrements auprès de 10 personnes. Aucune durée de parole n'est publiée.
• Environ 150 h de bandes magnétiques de Radio Rurale, non numérisées.
• Corpus écrit SIL Congo : 22 documents, 1 008 pages. Ils ont servi à la lecture de documents ; ils ne sont pas diffusés en texte suivi.

---

Licences et diffusion

• Les jeux de données portent la licence NOODL-1.0 (Nwulite Obodo Open Data License 1.0), arrêtée pour les neuf jeux publiés. Le corpus audio est en accès contrôlé : chaque demande est examinée, et l'utilisateur s'engage à ne pas chercher à identifier les locuteurs ni à cloner leur voix.
• Chaque modèle garde la licence de son modèle de base (Apache 2.0, CC-BY-NC 4.0, Llama 3.1).
• Les rapports et les pièces de ce dépôt sont diffusés sous CC BY 4.0.
• Trois jeux sont soumis, en attente de validation, sur Mozilla Data Collective.
• Les livrables contractuels L3, L4 et L5 ne sont pas diffusés ici.

Protection des personnes

Les pièces sont pseudonymisées : aucun nom ni coordonnée de validateur, d'annotateur ou de locuteur n'y figure. Les fichiers bruts de collecte et les formulaires de consentement ne sont pas diffusés. Pour demander le retrait d'un enregistrement : contact@congo-digital.com, en indiquant le lieu et la date approximative.

Citer ce dépôt

Congo Digital Services (2026). MALOBA — rapports d'évaluation et d'entraînement. Hugging Face. Licence CC BY 4.0.

Vérifier l'intégrité

sha256sum -c --quiet SHA256SUMS

Aucune sortie : tout concorde.

---

---

MALOBA — evaluation and training reports, attachments and logs

Lingala digitisation and acceleration project. Local Language Accelerator programme, United Nations Development Programme. Contract no. 10479844 · COG-00153. Implemented by Congo Digital Services SAS, for the WYMEE / CDS / SACLI consortium, under the Ministry of Posts, Telecommunications and the Digital Economy.

Results are frozen as of 30 September 2026. This repository gathers what was done, measured and published, together with its limits.

What this repository holds

E02 (NLLB statistical tests) exists in French only. The E10 report is not released here; its attachments are.

Figures, frozen as of 30 September 2026

Limits at closure

Observed facts, quantified, with no follow-up committed.

• 58.1 hours annotated and verified, below the 80 to 100 hour range of the terms of reference.
• The number of distinct speakers in corpus V3.2 is not established.
• Agreement between human validators stays below the 0.60 threshold set before the campaigns: the rates are published as indicative.
• The test sets hold 19 recordings, 50 images and 79 sentences.
• Lingala spelling is not settled: the variation accounts for about 5 % of WER on the references.
• Disagreement between human transcribers reaches 12 % at character level: that is the measured floor.
• The Impfondo and Talangaï collections were not carried out.
• Llama 3.1 is a measured reference model: it is not deployed. Its human evaluation was not carried out, the resources having gone to translation.
• The model access point is being commissioned.

Resources gathered, outside the annotated corpus

• Health Voice-a-thon: 11 recordings from 10 people. No duration of speech is published.
• About 150 h of Radio Rurale magnetic tape, not digitised.
• SIL Congo written corpus: 22 documents, 1,008 pages. They were used for document reading; they are not released as running text.

Licences and release

• The datasets carry the NOODL-1.0 licence (Nwulite Obodo Open Data License 1.0), settled for the nine published datasets. The speech corpus is under controlled access: every request is reviewed, and the user undertakes not to seek to identify the speakers or to clone their voice.
• Each model keeps the licence of its base model (Apache 2.0, CC-BY-NC 4.0, Llama 3.1).
• The reports and attachments in this repository are released under CC BY 4.0.
• Three datasets are submitted, pending validation, on Mozilla Data Collective.
• Contractual deliverables L3, L4 and L5 are not released here.

Protection of individuals

Attachments are pseudonymised: no name and no contact details of any validator, annotator or speaker appear in them. Raw collection files and consent forms are not released. To request the withdrawal of a recording: contact@congo-digital.com, giving the place and the approximate date.

Citing this repository

Congo Digital Services (2026). MALOBA — evaluation and training reports. Hugging Face. CC BY 4.0 licence.