finanfa-ocr / README.md
Ronaldodev's picture
v1.2: Add African language tags and benchmarks (Fongbe, Yoruba, Peul, Biali, Bariba, Dendi)
399ad7a verified
|
Raw History Blame Contribute Delete
7.19 kB
---
library_name: onnx
license: openrail
license_link: LICENSE
pipeline_tag: image-to-text
language:
- fon
- yo
- fuv
- ful
- bba
- den
- beh
- ha
- sw
- en
- fr
- ha
- sw
- ar
- de
- es
- it
- pt
- nl
- pl
- cs
- sk
- ro
- hu
- sv
- da
- no
- fi
- tr
- az
- uz
- vi
- id
- ms
- ru
- uk
- bg
- sr
- el
- zh
- ja
- ko
- fa
- ur
- ps
- he
- hi
- mr
- ne
- bn
- ta
- te
- kn
- ml
- gu
- pa
- or
- th
- lo
- km
- my
- si
- ka
- hy
- am
tags:
- ocr
- onnx
- cpu
- pdf
- markdown
- layout
- document-parsing
- handwriting
- multilingual
- finanfa-tech
- vision
---
<p align="center">
<img src="assets/finanfa-ocr-banner.png" alt="Finanfa OCR Banner" width="100%"/>
</p>
# Finanfa OCR — Reconnaissance de Texte & Intelligence Documentaire Hors-Ligne (ONNX, CPU)
**Finanfa OCR** est un modèle d'OCR et d'analyse de documents ultra-rapide et autonome, fonctionnant **100% sur CPU sans GPU**, conçu pour transformer les documents scannés, les photos, les formulaires administratifs et les fichiers PDF en **Markdown structuré, texte brut ou JSON avec boîtes englobantes**.
Publié par **[Finanfa Tech](https://huggingface.co/finanfa-tech)** dans le cadre des solutions de vision et d'intelligence artificielle souveraines pour l'Afrique et l'international.
---
## ⚡ Caractéristiques Principales
- **Ultra-rapide sur CPU :** ~200 ms par page sur un processeur standard 4 cœurs (plus de 40 pages/s sur serveurs multi-cœurs).
- **Écriture Manuscrite & Imprimée :** Reconnait les textes dactylographiés, les formulaires remplis à la main, les reçus et les lettres manuscrites.
- **Résistant aux conditions réelles :** Redressement automatique des pages inclinées (jusqu'à 45°), à l'envers ou prises de travers (`orient.onnx`).
- **Compréhension de Mise en Page (Layout) :** Détecte la hiérarchie logique des blocs : titres, listes, colonnes multiples, tableaux, notes de bas de page (`order.onnx`).
- **Support Multilingue & Spécialisation Africaine (+80 Langues) :**
- **Langues africaines testées et spécialisées :**
- **Fongbé (`fon`) :** Reconnaissance native de `ɖ, Ɖ, ɛ, Ɛ, ɔ, Ɔ` et des tons.
- **Yorùbá (`yo`) :** Reconnaissance native de `ẹ, Ẹ, ọ, Ọ, ṣ, Ṣ` et des diacritiques tonals.
- **Peul / Fulfulde (`fuv` / `ful`) :** Lettres injectives et nasales `ɓ, Ɓ, ɗ, Ɗ, ƴ, Ƴ, ñ, Ñ, ŋ, Ŋ, '`.
- **Biali (`beh`) :** Lettre schwa `ǝ, Ə`.
- **Bariba / Baatɔnum (`bba`) :** Voyelles nasales et tildes `ɔ̃, ɛ̃, ã, ẽ, ĩ, õ, ũ, w̃, k̃, s̃, t̃`.
- **Dendi (`den`) :** Vélaire nasale `ŋ, Ŋ`, `ɲ`, élisions et apostrophes.
- **Hausa (`ha`) & Swahili (`sw`) :** Caractères latins et diacritiques sahéliens/bantous.
- **Scripts Latins & Français :** Français, Anglais, Portugais, Espagnol, Allemand...
- **Scripts Sémitiques & Orientaux :** Arabe, Persan, Ourdou, Hébreu.
- **Scripts CJK & Asiatiques :** Chinois, Japonais, Coréen, Hindi, Thaï, etc.
- **Formules Scientifiques & Mathématiques :** Module intégré d'extraction et de conversion de formules mathématiques (`math_enc.onnx`, `math_dec_step.onnx`).
- **Empreinte Légère :** Pipeline composé de modèles ONNX compacts (taille totale ~97 Mo).
---
## 🏗️ Architecture du Pipeline ONNX
Le traitement s'effectue en plusieurs étapes séquentielles hautement optimisées :
```
Image / Page PDF
│
▼
┌──────────────┐
│ det.onnx │ ──► Détection des zones de texte et segmentation des lignes
└──────────────┘
│
▼
┌──────────────┐
│ orient.onnx │ ──► Détection et correction d'orientation (0°, 90°, 180°, 270°)
└──────────────┘
│
▼
┌──────────────┐
│ order.onnx │ ──► Ordonnancement logique de lecture (lecture multi-colonnes)
└──────────────┘
│
▼
┌──────────────┐
│ rec.onnx / │ ──► Reconnaissance textuelle (Latin, CJK, RTL, World)
│ lm.npz │ avec correction n-gram de modèle de langage
└──────────────┘
│
▼
Sortie : Markdown / JSON / Texte
```
---
## 🚀 Utilisation Rapide
### Pré-requis
```bash
pip install onnxruntime numpy pillow
hf download finanfa-tech/finanfa-ocr --local-dir finanfa-ocr
```
### Exemple de chargement ONNX direct
```python
import onnxruntime as ort
import json
# Chargement du détecteur et du reconnaisseur
det_session = ort.InferenceSession("finanfa-ocr/det.onnx")
rec_session = ort.InferenceSession("finanfa-ocr/rec.onnx")
with open("finanfa-ocr/meta.json", "r") as f:
meta = json.load(f)
print(f"Finanfa OCR prêt ! Vocabulaire de {len(json.loads(meta['vocab'])['chars'])} caractères.")
```
---
## 🌍 Validation & Benchmarks sur les Langues Africaines (v1.2)
Finanfa OCR a été entraîné et validé sur un corpus multilingue de **138 477 phrases** combinant les langues nationales ouest-africaines et le français :
| Langue | Code | Caractères clés validés | Exemple de phrase testée | Reconnaissance Finanfa OCR |
| :--- | :---: | :--- | :--- | :--- |
| **Français** | `fr` | `é, è, ê, à, ç, œ` | `Moïse retourna vers l'Éternel et dit: Seigneur.` | `Moïse retourna vers l'Éternel...` |
| **Fongbé** | `fon` | `ɖ, Ɖ, ɛ, Ɛ, ɔ, Ɔ` | `Dan ɖu i wɛ a ?` | `Dan ɖu i wɛ a ?` |
| **Yorùbá** | `yo` | `ẹ, Ẹ, ọ, Ọ, ṣ, Ṣ` | `Ṣé àlàáfíà ni gbogbo yín wà?` | `Ṣé àlàáfíà ni gbogbo yín wà?` |
| **Peul / Fulfulde** | `ful` | `ɓ, Ɓ, ɗ, Ɗ, ƴ, Ƴ, ñ, ŋ, '` | `Ɗum ko kumpital e ɓamtaare ŋalɗi ƴellitaare...` | `Ɗum ko kumpital e ɓamtaare ŋalɗi...` |
| **Biali** | `beh` | `ǝ, Ə` (schwa) | `Yesu Kirisu yeinǝ Abǝraham dǝ Dafidǝ...` | `Yesu Kirisu yeinǝ Abǝraham dǝ Dafidǝ...` |
| **Bariba** | `bba` | `ɔ̃, ɛ̃, ã, ẽ, ĩ, õ, ũ, w̃` | `Wunɛn yĩsiru n koo sɔ̃ɔ̃si kpa wunɛn bɔ̃ɔri n nɛɛ.` | `Wunɛn yĩsiru n koo sɔ̃ɔ̃si...` |
| **Dendi** | `den` | `ŋ, Ŋ, ɲ` | `Ay n'i te no ay koy nda ay ŋwa hari.` | `Ay n'i te no ay koy nda ay ŋwa hari.` |
---
## 📊 Performances & Débit
<p align="center">
<img src="assets/throughput.png" width="650px"/>
</p>
| Moteur OCR | 4 cœurs | 8 cœurs | 16 cœurs | 32 cœurs (Max) |
| :--- | :---: | :---: | :---: | :---: |
| **Finanfa OCR** | **6.5 p/s** | **12.4 p/s** | **24.5 p/s** | **45.0 pages/s** |
| Indra OCR | 6.2 p/s | 11.9 p/s | 23.7 p/s | 43.9 pages/s |
| PaddleOCR PP-OCRv6 | 0.65 p/s | 1.24 p/s | 2.42 p/s | 4.28 pages/s |
| Tesseract 5 | 0.78 p/s | 1.37 p/s | 2.27 p/s | 2.92 pages/s |
| PaddleOCR PP-StructureV3* | ≤ 0.02 p/s | ≤ 0.04 p/s | ≤ 0.09 p/s | ≤ 0.18 pages/s |
---
## 📜 Attributions & Licence
- **Architecture de base :** Dérivée des travaux d'optimisation ONNX de Datalab (`datalab-to/indra-ocr`).
- **Licence :** OpenRAIL-M License (voir fichier `LICENSE`).
- **Édition & Distribution :** [Finanfa Tech](https://huggingface.co/finanfa-tech) (Bénin & Afrique de l'Ouest).