OCR arabe — checkpoint Markdown 1442 — fusion FP32
Modèle complet autonome, fusionné en FP32 et publié dans ce dépôt privé. Instantané du meilleur checkpoint observé lors de sa sélection, le 18 octobre 2026. L'entraînement d'origine n'a pas été arrêté ou reconfiguré pour cet export.
Checkpoint et précision
Base Qwen/Qwen3.5-9B, révision c202236235762e1c871ad0ccb60c8ee5ba337b9a. Checkpoint choisi au début de l'opération par la meilleure validation disponible : étape de phase 1442, étape cumulée 15797, 553728 exemples de la nouvelle phase. SHA-256 : 7c760c468606721272e67b12fc75a5aced61d078634689a0b17f0c5cc7a28954. Eval loss 0,1683539901, mesurée sur le suivi fixe de 256 pages (128 avec tableaux et 128 contrôles), pondérée par tokens. Ce checkpoint est intermédiaire ; le nouvel entraînement n'est pas terminé.
LoRA rank16, alpha32, 128 modules. Formule de fusion : FP32(W_base) + 2 × FP32(B) @ FP32(A). Les poids flottants restent en FP32, sans quantification ou arrondi BF16. 38 612 417 472 octets de tenseurs dans des fichiers safetensors indexés. Les quatre shards de base correspondent par SHA-256 à la révision HF indiquée. Les 775 tenseurs enregistrés ont été relus et comparés ; 128 modules adaptés. Les références FP64 de poids ont passé les contrôles.
Sur les quatre images réelles, comparaison numérique de la référence LoRA FP32 et du modèle fusionné relu : 128 tokens identiques par page, écart maximal des logits 0.00058937073, accord top-1 minimal 100.000000%. Les détails sont dans evaluation-summary.json. La génération BF16-base + LoRA FP32 peut différer de la génération fusionnée entièrement FP32 : une fusion correcte n'implique pas une identité bit à bit avec l'exécution BF16 originale.
Inférence
Exemple : python inference_example.py page.png --model . --output page.md Transformers 5.8.x, PyTorch, Pillow et GPU suffisamment grand requis. Charger explicitement dtype=torch.float32 ; ne pas activer autocast BF16 si l'objectif est de conserver la précision du présent modèle. Prévoir au moins 38,7 Go pour les seuls poids, plus les activations/cache. Les tests ont utilisé un H200 libre séparé du GPU d'entraînement. Les chemins PyTorch natifs sont utilisés pour delta/conv/norm FP32 ; le SDPA cuDNN a été désactivé après un blocage de compilation NVRTC observé. L'exemple configure ces choix de façon explicite.
Contexte d'entraînement 8192, inchangé. Tests avec 1463 tokens d'entrée, 6000 tokens de sortie possibles (7463 au total, sous 8192). Image entière, redimensionnement proportionnel à 1344 pixels maximum, sans recadrage, sans vérité terrain dans la requête. Le plus grand contexte natif dans config.json vient de Qwen et est conservé ; il n'a pas été validé par ces tests et ne décrit pas le contexte d'entraînement.
Limites
Quatre pages illustratives : BO 5500 pages 1, 8, 22 et BO 5702 page 157. La référence non fusionnée et le modèle fusionné ont été testés séparément. Chaque arrêt par EOS est enregistré, mais un EOS ne prouve pas l'exhaustivité. Ces essais ne constituent pas un benchmark CER/WER global. Des omissions, erreurs sur les nombres ou hallucinations de cellules restent possibles. Les tableaux Markdown ne reproduisent pas exactement les cellules fusionnées. Les transcriptions brutes et les images sont livrées dans le rapport séparé, sans correction manuelle des sorties.
Licence Apache 2.0 du modèle de base conservée dans LICENSE.
- Downloads last month
- 10