| --- |
| license: apache-2.0 |
| language: |
| - en |
| - fr |
| library_name: transformers |
| pipeline_tag: image-text-to-text |
| base_model: |
| - allenai/MolmoPoint-8B |
| datasets: |
| - fireviewer/fire-smoke-pointing-ground-v1 |
| tags: |
| - molmo_point |
| - multimodal |
| - grounding |
| - pointing |
| - fire |
| - smoke |
| - wildfire |
| - fireviewer |
| --- |
| |
| # FireViewer MolmoPoint 8B Fire/Smoke Pointing |
|
|
| Modèle MolmoPoint autonome spécialisé pour pointer, depuis une vue terrestre, |
| les flammes visibles et l'origine visuelle d'une colonne de fumée. Le modèle |
| complet BF16 a été reconstruit à partir du checkpoint natif MolmoPoint puis des |
| 14 tenseurs FireWarning appris au pas 600. |
|
|
| Le dépôt contient : |
|
|
| - les poids complets `safetensors` chargeables avec Transformers ; |
| - le processeur, le tokenizer, la configuration et le code de modèle requis ; |
| - les checkpoints légers FireWarning des pas 400, 500 et 600 ; |
| - les empreintes et le manifeste de provenance du run. |
|
|
| ## Chargement |
|
|
| ```python |
| import torch |
| from transformers import AutoModelForImageTextToText, AutoProcessor |
| |
| model_id = "fireviewer/molmopoint-8b-fire-smoke-pointing" |
| processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) |
| model = AutoModelForImageTextToText.from_pretrained( |
| model_id, |
| trust_remote_code=True, |
| torch_dtype=torch.bfloat16, |
| device_map="auto", |
| ) |
| ``` |
|
|
| Sur une image, interroger séparément les cibles `visible flames` et |
| `smoke column origin`. Le modèle renvoie des points image ; la conversion en |
| coordonnées géographiques reste la responsabilité du recalage caméra/MNT de |
| FireViewer. |
|
|
| ## Entraînement FireWarning |
|
|
| - base : `allenai/MolmoPoint-8B` / checkpoint natif `step23000` ; |
| - corpus : `fireviewer/fire-smoke-pointing-ground-v1` ; |
| - vues terrestres uniquement ; |
| - 600 pas, checkpoints tous les 100, checkpoints retenus 400/500/600 ; |
| - seuls les modules de pointage ont été entraînés ; le LLM, le ViT et le |
| connecteur sont restés gelés ; |
| - export final autonome en BF16 et configuration SDPA portable. Une exécution |
| peut sélectionner Flash Attention 2 si son environnement l'installe. |
|
|
| ## Benchmark indépendant du 28 juillet 2026 |
|
|
| Le modèle complet a été comparé à MolmoPoint-8B non adapté et à |
| Florence-2-large-ft sur 20 images terrestres, avec 18 cibles attendues : |
|
|
| | Modèle | Cibles retournées | Distance moyenne normalisée | Médiane | Hit@5 % | Images/s | |
| |---|---:|---:|---:|---:|---:| |
| | FireViewer MolmoPoint-8B | 14/18 | **0,0520** | **0,0422** | **57,1 %** | 0,544 | |
| | MolmoPoint-8B base | 14/18 | 0,0578 | 0,0501 | 50,0 % | 0,566 | |
| | Florence-2-large-ft | 18/18 | 0,1925 | 0,1820 | 0 % | **3,72** | |
|
|
|  |
|
|
|  |
|
|
| Le fine-tuning réduit la distance moyenne d'environ 10,1 %, la médiane |
| d'environ 15,7 % et améliore Hit@5 % de 7,1 points. Le cas le plus difficile |
| reste l'origine visuelle d'une colonne de fumée. La sélection a pour SHA-256 |
| `1d62481d9c5f84e91a78ad731fc6739f352820783ab0b1a3f71842ca28a9b61e`. |
| Le lot de 20 images reste trop petit pour une promotion irrévocable ; un test |
| terrestre élargi est requis. Les versions SVG sont fournies dans `assets/`. |
|
|
| ## Limites |
|
|
| Ce modèle ne prouve ni la position géographique, ni l'étendue complète d'un |
| incendie, ni un front caché. Ses points doivent être contrôlés par les autres |
| capteurs, la géométrie, les sources et la validation humaine FireViewer. |
| L'évaluation quantitative opérationnelle indépendante reste distincte de la |
| validation structurelle de ce dépôt. |
|
|
| ## Licence |
|
|
| Le modèle dérivé conserve la licence Apache-2.0 du modèle de base. Les médias |
| du corpus ont leur propre statut de provenance décrit dans le dépôt dataset ; |
| ils ne sont pas couverts automatiquement par la licence des poids. |
|
|
