---
license: apache-2.0
language:
- en
- fr
library_name: transformers
pipeline_tag: image-text-to-text
base_model:
- allenai/MolmoPoint-8B
datasets:
- fireviewer/fire-smoke-pointing-ground-v1
tags:
- molmo_point
- multimodal
- grounding
- pointing
- fire
- smoke
- wildfire
- fireviewer
---

# FireViewer MolmoPoint 8B Fire/Smoke Pointing

Modèle MolmoPoint autonome spécialisé pour pointer, depuis une vue terrestre,
les flammes visibles et l'origine visuelle d'une colonne de fumée. Le modèle
complet BF16 a été reconstruit à partir du checkpoint natif MolmoPoint puis des
14 tenseurs FireWarning appris au pas 600.

Le dépôt contient :

- les poids complets `safetensors` chargeables avec Transformers ;
- le processeur, le tokenizer, la configuration et le code de modèle requis ;
- les checkpoints légers FireWarning des pas 400, 500 et 600 ;
- les empreintes et le manifeste de provenance du run.

## Chargement

```python
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "fireviewer/molmopoint-8b-fire-smoke-pointing"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
```

Sur une image, interroger séparément les cibles `visible flames` et
`smoke column origin`. Le modèle renvoie des points image ; la conversion en
coordonnées géographiques reste la responsabilité du recalage caméra/MNT de
FireViewer.

## Entraînement FireWarning

- base : `allenai/MolmoPoint-8B` / checkpoint natif `step23000` ;
- corpus : `fireviewer/fire-smoke-pointing-ground-v1` ;
- vues terrestres uniquement ;
- 600 pas, checkpoints tous les 100, checkpoints retenus 400/500/600 ;
- seuls les modules de pointage ont été entraînés ; le LLM, le ViT et le
  connecteur sont restés gelés ;
- export final autonome en BF16 et configuration SDPA portable. Une exécution
  peut sélectionner Flash Attention 2 si son environnement l'installe.

## Benchmark indépendant du 28 juillet 2026

Le modèle complet a été comparé à MolmoPoint-8B non adapté et à
Florence-2-large-ft sur 20 images terrestres, avec 18 cibles attendues :

| Modèle | Cibles retournées | Distance moyenne normalisée | Médiane | Hit@5 % | Images/s |
|---|---:|---:|---:|---:|---:|
| FireViewer MolmoPoint-8B | 14/18 | **0,0520** | **0,0422** | **57,1 %** | 0,544 |
| MolmoPoint-8B base | 14/18 | 0,0578 | 0,0501 | 50,0 % | 0,566 |
| Florence-2-large-ft | 18/18 | 0,1925 | 0,1820 | 0 % | **3,72** |

![Benchmark de pointage](assets/pointing-benchmark-20260728.png)

![Erreur par type de cible](assets/pointing-by-target-20260728.png)

Le fine-tuning réduit la distance moyenne d'environ 10,1 %, la médiane
d'environ 15,7 % et améliore Hit@5 % de 7,1 points. Le cas le plus difficile
reste l'origine visuelle d'une colonne de fumée. La sélection a pour SHA-256
`1d62481d9c5f84e91a78ad731fc6739f352820783ab0b1a3f71842ca28a9b61e`.
Le lot de 20 images reste trop petit pour une promotion irrévocable ; un test
terrestre élargi est requis. Les versions SVG sont fournies dans `assets/`.

## Limites

Ce modèle ne prouve ni la position géographique, ni l'étendue complète d'un
incendie, ni un front caché. Ses points doivent être contrôlés par les autres
capteurs, la géométrie, les sources et la validation humaine FireViewer.
L'évaluation quantitative opérationnelle indépendante reste distincte de la
validation structurelle de ce dépôt.

## Licence

Le modèle dérivé conserve la licence Apache-2.0 du modèle de base. Les médias
du corpus ont leur propre statut de provenance décrit dans le dépôt dataset ;
ils ne sont pas couverts automatiquement par la licence des poids.