| --- |
| license: mit |
| tags: |
| - oceanguard |
| - marine-species |
| - visual-rag |
| - clip |
| - biodex |
| --- |
| |
| # OceanGuard AI — BioDex assets (visual species RAG) |
|
|
| Assets descargables on-demand por la app OceanGuard AI para la identificación |
| on-device de especies marinas (track **BioDex**), vía RAG visual. |
|
|
| ## Contenido |
|
|
| | Fichero | Descripción | |
| |---------|-------------| |
| | `clip_vitb32.onnx` | Encoder visual OpenCLIP ViT-B/32 (LAION-2B), exportado a ONNX (fp32). Input `pixel_values`[b,3,224,224] (normalización CLIP), output `image_features`[b,512] L2-norm. | |
| | `species_index_v1.bin` | Índice de prototipos (1218 vectores, 203 especies, k=6 por especie) sobre 5788 imágenes reales. Expansión Mediterráneo (BioDex v2): 27 especies semilla + 176 especies mediterráneas (peces óseos, tiburones/rayas, tortugas, mamíferos, cefalópodos, otros moluscos, equinodermos, cnidarios, crustáceos, esponjas, fanerógamas/macroalgas, tunicados, anélidos). Formato autocontenido (header SPEX + float16 + trailer JSONL). | |
| | `species_catalog_v1.json` | Catálogo: nombres científicos + comunes (6 idiomas), AphiaID, ecorregiones MEOW, IUCN. | |
| | `meow_raster_v1.bin` | Ráster MEOW 0.25° (lat/lon → ecorregión). Construido del **shapefile MEOW real** (TNC, Spalding et al. 2007): 232 ecorregiones, 62 provincias, 12 realms. | |
| | `ecoregion_hierarchy_v1.json` | Jerarquía ecorregión → provincia → realm MEOW. | |
|
|
| ## Calidad (retrieval, held-out) |
|
|
| OpenCLIP ViT-B/32 **zero-shot** (sin fine-tuning), medido sobre el set semilla de |
| 27 especies, split 70/30 (383 train / 164 held-out): **top-1 = 84.1 %, top-5 = |
| 98.2 %**. Supera el gate inicial del proyecto (top-1 ≥ 65 %, top-5 ≥ 85 %). La |
| expansión a 203 especies (BioDex v2) amplía la cobertura mediterránea; re-evaluar |
| el retrieval sobre el nuevo conjunto está pendiente. |
|
|
| ## Procedencia y licencias |
|
|
| - **Imágenes de referencia**: iNaturalist + GBIF (research-grade, CC-BY / CC0). |
| Las imágenes NO se redistribuyen aquí; solo los **embeddings derivados**. La |
| atribución por imagen está en `provenance.jsonl` del pipeline. |
| - **Encoder**: OpenCLIP ViT-B/32 LAION-2B — licencia MIT. |
| - **MEOW** (Spalding et al. 2007): TNC, libre con atribución. |
|
|
| ## Notas |
|
|
| - Ráster MEOW + distribuciones por especie son **reales** (shapefile TNC + |
| ocurrencias OBIS/GBIF; 168 especies con ecorregiones reales, 35 cosmopolitas |
| exentas). El filtro geográfico degrada con elegancia (cosmopolitas y sin-datos |
| nunca se excluyen). |
| - Encoder en **fp32 (352 MB)**; fp16 pendiente por incompatibilidad de fusión |
| LayerNorm en ONNX Runtime. |
|
|
| Generado por `finetune/species/` del repo OceanguardAI-App. |
|
|
