VisioVetor · SigLIP 2 ajustado em português

SigLIP 2 base com fine-tuning contrastivo em legendas em português do Brasil (Flickr8k PT-BR), para busca de imagens por texto e de texto por imagem.

É o modelo usado no VisioVetor, uma engine de busca semântica multimodal, onde estão também o app e o código de treino.

Resultados

Validação com 1000 imagens do Flickr8k PT-BR, fora do treino (5 legendas por imagem). Recall@K em %.

Métrica Base Ajustado Ganho
Texto → imagem R@1 66,2 72,1 +5,9
Texto → imagem R@5 87,6 91,7 +4,1
Texto → imagem R@10 93,3 96,1 +2,8
Imagem → texto R@1 82,5 87,9 +5,4
Imagem → texto R@5 96,0 97,6 +1,6
Imagem → texto R@10 98,5 99,0 +0,5

Como foi treinado

  • Dados: 6000 imagens de treino do Flickr8k PT-BR, 5 legendas cada.
  • Perda: sigmoide do SigLIP, L = -1/B Σᵢⱼ log σ(zᵢⱼ · (τ·tᵢ·iⱼ + b)).
  • O que treina: o codificador de imagem fica congelado. Treinam só as 4 últimas camadas do codificador de texto, a cabeça de texto e a temperatura/viés. Assim os vetores das imagens já calculados continuam válidos.
  • Hiperparâmetros: 4 épocas, lote 64, lr 1e-5 (texto) e 1e-4 (temperatura/viés), weight decay 0,05, warmup 10%, semente 42.
  • Tempo: ~23 minutos.

O script completo está em scripts/finetune.py.

Como usar

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

modelo = AutoModel.from_pretrained("brunoslm/visiovetor").eval()
processador = AutoProcessor.from_pretrained("brunoslm/visiovetor")

textos = ["um cachorro correndo na grama", "crianças brincando na água"]  # SigLIP espera minúsculas
imagem = Image.open("foto.jpg").convert("RGB")

with torch.no_grad():
    entrada = processador(text=textos, images=imagem, padding="max_length", max_length=64, return_tensors="pt")
    saida = modelo(**entrada)

print(torch.sigmoid(saida.logits_per_image))  # probabilidade de cada texto descrever a imagem

Limitações

  • Treinado só com fotos do Flickr8k (pessoas, animais, esportes, paisagens). Em outros domínios, como fotos de produtos ou de pratos, o ganho sobre o modelo base pode ser menor.
  • As legendas em português do dataset são traduções, então o modelo vê menos gíria e expressões regionais.
Downloads last month
42
Safetensors
Model size
0.4B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for brunoslm/visiovetor

Finetuned
(155)
this model

Dataset used to train brunoslm/visiovetor