laicsiifes/flickr8k-pt-br
Viewer • Updated • 8k • 90 • 2
How to use brunoslm/visiovetor with Transformers:
# Use a pipeline as a high-level helper
from transformers import pipeline
pipe = pipeline("zero-shot-image-classification", model="brunoslm/visiovetor")
pipe(
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/parrots.png",
candidate_labels=["animals", "humans", "landscape"],
) # pip install -U transformers accelerate
# Load model directly
from transformers import AutoProcessor, AutoModelForZeroShotImageClassification
processor = AutoProcessor.from_pretrained("brunoslm/visiovetor")
model = AutoModelForZeroShotImageClassification.from_pretrained("brunoslm/visiovetor", device_map="auto")SigLIP 2 base com fine-tuning contrastivo em legendas em português do Brasil (Flickr8k PT-BR), para busca de imagens por texto e de texto por imagem.
É o modelo usado no VisioVetor, uma engine de busca semântica multimodal, onde estão também o app e o código de treino.
Validação com 1000 imagens do Flickr8k PT-BR, fora do treino (5 legendas por imagem). Recall@K em %.
| Métrica | Base | Ajustado | Ganho |
|---|---|---|---|
| Texto → imagem R@1 | 66,2 | 72,1 | +5,9 |
| Texto → imagem R@5 | 87,6 | 91,7 | +4,1 |
| Texto → imagem R@10 | 93,3 | 96,1 | +2,8 |
| Imagem → texto R@1 | 82,5 | 87,9 | +5,4 |
| Imagem → texto R@5 | 96,0 | 97,6 | +1,6 |
| Imagem → texto R@10 | 98,5 | 99,0 | +0,5 |
L = -1/B Σᵢⱼ log σ(zᵢⱼ · (τ·tᵢ·iⱼ + b)).O script completo está em scripts/finetune.py.
import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor
modelo = AutoModel.from_pretrained("brunoslm/visiovetor").eval()
processador = AutoProcessor.from_pretrained("brunoslm/visiovetor")
textos = ["um cachorro correndo na grama", "crianças brincando na água"] # SigLIP espera minúsculas
imagem = Image.open("foto.jpg").convert("RGB")
with torch.no_grad():
entrada = processador(text=textos, images=imagem, padding="max_length", max_length=64, return_tensors="pt")
saida = modelo(**entrada)
print(torch.sigmoid(saida.logits_per_image)) # probabilidade de cada texto descrever a imagem
Base model
google/siglip2-base-patch16-224