siglip2-base-patch16-224-dress

google/siglip2-base-patch16-224의 비전 인코더를 GLAMI-1M 드레스 이미지로 LoRA fine-tune한 뒤 base에 합친(merged) 가중치입니다. 드레스 이미지 검색용 이미지 임베딩(768차원)을 만들 때 씁니다. 텍스트 타워는 base와 같습니다.

사용법

import torch
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

repo = "sungjin-code/siglip2-base-patch16-224-dress"
model = AutoModel.from_pretrained(repo).eval()
processor = AutoImageProcessor.from_pretrained(repo)

images = [Image.open("a.jpg").convert("RGB"), Image.open("b.jpg").convert("RGB")]
with torch.no_grad():
    output = model.get_image_features(**processor(images=images, return_tensors="pt"))
features = getattr(output, "pooler_output", output)  # transformers v5는 출력 객체를 반환합니다
embeddings = torch.nn.functional.normalize(features, dim=-1)  # (N, 768), L2 정규화
similarity = embeddings @ embeddings.T                        # 내적 = 코사인 유사도

• 입력은 SigLIP2 프로세서가 비율을 무시하고 224×224로 바꿉니다.
• 텍스트도 같은 공간에 임베딩할 수 있습니다(get_text_features, 64토큰 max-length padding). 다만 이 모델은 이미지↔이미지 검색을 목표로 평가했습니다.

학습

• 데이터: GLAMI-1M에서 dresses 카테고리 26,183장(OWLv2 "dress" 점수 0.01 이하 제외).
• 방법: 비전 인코더(attention + MLP)에 LoRA(r=32, alpha=64, dropout 0.3)를 붙이고 텍스트 타워는 고정한 채 이미지-텍스트 대칭 InfoNCE로 학습했습니다. 텍스트는 "{상품명}. {설명}"(64토큰), lr 1e-4, 최대 20 epoch, 검증 text→image Recall@5 기준 early stopping.
• 보조 작업: OWLv2가 만든 드레스 박스를 예측하는 작은 head(가중치 0.3), 학습 이미지에 color jitter(밝기·대비·채도 0.6). 이 head는 이 저장소에 포함되어 있지 않습니다.

평가

Pexels 사진 100장(드레스를 입은 사람)에서 이미지 한 장을 쿼리로, 나머지 99장을 검색합니다. 정답은 사람이 라벨링한 것이 아니라 EmbeddingGemma 2로 만든 임시 정답 1개입니다.

모델	R@1	R@3	R@5	R@10	nDCG@5
SigLIP2 base	0.050	0.140	0.210	0.370	0.132
이 모델	0.130	0.270	0.350	0.460	0.242

쿼리가 100개, 정답이 1개뿐이라 R@5의 표준오차가 약 0.045입니다. 작은 차이는 노이즈일 수 있고, 더 큰 모델(Tianmu-MERE 등)과의 격차도 큽니다.

한계

• 학습 데이터는 상품 사진 위주이고, 평가는 야외 인물 사진이라 도메인이 다릅니다.
• GLAMI의 dresses 라벨에는 벨트·신발 등 오라벨이 일부 섞여 있습니다.
• 사람이 작게 찍힌 사진은 224×224 입력에서 드레스 영역이 몇 토큰밖에 되지 않아 성능이 떨어질 수 있습니다.

라이선스

Apache-2.0 (base 모델과 GLAMI-1M 데이터셋 모두 Apache-2.0).