Landesadel/clip-sae-cifar10

SAE для CLIP (учебный проект)

Разреженный автоэнкодер, обученный на признаках CLIP-ViT-L/14.

Параметры

• Входная размерность: 1024
• Размер словаря (латентов): 131072
• Коэффициент расширения: 128x
• Базовая модель: openai/clip-vit-large-patch14
• Слой: выход визуального энкодера (CLS токен)

Использование

from src.sae import SparseAutoencoder
    
model = SparseAutoencoder.from_pretrained("Landesadel/clip-sae-cifar10", device="cuda")
latents = model.encode(clip_features)  # Получить активации латентов
recon = model.decode(latents)          # Реконструировать признаки

Применение

Интерпретация признаков CLIP Управление генерацией в Kandinsky 2.2 через активацию латентов Учебный проект по интерпретируемости мультимодальных моделей.