File size: 2,271 Bytes
4e44d58 1a87b67 4e44d58 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 |
---
license: mit
tags:
- openclip
- vision-language
- image-classification
- zero-shot
- transfer-learning
library_name: timm
datasets:
- CUB_200_2011
- DTD
- FungiCLEF_2022
model-index:
- name: OpenCLIP - дообученные чекпоинты
results: []
---
# OpenCLIP: дообученные чекпоинты для различных доменов
Этот репозиторий содержит несколько чекпоинтов модели OpenCLIP, дообученных на различных датасетах для решения задач zero-shot классификации изображений.
## Описание модели
- **Базовая архитектура:** OpenCLIP (ViT backbone)
- **Дообучение:** Каждый чекпоинт соответствует разным экспериментам
- **Поддерживаемые задачи:** Классификация изображений
## Доступные чекпоинты
- `default_finetune_openclip_v1_epoch4_h.402...`:
Стандартное дообучение, OpenCLIP v1, 4 эпохи, best gzsl на всех классах - 0.382
- `default_finetune_openclip_v1_epoch1_uns0.38...`:
Стандартное дообучение, OpenCLIP, 1 эпоха, "uns0.38" — best тончность на unseen_classes - 0.44.
- `finetuned_openclip_v3_epoch1_h0.382...`:
Калибрация bias, OpenCLIP, 1 эпоха, "h0.382" — best gzsl на всех классах - 0.382
- `finetuned_openclip_v3_epoch1_uns0.44...`:
Калибрация bias, OpenCLIP, 1 эпоха, "uns0.44" — best тончность на unseen_classes - 0.44.
Каждый чекпоинт сохранён в формате PyTorch `.pickle` (~605 МБ) и требует наличия [Git LFS](https://git-lfs.com/).
## Использование
Загрузка чекпоинта в PyTorch:
```python
import torch
model = torch.load("finetuned_openclip_v3_epoch1_h0.3820202...pickle", map_location="cpu")
# Если используете официальный OpenCLIP:
# from open_clip import create_model_and_transforms
# model, _, _ = create_model_and_transforms('ViT-B/32', pretrained='laion2b_s34b_b79k')
```
|