Сколько RAM требуется для модели?
Хочу запустить модель в качестве эмбеддера
Сколько RAM требуется для модели?
И отдельно, сколько vRAM требуется для модели?
Можно ли получить ответ?
Не совсем понимаю вопрос про RAM, у вас же модель на GPU?
Я писал:
❝ И отдельно, сколько vRAM требуется для модели?
Это как раз про память GPU
Напоминаю о вопросе
Всё ещё актуально
Можно получить ответ?
Минимально возможная конфигурация для запуска это 8gb vram/ram, но в таком случае не получится использовать батчи.
Вижу, что суммарный объём файлов .safetensors занимает 14 ГБ
Нужно как-то по особенному поднимать модель, чтобы она заняла 8gb vram/ram?
Да, модель тренировалась и валидировалась в формате bf16. В карточке модели есть пример запуска
model = AutoModel.from_pretrained(
'ai-sage/Giga-Embeddings-instruct',
attn_implementation="flash_attention_2",
torch_dtype=torch.bfloat16,
trust_remote_code=True
)
Если использовать этот аргумент при загрузке модели torch_dtype=torch.bfloat16, во время инференса она будет занимать 7gb вместо 14