ai-sage

/

Giga-Embeddings-instruct

like 102

Follow

ai-sage 347

Можно ли получить ответ?

Не совсем понимаю вопрос про RAM, у вас же модель на GPU?

Я писал:
❝ И отдельно, сколько vRAM требуется для модели?

Это как раз про память GPU

Напоминаю о вопросе
Всё ещё актуально

Можно получить ответ?

Минимально возможная конфигурация для запуска это 8gb vram/ram, но в таком случае не получится использовать батчи.

Вижу, что суммарный объём файлов .safetensors занимает 14 ГБ
Нужно как-то по особенному поднимать модель, чтобы она заняла 8gb vram/ram?

Да, модель тренировалась и валидировалась в формате bf16. В карточке модели есть пример запуска

model = AutoModel.from_pretrained(
    'ai-sage/Giga-Embeddings-instruct', 
    attn_implementation="flash_attention_2", 
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
)

Если использовать этот аргумент при загрузке модели torch_dtype=torch.bfloat16, во время инференса она будет занимать 7gb вместо 14