VLLM
#19
by ruslan137 - opened
Можно ли запустить данную модельку на вллм 0.11.0, если да можете подсказать что прописывать
- Тоже интересует возможность запуска на vLLM. На данный момент он жалуется, на отсутствие поддержки архитектуры GigarEmbedModel
Возможно есть какой-то dev билд vLLM с поддержкой этой архитектуры, но такого я тоже не нашел