GGUF версия для Ollama и llama.cpp
#2
by
MACreative
- opened
Спасибо alvis44 за модель, она лучше Nemotron-mini и контекста больше, но медленнее. Тем не менее, сконвертировал её в GGUF для llama и квантовал на 4-бит для обычных ПК (меньший размер, совместимость с llama.cpp/Ollama, 4GB VRAM)
https://huggingface.co/MACreative/phi3-mini-128k-instruct-ru-gguf
Можете добавить в этот репозиторий