Спасибо!
#1
by
sharsk
- opened
Спасибо! Будем тестировать, а квантовать не пробовали?
надо бы на ollama обавить
@sharsk
привет! Вот есть https://huggingface.co/nn-tech/MetalGPT-1-AWQ
Также я у себя разместил ее для тестов - https://huggingface.co/spaces/kb-42/nornickel-metalgpt-awq-test