Тензоры в этой модели называются по другому вызывая множество конфликтов с стандартными фреймворками работы с ИИ той же оперы что и llama.cpp или стандартных transformers.
(скриншот после без успешных попыток починить тензоры)
(скриншот с попытками квантовать модель)
· Sign up or log in to comment