Files are missing
#1
by H4ckX0R - opened
En el model.safetensors.index.json se indican tres archivos .safetensor pero en el repositorio s贸lo hay uno.
Three .safetensor files are indicated in the model.safetensors.index.json but there is only one in the repository.
al estar cuantizado no es necesario el archivo, no deber铆as de tener problemas para correrlo con las instrucciones del README
Intento correrlo en un servidor con la CPU, s茅 que lo ideal es tener el modelo en gguf, pero tampoco tengo suficiente RAM para convertir el modelo normal a GGUF y he intentado usar este con un script usando transformer.
Exllama es s贸lo gpu, por eso estoy buscando otras formas.
Estamos trabajando en la versi贸n GGUF
Entonces perfecto, estar茅 atento a twitter. Muchas gracias.
H4ckX0R changed discussion status to closed
This comment has been hidden