How to use Q8 with loras

#8
by braxxaz - opened

Hi, been wondering since Q8 only has one gguf file, how do I set it up and also with loras, yes I have workflows for the others but this one confuses me a lot. thanks

QuantStack org

Hola @braxxaz si usas de referencia tus otros flujos solo tienes que agregar el cargador lora puede ser “ LoraLoaderModelOnly” y lo conectas luego del nodo de carga GGUF “UNET Loader (GGUF)” del custom node “ComfyUI-GGUF” de City96

Hey gracias pero ahi es donde me confundo porque son dos loras ciertos high and low? cual de las dos uso o cual puedo usar que tenga las dos?

This comment has been hidden (marked as Off-Topic)
braxxaz changed discussion status to closed
braxxaz changed discussion status to open
QuantStack org

No, en este caso no es así porque el Wan2.2 5B es un solo archivo de modelo. En Wan2.2 14B si son los modelos separados “High” y el “Low” si entras al org podrás encontrar esa versión 14B

QuantStack org

Estas ejecutándolo en ComfyUI?

si, en comfyui, ahh ok ok es que estaba usando el Q5 y el 14B de 9 Gb pero pasa que la compu se pega al rato cuando llega a hacer los pasos de los loras, y en separado sin usar loras tambien, es una RTX 3050 de 8gb por eso estaba buscando que usar bien

QuantStack org

Entiendo mira aquí te dejo un discord de una comunidad de habla hispana estoy activo en ese server ayudando y también hay más usuarios activos. Se habla de ComfyUI, Forge y varias IA por si te interesa y allá también te puedo ayudar mejor que por esta vía

https://discord.gg/CgTRcxyp

Sign up or log in to comment