Qwen3.5-9B GGUF (Metadata Corrected)

Esta es una versión del modelo Qwen3.5-9B convertida y cuantizada a formato GGUF utilizando llama.cpp.

¿Por qué esta versión?

Metadata verificada para 8.95 B de parámetros. Este modelo es la variante más potente de la familia que puede ejecutarse en CPUs de consumo masivo, proporcionando respuestas mucho más matizadas y precisas.

Archivos incluidos

• Q4_K_M: Recomendado para sistemas con 8GB-16GB de RAM (~5.23 GiB).
• Q8_0: Versión de alta fidelidad (~8.86 GiB). Nota: Puede requerir el uso de Swap en sistemas de 8GB.

Rendimiento (Benchmark Local)

Resultados obtenidos en un Intel Core i5-4460 @ 3.20GHz utilizando 4 hilos en CPU:

Model	Size	Params	Backend	Threads	Test	t/s
qwen35 9B Q4_K_M	5.23 GiB	8.95 B	CPU	4	pp512	13.00 ± 0.02
qwen35 9B Q4_K_M	5.23 GiB	8.95 B	CPU	4	tg128	3.13 ± 0.01
qwen35 9B Q8_0	8.86 GiB	8.95 B	CPU	4	tg128	2.13 ± 0.00

Instrucciones de uso

./llama-cli -m Qwen3.5-9B-MIO-Q4_K_M.gguf -p "¿Cuáles son las ventajas de usar GGUF en CPU?" -n 512