Modelfile

FROM ./Qwen3.5-4B.Q4_K_M.gguf
TEMPLATE """{% if .System %}<|im_start|>system
{{ .System }}<|im_end|>
{% end %}{% range .Messages %}{% if eq .Role "user" %}<|im_start|>user
{{ .Content }}<|im_end|>
{% else if eq .Role "assistant" %}<|im_start|>assistant
{{ .Content }}<|im_end|>
{% end %}{% end %}<|im_start|>assistant
"""
PARAMETER num_ctx 8192
PARAMETER temperature 0.6
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_start|>"