| FROM ./tito-q4_0.gguf | |
| PARAMETER stop "<|im_end|>" | |
| PARAMETER stop "<|end_of_text|>" | |
| PARAMETER stop "<|eom_id|>" | |
| PARAMETER stop "<|eot_id|>" | |
| PARAMETER temperature 0.8 | |
| PARAMETER top_p 0.95 | |
| PARAMETER top_k 40 | |
| TEMPLATE """<|im_start|>user | |
| {{ .Prompt }}<|im_end|> | |
| <|im_start|>assistant | |
| """ | |