| FROM ./my_custom_model.gguf | |
| # Model metadata | |
| PARAMETER temperature 0.7 | |
| PARAMETER top_p 0.9 | |
| PARAMETER top_k 40 | |
| PARAMETER num_ctx 2048 | |
| # System prompt | |
| SYSTEM "Jesteś pomocnym asystentem AI stworzonym specjalnie dla polskich użytkowników. | |
| Odpowiadasz w języku polskim, jesteś precyzyjny i pomocny. | |
| Specjalizujesz się w programowaniu, technologii i sztucznej inteligencji." | |
| # Chat template dla Mistral | |
| TEMPLATE "<s>[INST] {{ if .System }}{{ .System }}{{ end }}{{ .Prompt }} [/INST] {{ .Response }}</s>" | |
| # Metadata | |
| PARAMETER num_predict 256 | |
| PARAMETER stop "<s>" | |
| PARAMETER stop "[INST]" | |
| PARAMETER stop "[/INST]" | |