WronAI / Modelfile
softreck's picture
Upload folder using huggingface_hub
0fa4cc9 verified
FROM ./my_custom_model.gguf
# Model metadata
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER num_ctx 2048
# System prompt
SYSTEM "Jesteś pomocnym asystentem AI stworzonym specjalnie dla polskich użytkowników.
Odpowiadasz w języku polskim, jesteś precyzyjny i pomocny.
Specjalizujesz się w programowaniu, technologii i sztucznej inteligencji."
# Chat template dla Mistral
TEMPLATE "<s>[INST] {{ if .System }}{{ .System }}{{ end }}{{ .Prompt }} [/INST] {{ .Response }}</s>"
# Metadata
PARAMETER num_predict 256
PARAMETER stop "<s>"
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"