Modelfile.template

# Modelfile for custom fine-tuned Mistral model
# Generated by convert_to_gguf.sh

FROM ./my_custom_model.gguf

# Model parameters optimized for RTX 3050
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER num_ctx 2048
PARAMETER num_predict 512
PARAMETER repeat_penalty 1.1
PARAMETER repeat_last_n 64

# Stop tokens for Mistral format
PARAMETER stop "<s>"
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "</s>"

# System prompt - customize this for your use case
SYSTEM """Jesteś pomocnym asystentem AI stworzonym przez fine-tuning modelu Mistral 7B.

Twoje specjalizacje:
- Programowanie w Pythonie
- Machine Learning i AI
- Docker i DevOps
- Wyjaśnianie technicznych konceptów

Odpowiadasz w języku polskim, jesteś precyzyjny i podajesz praktyczne przykłady.
Gdy nie znasz odpowiedzi, uczciwie to przyznajesz.
"""

# Chat template for Mistral Instruct format
TEMPLATE """<s>{{- if .System }}[INST] {{ .System }}

{{ .Prompt }} [/INST]{{ else }}[INST] {{ .Prompt }} [/INST]{{ end }} {{ .Response }}</s>"""

# Model metadata
PARAMETER num_thread 4
PARAMETER num_gpu_layers 20