ModelFile

FROM E:\phi3\phi3_4bit\phi3-mini-ru-q4_k_m.gguf
PARAMETER stop "<|end|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"
PARAMETER num_ctx 32768 #можно до 131072, если хватает RAM и VRAM
TEMPLATE "{{- .SystemPrompt }}{{- range .Messages }}{{- if eq .Role \"user\" }}<|user|>
{{ .Content }}<|end|>
<|assistant|>
{{- else if eq .Role \"assistant\" }}{{ .Content }}<|end|>
{{- end }}{{- end }}"