FROM ghcr.io/ggml-org/llama.cpp:server

ENV LLAMA_ARG_HF_REPO=speakleash/Bielik-11B-v3.0-Instruct-GGUF
ENV LLAMA_ARG_HF_FILE=Bielik-11B-v3.0-Instruct.Q4_K_M.gguf
ENV LLAMA_ARG_HOST=0.0.0.0
ENV LLAMA_ARG_PORT=7860
ENV LLAMA_ARG_CTX_SIZE=262144
ENV HOME=/tmp
ENV XDG_CACHE_HOME=/tmp/.cache

EXPOSE 7860