config.env

LLAMA_ARG_HOST=0.0.0.0
LLAMA_ARG_PORT=7860
LLAMA_ARG_CTX_SIZE=32768
LLAMA_ARG_N_PARALLEL=1
LLAMA_ARG_THREADS=2
LLAMA_ARG_THREADS_BATCH=2
LLAMA_ARG_BATCH_SIZE=4096
LLAMA_ARG_UBATCH_SIZE=4096
LLAMA_ARG_FLASH_ATTN=true
LLAMA_ARG_JINJA=true
LLAMA_ARG_MMAP=false