Llama-3 / config.env
ASTAROTH0405's picture
Update config.env
58228d6 verified
raw
history blame contribute delete
257 Bytes
LLAMA_ARG_HOST=0.0.0.0
LLAMA_ARG_PORT=7860
LLAMA_ARG_CTX_SIZE=32768
LLAMA_ARG_N_PARALLEL=1
LLAMA_ARG_THREADS=2
LLAMA_ARG_THREADS_BATCH=2
LLAMA_ARG_BATCH_SIZE=4096
LLAMA_ARG_UBATCH_SIZE=4096
LLAMA_ARG_FLASH_ATTN=true
LLAMA_ARG_JINJA=true
LLAMA_ARG_MMAP=false