Xlnk commited on
Commit
a49e254
·
verified ·
1 Parent(s): 6ea5e99

Update start.sh

Browse files
Files changed (1) hide show
  1. start.sh +4 -2
start.sh CHANGED
@@ -4,6 +4,8 @@
4
  --model /models/model.gguf \
5
  --host 0.0.0.0 \
6
  --port 7860 \
7
- --ctx-size 2048 \
8
  --threads 2 \
9
- --n-predict 256
 
 
 
 
4
  --model /models/model.gguf \
5
  --host 0.0.0.0 \
6
  --port 7860 \
 
7
  --threads 2 \
8
+ --n-parallel 1 \
9
+ --ctx-size 2048 \
10
+ --n-predict 256 \
11
+ --fit off