Update Dockerfile
Browse files- Dockerfile +1 -37
Dockerfile
CHANGED
|
@@ -26,40 +26,4 @@ hf_hub_download(
|
|
| 26 |
)
|
| 27 |
EOF
|
| 28 |
|
| 29 |
-
CMD [
|
| 30 |
-
"-m",
|
| 31 |
-
"/app/qwen2.5-coder-3b-instruct-q4_k_m.gguf",
|
| 32 |
-
|
| 33 |
-
"--host",
|
| 34 |
-
"0.0.0.0",
|
| 35 |
-
|
| 36 |
-
"--port",
|
| 37 |
-
"7860",
|
| 38 |
-
|
| 39 |
-
"--alias",
|
| 40 |
-
"qwen3-4b",
|
| 41 |
-
|
| 42 |
-
"--api-key",
|
| 43 |
-
"123456",
|
| 44 |
-
|
| 45 |
-
"-t",
|
| 46 |
-
"4",
|
| 47 |
-
|
| 48 |
-
"-b",
|
| 49 |
-
"1024",
|
| 50 |
-
|
| 51 |
-
"-c",
|
| 52 |
-
"8192",
|
| 53 |
-
|
| 54 |
-
"-n",
|
| 55 |
-
"4096",
|
| 56 |
-
|
| 57 |
-
"--parallel",
|
| 58 |
-
"1",
|
| 59 |
-
|
| 60 |
-
"--cache-type-k",
|
| 61 |
-
"q8_0",
|
| 62 |
-
|
| 63 |
-
"--cache-type-v",
|
| 64 |
-
"q8_0"
|
| 65 |
-
]
|
|
|
|
| 26 |
)
|
| 27 |
EOF
|
| 28 |
|
| 29 |
+
CMD ["-m", "/app/qwen2.5-coder-3b-instruct-q4_k_m.gguf", "--host", "0.0.0.0", "--port", "7860", "--alias", "qwen3-4b", "--api-key", "123456", "-t", "4", "-b", "1024", "-c", "8192", "-n", "4096", "--parallel", "1", "--cache-type-k", "q8_0", "--cache-type-v", "q8_0"]
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|