л модель

dockerfile

@@ -0,0 +1,9 @@
+FROM quay.io/go-skynet/local-ai:latest
+
+ENV MODELS_PATH=/models
+ENV MODEL=deepseek-coder-1.3b
+
+RUN mkdir -p /models
+
+# Копирование модели в контейнер
+COPY models/deepseek-coder-1.3b.Q4_K_M.gguf /models/deepseek-coder-1.3b.gguf

models.yaml

@@ -0,0 +1,9 @@
+- name: deepseek-coder-1.3b
+  backend: llama-cpp
+  path: /models/deepseek-coder-1.3b.gguf
+  parameters:
+    context_size: 4096
+    gpu_layers: 20  # Оптимальное значение для GPU (при наличии)
+    temperature: 0.7
+    top_p: 0.9
+    repeat_penalty: 1.1