Rid3 commited on
Commit
59b2c67
·
verified ·
1 Parent(s): e38b137

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +11 -7
Dockerfile CHANGED
@@ -1,21 +1,25 @@
1
  FROM python:3.10-slim
2
 
3
- # Минимальные библиотеки для работы (уже без компиляторов)
4
  RUN apt-get update && apt-get install -y \
 
 
5
  libopenblas-dev \
6
  curl \
7
  && rm -rf /var/lib/apt/lists/*
8
 
9
  WORKDIR /app
10
 
11
- # Устанавливаем зависимости
12
  RUN pip install --no-cache-dir fastapi uvicorn huggingface_hub pydantic
13
 
14
- # СКАЧИВАЕМ ПРЕДСОБРАННЫЙ llama-cpp-python (самый свежий, с поддержкой mllama/Llama 3.2)
15
- # Ссылка на официальный репозиторий с wheels для CPU
16
- RUN pip install llama-cpp-python \
17
- --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu
 
18
 
 
19
  RUN useradd -m -u 1000 user
20
  USER user
21
  ENV HOME=/home/user \
@@ -25,4 +29,4 @@ COPY --chown=user app.py .
25
 
26
  EXPOSE 7860
27
 
28
- CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]
 
1
  FROM python:3.10-slim
2
 
3
+ # === Установка системных зависимостей ===
4
  RUN apt-get update && apt-get install -y \
5
+ build-essential \
6
+ cmake \
7
  libopenblas-dev \
8
  curl \
9
  && rm -rf /var/lib/apt/lists/*
10
 
11
  WORKDIR /app
12
 
13
+ # === Установка Python зависимостей ===
14
  RUN pip install --no-cache-dir fastapi uvicorn huggingface_hub pydantic
15
 
16
+ # === Установка llama-cpp-python с принудительной сборкой под CPU ===
17
+ # Добавляем флаги для OpenBLAS и отключаем ненужные backends
18
+ RUN CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS -DLLAMA_CUBLAS=OFF" \
19
+ pip install --no-cache-dir llama-cpp-python \
20
+ --force-reinstall --no-binary llama-cpp-python
21
 
22
+ # Создаём непривилегированного пользователя
23
  RUN useradd -m -u 1000 user
24
  USER user
25
  ENV HOME=/home/user \
 
29
 
30
  EXPOSE 7860
31
 
32
+ CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860", "--workers", "1"]