Dockerfile

# БРАТ, БЕРЕМ ПОЛНУЮ ВЕРСИЮ (БЕЗ SLIM).
# Она большая, но в ней есть ВСЕ компиляторы сразу.
FROM python:3.10

# Создаем рабочую папку
WORKDIR /app

# Обновляем pip
RUN pip install --upgrade pip

# СТАВИМ ЗАВИСИМОСТИ СБОРКИ (на всякий случай, чтобы точно не упало)
RUN apt-get update && apt-get install -y cmake

# ТЕПЕРЬ СТАВИМ LLAMA-CPP ИЗ ИСХОДНИКОВ
# Благодаря образу python:3.10 это пройдет быстро и без ошибок.
# CMAKE_ARGS="-DLLAMA_NATIVE=OFF" нужен, чтобы работало на любом процессоре.
RUN CMAKE_ARGS="-DLLAMA_NATIVE=OFF" pip install llama-cpp-python

# Копируем библиотеки
COPY requirements.txt .

# Убираем llama из файла (мы её уже поставили)
RUN grep -v "llama-cpp-python" requirements.txt > req_final.txt
RUN pip install --no-cache-dir -r req_final.txt

# Копируем твой код
COPY . .

# Даем права
RUN chmod -R 777 /app
EXPOSE 7860

# Запускаем
CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]