Dockerfile

# Используем образ, где ВСЁ УЖЕ РАБОТАЕТ
FROM ghcr.io/abetlen/llama-cpp-python:latest

# Переходим под права админа, чтобы мы могли удалять файлы
USER root
WORKDIR /app

# Обновляем установщик
RUN pip install --upgrade pip

# Ставим библиотеки для веб-сервера
RUN pip install fastapi uvicorn pydantic huggingface_hub

# 1. Копируем все твои файлы внутрь
COPY . .

# !!! ВОТ ОН, СПАСИТЕЛЬНЫЙ ХОД !!!
# Мы принудительно удаляем папку-обманку, которая мешает запуску.
# Если ее нет — команда ничего не сделает. Если есть — удалит к чертям.
RUN rm -rf /app/llama_cpp

# Даем права
RUN chmod -R 777 /app
EXPOSE 7860

# Запуск
CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]