Dockerfile

# NVIDIA'nın CUDA ve Python'ı içeren resmi temel imajını kullanıyoruz.
# Bu, llama-cpp'nin ihtiyacı olan tüm GPU kütüphanelerinin kurulu gelmesini sağlar.
FROM nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04

# Python'ı kurun
ENV DEBIAN_FRONTEND=noninteractive
RUN apt-get update && apt-get install -y python3 python3-pip git build-essential cmake wget && rm -rf /var/lib/apt/lists/*

# Python 3.10 için pip'i python3'e linkle
RUN update-alternatives --install /usr/bin/python python /usr/bin/python3 1
RUN update-alternatives --install /usr/bin/pip pip /usr/bin/pip3 1

# Kullanıcıyı ayarlayın (HF standardı)
RUN useradd -m -u 1000 user
USER user
WORKDIR /home/user/app

# requirements.txt dosyasını kopyalayın ve kütüphaneleri yükleyin.
# CMAKE_ARGS ile CUBLAS desteğini zorluyoruz.
COPY requirements.txt .
ENV CMAKE_ARGS="-DLLAMA_CUBLAS=on"
ENV FORCE_CMAKE=1
RUN pip install --no-cache-dir -r requirements.txt

# app.py dosyasını kopyalayın
COPY app.py .

# Uygulamayı çalıştırın
CMD ["python", "app.py"]