# NVIDIA'nın CUDA ve Python'ı içeren resmi temel imajını kullanıyoruz. # Bu, llama-cpp'nin ihtiyacı olan tüm GPU kütüphanelerinin kurulu gelmesini sağlar. FROM nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04 # Python'ı kurun ENV DEBIAN_FRONTEND=noninteractive RUN apt-get update && apt-get install -y python3 python3-pip git build-essential cmake wget && rm -rf /var/lib/apt/lists/* # Python 3.10 için pip'i python3'e linkle RUN update-alternatives --install /usr/bin/python python /usr/bin/python3 1 RUN update-alternatives --install /usr/bin/pip pip /usr/bin/pip3 1 # Kullanıcıyı ayarlayın (HF standardı) RUN useradd -m -u 1000 user USER user WORKDIR /home/user/app # requirements.txt dosyasını kopyalayın ve kütüphaneleri yükleyin. # CMAKE_ARGS ile CUBLAS desteğini zorluyoruz. COPY requirements.txt . ENV CMAKE_ARGS="-DLLAMA_CUBLAS=on" ENV FORCE_CMAKE=1 RUN pip install --no-cache-dir -r requirements.txt # app.py dosyasını kopyalayın COPY app.py . # Uygulamayı çalıştırın CMD ["python", "app.py"]