Dockerfile 수정

Dockerfile

@@ -1,38 +1,40 @@
-# 1. 기반이 될 공식 파이썬 이미지를 지정.
+# 1. 파이썬 이미지를 지정.
 FROM python:3.9
 
-# 시스템 패키지 목록을 업데이트하고, C++ 컴파일에 필요한 기본 도구들을 설치.
-# 이 작업은 root 권한으로 수행해야 하므로, USER를 바꾸기 전에 실행.
-RUN apt-get update && apt-get install -y build-essential cmake
+# 2. C++ 컴파일러(gcc/g++) 버전 11과 필수 빌드 도구들을 설치.
+RUN apt-get update && apt-get install -y build-essential gcc-11 g++-11 cmake
 
-# 2. 컨테이너 내부에 코드를 저장할 작업 폴더를 만듦. (소유자는 아직 root)
+# 3. 파이썬의 패키지 설치 도구(pip) 자체를 최신 버전으로 업그레이드.
+RUN python3 -m pip install --upgrade pip setuptools wheel
+
+# 4. 컨테이너 내부에 코드를 저장할 작업 폴더를 만듦.
 WORKDIR /app
 
-# 3. 보안을 위해 권한이 제한된 새로운 사용자(user)를 생성.
+# 5. 보안을 위해 권한이 제한된 사용자(user)를 생성하고 소유권을 이전.
 RUN useradd -m -u 1000 user
-
-# 4. root가 user에게 /app 폴더 전체의 소유권을 넘겨줌.
 RUN chown -R user:user /app
-
-# 5. 이제부터 모든 작업은 /app 폴더의 주인이 된 user가 수행.
 USER user
 
-# 6. 캐시 디렉토리를 user가 소유한 /app 폴더 내부로 지정.
-ENV HF_HOME /app/huggingface_cache
+# 6. 환경 변수를 설정.
 ENV PATH="/home/user/.local/bin:${PATH}"
 
-# 7. requirements.txt 파일을 복사하고 라이브러리를 설치.
-#    이제 user가 /app 폴더의 주인이므로 --chown 플래그는 필요 없음.
-COPY ./requirements.txt requirements.txt
+# 7. requirements.txt 파일을 복사.
+COPY --chown=user ./requirements.txt requirements.txt
 
-# llama-cpp-python을 설치할 때, 불필요한 하드웨어 가속 옵션을 모두 끄고
-# 가장 기본적인 CPU 버전으로만 컴파일하도록 지시하여 리소스 초과를 막음.
+# 8. llama-cpp-python을 '똑똑하게' 설치하기 위한 모든 옵션을 설정.
+#    - CMAKE_ARGS: 불필요한 GPU 옵션을 모두 끔.
+#    - FORCE_CMAKE=1: CMake를 강제로 사용하도록 함.
+#    - CC/CXX: 방금 설치한 gcc-11/g++-11을 컴파일러로 명시적으로 지정.
 ARG CMAKE_ARGS="-DLLAMA_CUBLAS=OFF -DLLAMA_HIPBLAS=OFF -DLLAMA_OPENBLAS=OFF"
+ENV FORCE_CMAKE=1
+ENV CC=gcc-11
+ENV CXX=g++-11
 
-RUN pip install --no-cache-dir --upgrade -r requirements.txt
+# 9. 라이브러리 설치.
+RUN pip install --no-cache-dir --upgrade -r /code/requirements.txt
 
-# 8. 나머지 모든 소스 코드를 작업 폴더에 복사.
-COPY . /app
+# 10. 나머지 모든 소스 코드를 작업 폴더에 복사.
+COPY --chown=user . /app
 
-# 9. 모든 준비가 끝나면, 서버를 실행.
+# 11. 모든 준비가 끝나면, 서버를 실행.
 CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]

app.py

@@ -11,10 +11,14 @@ import json
 app = FastAPI()
 
 # 2. GGUF 모델 로딩 준비
-#    TheBloke의 SOLAR 모델을 예시로 사용.
-#    'repo_id'는 모델이 있는 저장소, 'filename'은 그 안의 특정 GGUF 파일명.
-model_repo_id = "TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF"
-model_filename = "solar-10.7b-instruct-v1.0.Q4_K_S.gguf"
+# #    TheBloke의 SOLAR 모델을 예시로 사용.
+# #    'repo_id'는 모델이 있는 저장소, 'filename'은 그 안의 특정 GGUF 파일명.
+# model_repo_id = "TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF"
+# model_filename = "solar-10.7b-instruct-v1.0.Q4_K_S.gguf"
+
+#    7B 모델인 Qwen 2.5로 변경하여 테스트
+model_repo_id = "Triangle104/Qwen2.5-7B-Instruct-Q4_K_S-GGUF"
+model_filename = "qwen2.5-7b-instruct-q4_k_s.gguf"
 
 # Hugging Face Hub에서 GGUF 파일을 다운로드하고, 로컬 경로를 가져온다.
 # 이 과정은 서버 시작 시 한번만 실행된다.