초경량 모델 실험

app.py

@@ -15,8 +15,10 @@ app = FastAPI()
 # #    'repo_id'는 모델이 있는 저장소, 'filename'은 그 안의 특정 GGUF 파일명.
 # model_repo_id = "TheBloke/SOLAR-10.7B-Instruct-v1.0-GGUF"
 # model_filename = "solar-10.7b-instruct-v1.0.Q4_K_S.gguf"
-model_repo_id = "lmstudio-community/gemma-2-2b-it-GGUF"
-model_filename = "gemma-2-2b-it-Q4_K_M.gguf"
+# model_repo_id = "lmstudio-community/gemma-2-2b-it-GGUF"
+# model_filename = "gemma-2-2b-it-Q4_K_M.gguf"
+model_repo_id = "Qwen/Qwen2-0.5B-Instruct-GGUF"
+model_filename = "qwen2-0_5b-instruct-q4_k_m.gguf"
 
 # #    7B 모델인 Qwen 2.5로 변경하여 테스트
 # model_repo_id = "Triangle104/Qwen2.5-7B-Instruct-Q4_K_S-GGUF"