Spaces:
Sleeping
Sleeping
Commit ·
acd788a
1
Parent(s): 9e0a8b0
컨텍스트 윈도우 값 수정, top_k 파라미터 수정
Browse files- src/utils/config.py +2 -2
src/utils/config.py
CHANGED
|
@@ -41,7 +41,7 @@ class Config:
|
|
| 41 |
self.COLLECTION_NAME = "rag_documents"
|
| 42 |
|
| 43 |
# ===== 검색 설정 =====
|
| 44 |
-
self.DEFAULT_TOP_K =
|
| 45 |
self.DEFAULT_ALPHA = 0.5
|
| 46 |
self.DEFAULT_SEARCH_MODE = "hybrid_rerank"
|
| 47 |
|
|
@@ -87,7 +87,7 @@ class Config:
|
|
| 87 |
|
| 88 |
# GGUF GPU 설정 (T4 Medium 최적화 - 8B 모델용)
|
| 89 |
self.GGUF_N_GPU_LAYERS = int(os.getenv("GGUF_N_GPU_LAYERS", "35")) # T4에서 8B 모델 전체를 GPU에 로드
|
| 90 |
-
self.GGUF_N_CTX = int(os.getenv("GGUF_N_CTX", "
|
| 91 |
self.GGUF_N_THREADS = int(os.getenv("GGUF_N_THREADS", "4")) # CPU 스레드 (GPU 사용 시 낮게)
|
| 92 |
self.GGUF_MAX_NEW_TOKENS = int(os.getenv("GGUF_MAX_NEW_TOKENS", "512")) # 최대 생성 토큰
|
| 93 |
self.GGUF_TEMPERATURE = float(os.getenv("GGUF_TEMPERATURE", "0.7")) # 생성 다양성
|
|
|
|
| 41 |
self.COLLECTION_NAME = "rag_documents"
|
| 42 |
|
| 43 |
# ===== 검색 설정 =====
|
| 44 |
+
self.DEFAULT_TOP_K = 5
|
| 45 |
self.DEFAULT_ALPHA = 0.5
|
| 46 |
self.DEFAULT_SEARCH_MODE = "hybrid_rerank"
|
| 47 |
|
|
|
|
| 87 |
|
| 88 |
# GGUF GPU 설정 (T4 Medium 최적화 - 8B 모델용)
|
| 89 |
self.GGUF_N_GPU_LAYERS = int(os.getenv("GGUF_N_GPU_LAYERS", "35")) # T4에서 8B 모델 전체를 GPU에 로드
|
| 90 |
+
self.GGUF_N_CTX = int(os.getenv("GGUF_N_CTX", "4096")) # 컨텍스트 길이
|
| 91 |
self.GGUF_N_THREADS = int(os.getenv("GGUF_N_THREADS", "4")) # CPU 스레드 (GPU 사용 시 낮게)
|
| 92 |
self.GGUF_MAX_NEW_TOKENS = int(os.getenv("GGUF_MAX_NEW_TOKENS", "512")) # 최대 생성 토큰
|
| 93 |
self.GGUF_TEMPERATURE = float(os.getenv("GGUF_TEMPERATURE", "0.7")) # 생성 다양성
|