Dongjin1203 commited on
Commit
acd788a
·
1 Parent(s): 9e0a8b0

컨텍스트 윈도우 값 수정, top_k 파라미터 수정

Browse files
Files changed (1) hide show
  1. src/utils/config.py +2 -2
src/utils/config.py CHANGED
@@ -41,7 +41,7 @@ class Config:
41
  self.COLLECTION_NAME = "rag_documents"
42
 
43
  # ===== 검색 설정 =====
44
- self.DEFAULT_TOP_K = 10
45
  self.DEFAULT_ALPHA = 0.5
46
  self.DEFAULT_SEARCH_MODE = "hybrid_rerank"
47
 
@@ -87,7 +87,7 @@ class Config:
87
 
88
  # GGUF GPU 설정 (T4 Medium 최적화 - 8B 모델용)
89
  self.GGUF_N_GPU_LAYERS = int(os.getenv("GGUF_N_GPU_LAYERS", "35")) # T4에서 8B 모델 전체를 GPU에 로드
90
- self.GGUF_N_CTX = int(os.getenv("GGUF_N_CTX", "2048")) # 컨텍스트 길이
91
  self.GGUF_N_THREADS = int(os.getenv("GGUF_N_THREADS", "4")) # CPU 스레드 (GPU 사용 시 낮게)
92
  self.GGUF_MAX_NEW_TOKENS = int(os.getenv("GGUF_MAX_NEW_TOKENS", "512")) # 최대 생성 토큰
93
  self.GGUF_TEMPERATURE = float(os.getenv("GGUF_TEMPERATURE", "0.7")) # 생성 다양성
 
41
  self.COLLECTION_NAME = "rag_documents"
42
 
43
  # ===== 검색 설정 =====
44
+ self.DEFAULT_TOP_K = 5
45
  self.DEFAULT_ALPHA = 0.5
46
  self.DEFAULT_SEARCH_MODE = "hybrid_rerank"
47
 
 
87
 
88
  # GGUF GPU 설정 (T4 Medium 최적화 - 8B 모델용)
89
  self.GGUF_N_GPU_LAYERS = int(os.getenv("GGUF_N_GPU_LAYERS", "35")) # T4에서 8B 모델 전체를 GPU에 로드
90
+ self.GGUF_N_CTX = int(os.getenv("GGUF_N_CTX", "4096")) # 컨텍스트 길이
91
  self.GGUF_N_THREADS = int(os.getenv("GGUF_N_THREADS", "4")) # CPU 스레드 (GPU 사용 시 낮게)
92
  self.GGUF_MAX_NEW_TOKENS = int(os.getenv("GGUF_MAX_NEW_TOKENS", "512")) # 최대 생성 토큰
93
  self.GGUF_TEMPERATURE = float(os.getenv("GGUF_TEMPERATURE", "0.7")) # 생성 다양성