컨텍스트 길이 증가

src/generator/generator_gguf.py

@@ -25,7 +25,7 @@ class GGUFGenerator:
         self,
         model_path: str,
         n_gpu_layers: int = 0,
-        n_ctx: int = 2048,
+        n_ctx: int = 8192,
         n_threads: int = 8,
         config = None,
         max_new_tokens: int = 256,

src/visualization/chatbot_app.py

@@ -166,7 +166,7 @@ def initialize_rag(model_type):
             rag = GGUFRAGPipeline(
                 config=config,
                 n_gpu_layers=35,  # T4에서 전체 레이어 GPU 사용
-                n_ctx=4096,       # 컨텍스트 길이
+                n_ctx=8192,       # 컨텍스트 길이
                 n_threads=4,      # CPU 스레드 (GPU 사용 시 낮게)
                 max_new_tokens=512,  # 최대 생성 토큰
                 temperature=0.7,