Auto commit at 25-2025-08 18:18:53

lily_llm_api/services/generation_service.py

@@ -396,12 +396,19 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
         
         # formatted_prompt 초기화
         formatted_prompt = None
-        # 멀티모달용 RAG 스니펫(길이 제한) 준비
+        # 멀티모달용 RAG 스니펫(길이 제한) 준비 - 대화 이력은 제외하고 [RAG] 블록만 우선 추출
         rag_snippet_short = ""
         if context_prompt and isinstance(context_prompt, str):
             try:
-                # 과도한 길이 방지: 우선 256자로 제한
-                rag_snippet_short = context_prompt[:256]
+                base_ctx = context_prompt
+                try:
+                    _idx = base_ctx.find("[RAG]")
+                    if _idx != -1:
+                        base_ctx = base_ctx[_idx:]
+                except Exception:
+                    pass
+                # 과도한 길이 방지: 160자로 축소
+                rag_snippet_short = base_ctx[:160]
                 if not rag_snippet_short.endswith("\n"):
                     rag_snippet_short += "\n"
             except Exception:
@@ -412,8 +419,16 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
             # 🔄 공식 Kanana 형식: 이미지 개수에 맞게 <image> 토큰 생성
             num_images = len(all_pixel_values)
             image_tokens = "<image>" * num_images  # 이미지 개수만큼 <image> 토큰 생성
-            # RAG 스니펫은 별도 컨텍스트 블록으로 분리하여 에코 방지
-            context_block = f"[CONTEXT]\n{rag_snippet_short}[/CONTEXT]\n" if rag_snippet_short else ""
+            # 이미지 우선 지침 + RAG 스니펫은 별도 컨텍스트 블록으로 분리
+            guideline_block = (
+                "[GUIDELINES]\n"
+                "- 이미지를 1순위 근거로 사용하세요.\n"
+                "- [CONTEXT]는 보조 힌트이며, 이미지와 충돌 시 이미지를 따르세요.\n"
+                "- RAG/컨텍스트 문구를 그대로 인용하지 마세요.\n"
+                "- 핵심만 간결히 요약하세요.\n"
+                "[/GUIDELINES]\n"
+            )
+            context_block = (guideline_block + (f"[CONTEXT]\n{rag_snippet_short}[/CONTEXT]\n" if rag_snippet_short else ""))
             # 사용자 발화는 순수 질문만 유지
             mm_text = prompt
             formatted_prompt = f"{context_block}Human: {image_tokens}{mm_text}\nAssistant:"
@@ -742,9 +757,8 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
                 gen_config['top_p'] = 1.0
                 gen_config['repetition_penalty'] = 1.0
                 gen_config['no_repeat_ngram_size'] = 0
-                if 'max_new_tokens' in gen_config and gen_config['max_new_tokens'] is not None:
-                    gen_config['max_new_tokens'] = min(int(gen_config['max_new_tokens']), 64)
-                else:
+                # 사용자 설정을 존중: 값이 지정된 경우 그대로 유지, 없으면 64로 제한
+                if 'max_new_tokens' not in gen_config or gen_config['max_new_tokens'] is None:
                     gen_config['max_new_tokens'] = 64
             except Exception as _e_cfg:
                 print(f"⚠️ [SPEED] 생성 설정 다이어트 실패: {_e_cfg}")