Auto commit at 10-2025-08 0:04:50

lily_llm_api/app_v2.py

@@ -45,7 +45,7 @@ from lily_llm_core.vector_store_manager import vector_store_manager
 # from latex_ocr_faiss_simple import LatexOCRFAISSSimple
 
 # 멀티모달 RAG 프로세서 추가
-from lily_llm_core.hybrid_rag_processor import hybrid_rag_processor
+# from lily_llm_core.hybrid_rag_processor import hybrid_rag_processor
 
 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
 logger = logging.getLogger(__name__)
@@ -176,7 +176,7 @@ def select_model_interactive():
         try:
             # choice = input(f"\n📝 사용할 모델 번호를 선택하세요 (1-{len(available_models)}): ")
             # selected_model = available_models[int(choice) - 1]
-            selected_model = available_models[0]
+            selected_model = available_models[1]
             print(f"\n✅ '{selected_model['name']}' 모델을 선택했습니다.")
             return selected_model['model_id']
         except (ValueError, IndexError):
@@ -276,35 +276,75 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
 
     # --- 1. 이미지 처리 (이미지가 있는 경우에만 실행) ---
     if image_data_list and getattr(current_profile, 'multimodal', False):
-        logger.info(f"🖼️  멀티모달 요청 처리 시작... (이미지 {len(image_data_list)}개)")
+        # 다중 이미지 경량 처리: 최대 4장, 512 썸네일
+        max_images = min(len(image_data_list), 4)
+        logger.info(f"🖼️  멀티모달(Lite) 처리 시작... (원본 이미지 {len(image_data_list)}개 → {max_images}개 사용)")
         image_processed = True
-        all_image_metas = []
-        
-        for i, image_data in enumerate(image_data_list):
-            pil_image = Image.open(io.BytesIO(image_data)).convert("RGB")
-            processed_data = image_processor(pil_image)
-            all_pixel_values.append(processed_data["pixel_values"])
-            all_image_metas.append(processed_data["image_meta"])
-        
-        # 모든 이미지 메타데이터를 하나로 합치기
-        if all_image_metas:
-            combined_image_metas = {}
-            for key in all_image_metas[0].keys():
-                combined_image_metas[key] = [meta[key] for meta in all_image_metas]
+        try:
+            metas_list = []
+            for idx, image_bytes in enumerate(image_data_list[:max_images]):
+                try:
+                    pil_image = Image.open(io.BytesIO(image_bytes)).convert("RGB")
+                    pil_image.thumbnail((512, 512))
+                    processed = image_processor(pil_image)
+                    all_pixel_values.append(processed["pixel_values"])  # 리스트에 추가
+                    metas_list.append(processed.get("image_meta", {}))
+                except Exception as ie:
+                    logger.warning(f"⚠️ 이미지 {idx}: 전처리 실패: {ie}")
+            # 메타를 키별 리스트로 결합
+            if metas_list:
+                combined_image_metas = {}
+                for key in metas_list[0].keys():
+                    combined_image_metas[key] = [m.get(key) for m in metas_list]
+                # image_token_thw가 없으면 vision_grid_thw를 기반으로 생성
+                if 'image_token_thw' not in combined_image_metas and 'vision_grid_thw' in combined_image_metas:
+                    token_thw_list = []
+                    for grid in combined_image_metas['vision_grid_thw']:
+                        # grid는 (T,H,W) 또는 텐서/리스트 형태
+                        try:
+                            if hasattr(grid, 'tolist'):
+                                grid = grid.tolist()
+                            if isinstance(grid, (list, tuple)):
+                                T, H, W = int(grid[0]), int(grid[1]), int(grid[2])
+                            else:
+                                # 단일 값이면 H=W=1 가정
+                                T, H, W = 1, 1, int(grid)
+                        except Exception:
+                            T, H, W = 1, 1, 1
+                        token_thw_list.append([T, H, W])
+                    combined_image_metas['image_token_thw'] = token_thw_list
+            else:
+                combined_image_metas = None
+        except Exception as e:
+            logger.error(f"❌ 이미지 전처리 실패(경량-다중): {e}")
+            image_processed = False
+            combined_image_metas = None
 
     # --- 2. 프롬프트 구성 ---
-    image_tokens = "<image>" * len(all_pixel_values)
+    # 이미지 토큰 자리수: 멀티모달일 때 충분한 수를 미리 확보(동적 계산 곤란시 보수값 사용)
+    if all_pixel_values:
+        # image_token_thw 총합으로 자리수 계산 (없으면 128 x N)
+        image_placeholder_count = 0
+        if combined_image_metas and 'image_token_thw' in combined_image_metas:
+            for thw in combined_image_metas['image_token_thw']:
+                try:
+                    T, H, W = int(thw[0]), int(thw[1]), int(thw[2])
+                    image_placeholder_count += max(1, T * H * W)
+                except Exception:
+                    image_placeholder_count += 128
+        else:
+            image_placeholder_count = 128 * len(all_pixel_values)
+        image_tokens = "<image>" * image_placeholder_count
+    else:
+        image_tokens = ""
     # Kanana 기본 포맷. 텍스트-only 모델은 profile.format_prompt로 대체됨
     formatted_prompt = f"<|im_start|>user\n{image_tokens}{prompt}<|im_end|>\n<|im_start|>assistant\n"
     
     # --- 3. 토크나이징 ---
-    if hasattr(tokenizer, 'encode_prompt'):
-        inputs = tokenizer.encode_prompt(prompt=formatted_prompt, image_meta=combined_image_metas)
-        input_ids = inputs['input_ids']
-        attention_mask = inputs['attention_mask']
-    else:
-        # 텍스트-only 모델의 권장 프롬프트 사용
-        if not getattr(current_profile, 'multimodal', False) and hasattr(current_profile, 'format_prompt'):
+    t_tok_start = time.time()
+    if not image_data_list:
+        # 텍스트-only 고정 경로 (더 빠름)
+        if hasattr(current_profile, 'format_prompt'):
             formatted_prompt = current_profile.format_prompt(prompt)
         inputs = tokenizer(
             formatted_prompt,
@@ -317,6 +357,26 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
             del inputs['token_type_ids']
         input_ids = inputs['input_ids']
         attention_mask = inputs['attention_mask']
+    else:
+        # 멀티모달(Lite): Kanana 전용 encode_prompt로 -1 토큰 자리 생성 (필수)
+        if hasattr(tokenizer, 'encode_prompt'):
+            inputs = tokenizer.encode_prompt(prompt=formatted_prompt, image_meta=combined_image_metas)
+            input_ids = inputs['input_ids']
+            attention_mask = inputs['attention_mask']
+        else:
+            # 안전 폴백
+            inputs = tokenizer(
+                formatted_prompt,
+                return_tensors="pt",
+                padding=True,
+                truncation=True,
+                max_length=256,
+            )
+            if 'token_type_ids' in inputs:
+                del inputs['token_type_ids']
+            input_ids = inputs['input_ids']
+            attention_mask = inputs['attention_mask']
+    t_tok_end = time.time()
 
     if input_ids.dim() == 1:
         input_ids = input_ids.unsqueeze(0)
@@ -336,12 +396,18 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
     if temperature is not None: gen_config['temperature'] = temperature
     if top_p is not None: gen_config['top_p'] = top_p
     if do_sample is not None: gen_config['do_sample'] = do_sample
+    if not image_data_list:
+        # 텍스트-only: 탐색 비활성화로 속도 향상
+        gen_config['do_sample'] = False
+        gen_config.pop('top_k', None)
+        gen_config.pop('top_p', None)
     # pad/eos 보완 (일부 토크나이저는 pad_token 미정의)
     if gen_config.get('pad_token_id') is None and hasattr(tokenizer, 'pad_token_id'):
         gen_config['pad_token_id'] = tokenizer.pad_token_id or tokenizer.eos_token_id
     if gen_config.get('eos_token_id') is None and hasattr(tokenizer, 'eos_token_id'):
         gen_config['eos_token_id'] = tokenizer.eos_token_id
 
+    t_gen_start = time.time()
     with torch.no_grad():
         if image_processed:
             # 멀티모달 생성
@@ -359,11 +425,15 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
                 attention_mask=attention_mask,
                 **gen_config
             )
+    t_gen_end = time.time()
 
     # --- 5. 응답 추출 (공통 로직) ---
     try:
+        t_dec_start = time.time()
         full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
         response = current_profile.extract_response(full_text, formatted_prompt)
+        t_dec_end = time.time()
+        logger.info(f"⏱️ timing: tokenization={(t_tok_end - t_tok_start):.2f}s, generate={(t_gen_end - t_gen_start):.2f}s, decode={(t_dec_end - t_dec_start):.2f}s")
         return {"text": response, "image_processed": image_processed}
     except Exception as e:
         logger.error(f"❌ 응답 추출 중 오류: {e}")

lily_llm_api/models/kanana_1_5_v_3b_instruct.py

@@ -157,7 +157,8 @@ class Kanana15V3bInstructProfile:
             if use_local:
                 # 로컬 모델: 커스텀 모델링 클래스 사용
                 logger.info("🔍 DEBUG: 로컬 모델 로드 시도")
-                selected_dtype = torch.float16 if DEVICE == "cuda" else torch.float32
+                selected_dtype = torch.float16 if DEVICE == "cuda" else torch.float16
+                logger.info(f"🔍 DEBUG: selected_dtype = {selected_dtype}")
                 model = KananaVForConditionalGeneration.from_pretrained(
                     model_path,
                     token=HF_TOKEN, 
@@ -178,7 +179,7 @@ class Kanana15V3bInstructProfile:
                 
                 logger.info("🔍 DEBUG: KananaVForConditionalGeneration.from_pretrained 호출")
                 # CPU 환경에서 float16/bfloat16보다 float32가 더 안정적인 경우가 많음
-                selected_dtype = torch.float16 if DEVICE == "cuda" else torch.float32
+                selected_dtype = torch.float16 if DEVICE == "cuda" else torch.float16                                
                 model = KananaVForConditionalGeneration.from_pretrained(
                     model_path, 
                     token=HF_TOKEN, 

lily_llm_api/models/modeling.py

@@ -452,7 +452,8 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
                 )
                 layer_index = self.config.projector_config.feature_layer_index
                 visual_features_list.append(self._get_visual_feature_at(v_outputs.hidden_states, layer_index))
-            return visual_features_list # 리스트 형태로 반환
+            # 경량 멀티모달: 첫 번째 것만 사용하되, downstream이 단일 텐서를 기대하므로 텐서만 반환
+            return visual_features_list[0] if len(visual_features_list) > 0 else visual_features_list
         else:
             # 단일 이미지 - 이미 분리된 특징 텐서
             
@@ -509,26 +510,17 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
         
         # ✨ 핵심 수정: visual_features가 리스트일 경우 처리
         if isinstance(visual_features, list):
-            print(f"🔍 forward_projector - 리스트 형태 처리")
             visual_embeds_list = []
             for i, vf in enumerate(visual_features):
                 single_image_metas = {k: v[i] for k, v in image_metas.items()}
-                # grid_thw 처리 수정
                 vision_grid_thw = single_image_metas["vision_grid_thw"]
                 if isinstance(vision_grid_thw, (list, tuple)):
-                    # 튜플을 리스트로 변환하여 텐서 생성
                     grid_thw = torch.tensor([list(vision_grid_thw)]).to(vf.device)
                 else:
                     grid_thw = torch.tensor([vision_grid_thw]).to(vf.device)
-                
-                print(f"🔍 forward_projector - 이미지 {i} 처리 중")
-                print(f"🔍 forward_projector - 이미지 {i} 특징 형태: {vf.shape}")
-                print(f"🔍 forward_projector - 이미지 {i} grid_thw: {grid_thw}")
-                
                 visual_embeds = self.abstractor(vf, grid_thw=grid_thw)["last_hidden_state"]
-                print(f"🔍 forward_projector - 이미지 {i} visual_embeds 형태: {visual_embeds.shape}")
                 visual_embeds_list.append(visual_embeds)
-            return torch.cat(visual_embeds_list, dim=0) # 최종적으로 하나의 텐서로 합쳐서 반환
+            return torch.cat(visual_embeds_list, dim=0)
         else:
             # 단일 이미지
             print(f"🔍 forward_projector - 단일 텐서 처리")
@@ -737,9 +729,12 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
                             if "image_token_thw" in single_image_metas:
                                 token_thw = single_image_metas["image_token_thw"]
                                 if isinstance(token_thw, (list, tuple)):
-                                    tokens_per_image = token_thw[0] * token_thw[1] * token_thw[2]
+                                    tokens_per_image = int(token_thw[0]) * int(token_thw[1]) * int(token_thw[2])
+                                elif hasattr(token_thw, 'tolist'):
+                                    tlist = token_thw.tolist()
+                                    tokens_per_image = int(tlist[0]) * int(tlist[1]) * int(tlist[2])
                                 else:
-                                    tokens_per_image = token_thw[0] * token_thw[1] * token_thw[2]
+                                    tokens_per_image = int(token_thw)
                                 print(f"🔍 prepare_mm_inputs - 이미지 {i} 실제 토큰 수: {tokens_per_image}")
                             else:
                                 # 기본값 사용
@@ -833,6 +828,11 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
             # visual embeds와 -1 토큰 개수 확인 및 조정
             num_visual_tokens = flattened_visual_embeds.shape[0]
             num_neg_one_tokens = (flattened_input_ids == -1).sum().item()
+            if num_neg_one_tokens == 0:
+                # -1 토큰이 없으면 문장 시작부에 시각 토큰을 강제 삽입하기 위해 가짜 -1 토큰 하나 추가
+                fake_neg = torch.full_like(flattened_input_ids[:1], -1)
+                flattened_input_ids = torch.cat([fake_neg, flattened_input_ids], dim=0)
+                num_neg_one_tokens = 1
             print(f"🔍 prepare_mm_inputs - visual embeds 개수: {num_visual_tokens}")
             print(f"🔍 prepare_mm_inputs - -1 토큰 개수: {num_neg_one_tokens}")
             
@@ -857,8 +857,9 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
                         flattened_visual_embeds = repeated_embeds
                     else:
                         # visual embeds가 너무 적으면 첫 번째 토큰을 반복
-                        first_token = flattened_visual_embeds[0:1].repeat(num_neg_one_tokens, 1)
-                        flattened_visual_embeds = first_token
+                        # 최소 1개라도 유지
+                        base = flattened_visual_embeds[0:1]
+                        flattened_visual_embeds = base.repeat(max(1, num_neg_one_tokens), 1)
                     
                     print(f"🔍 prepare_mm_inputs - visual embeds 반복: {num_visual_tokens} -> {num_neg_one_tokens}")
             

modeling.py

@@ -452,7 +452,8 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
                 )
                 layer_index = self.config.projector_config.feature_layer_index
                 visual_features_list.append(self._get_visual_feature_at(v_outputs.hidden_states, layer_index))
-            return visual_features_list # 리스트 형태로 반환
+            # 경량 멀티모달: 첫 번째 것만 사용하되, downstream이 단일 텐서를 기대하므로 텐서만 반환
+            return visual_features_list[0] if len(visual_features_list) > 0 else visual_features_list
         else:
             # 단일 이미지 - 이미 분리된 특징 텐서
             
@@ -509,26 +510,17 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
         
         # ✨ 핵심 수정: visual_features가 리스트일 경우 처리
         if isinstance(visual_features, list):
-            print(f"🔍 forward_projector - 리스트 형태 처리")
             visual_embeds_list = []
             for i, vf in enumerate(visual_features):
                 single_image_metas = {k: v[i] for k, v in image_metas.items()}
-                # grid_thw 처리 수정
                 vision_grid_thw = single_image_metas["vision_grid_thw"]
                 if isinstance(vision_grid_thw, (list, tuple)):
-                    # 튜플을 리스트로 변환하여 텐서 생성
                     grid_thw = torch.tensor([list(vision_grid_thw)]).to(vf.device)
                 else:
                     grid_thw = torch.tensor([vision_grid_thw]).to(vf.device)
-                
-                print(f"🔍 forward_projector - 이미지 {i} 처리 중")
-                print(f"🔍 forward_projector - 이미지 {i} 특징 형태: {vf.shape}")
-                print(f"🔍 forward_projector - 이미지 {i} grid_thw: {grid_thw}")
-                
                 visual_embeds = self.abstractor(vf, grid_thw=grid_thw)["last_hidden_state"]
-                print(f"🔍 forward_projector - 이미지 {i} visual_embeds 형태: {visual_embeds.shape}")
                 visual_embeds_list.append(visual_embeds)
-            return torch.cat(visual_embeds_list, dim=0) # 최종적으로 하나의 텐서로 합쳐서 반환
+            return torch.cat(visual_embeds_list, dim=0)
         else:
             # 단일 이미지
             print(f"🔍 forward_projector - 단일 텐서 처리")
@@ -737,9 +729,12 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
                             if "image_token_thw" in single_image_metas:
                                 token_thw = single_image_metas["image_token_thw"]
                                 if isinstance(token_thw, (list, tuple)):
-                                    tokens_per_image = token_thw[0] * token_thw[1] * token_thw[2]
+                                    tokens_per_image = int(token_thw[0]) * int(token_thw[1]) * int(token_thw[2])
+                                elif hasattr(token_thw, 'tolist'):
+                                    tlist = token_thw.tolist()
+                                    tokens_per_image = int(tlist[0]) * int(tlist[1]) * int(tlist[2])
                                 else:
-                                    tokens_per_image = token_thw[0] * token_thw[1] * token_thw[2]
+                                    tokens_per_image = int(token_thw)
                                 print(f"🔍 prepare_mm_inputs - 이미지 {i} 실제 토큰 수: {tokens_per_image}")
                             else:
                                 # 기본값 사용
@@ -833,6 +828,11 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
             # visual embeds와 -1 토큰 개수 확인 및 조정
             num_visual_tokens = flattened_visual_embeds.shape[0]
             num_neg_one_tokens = (flattened_input_ids == -1).sum().item()
+            if num_neg_one_tokens == 0:
+                # -1 토큰이 없으면 문장 시작부에 시각 토큰을 강제 삽입하기 위해 가짜 -1 토큰 하나 추가
+                fake_neg = torch.full_like(flattened_input_ids[:1], -1)
+                flattened_input_ids = torch.cat([fake_neg, flattened_input_ids], dim=0)
+                num_neg_one_tokens = 1
             print(f"🔍 prepare_mm_inputs - visual embeds 개수: {num_visual_tokens}")
             print(f"🔍 prepare_mm_inputs - -1 토큰 개수: {num_neg_one_tokens}")
             
@@ -857,8 +857,9 @@ class KananaVForConditionalGeneration(KananaVPreTrainedModel):
                         flattened_visual_embeds = repeated_embeds
                     else:
                         # visual embeds가 너무 적으면 첫 번째 토큰을 반복
-                        first_token = flattened_visual_embeds[0:1].repeat(num_neg_one_tokens, 1)
-                        flattened_visual_embeds = first_token
+                        # 최소 1개라도 유지
+                        base = flattened_visual_embeds[0:1]
+                        flattened_visual_embeds = base.repeat(max(1, num_neg_one_tokens), 1)
                     
                     print(f"🔍 prepare_mm_inputs - visual embeds 반복: {num_visual_tokens} -> {num_neg_one_tokens}")
             

test_log.md

@@ -154,6 +154,1376 @@ AttributeError: PreTrainedTokenizerFast has no attribute encode_prompt
 
 
 
+-- float16
+
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: 'Hello! How can I assist you today? Are you looking for information, help with a task,'
+⏱️ 처리 시간: 385.66초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+
+
+-- float32
+
+
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 155.17초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+--
+
+
+
+
+
+
+
+-- float32
+
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 91.52초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 92.82초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 89.43초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+
+
+---
+
+
+INFO:     Application startup complete.
+INFO:     Uvicorn running on http://0.0.0.0:8001 (Press CTRL+C to quit)
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 21:04:03,978 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:04:03,978 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?
+---
+2025-08-09 21:04:03,978 - INFO - ✅ 성공: 프롬프트 제거로 응답 추출
+2025-08-09 21:04:03,978 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴까요?
+2025-08-09 21:04:03,978 - INFO - ⏱️ timing: tokenization=0.00s, generate=91.52s, decode=0.00s
+2025-08-09 21:04:03,978 - INFO - ✅ 생성 완료 (91.52초), 이미지 처리: False
+INFO:     127.0.0.1:53654 - "POST /generate HTTP/1.1" 200 OK
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 21:06:07,905 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:06:07,905 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?
+---
+2025-08-09 21:06:07,905 - INFO - ✅ 성공: 프롬프트 제거로 응답 추출
+2025-08-09 21:06:07,905 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴까요?
+2025-08-09 21:06:07,905 - INFO - ⏱️ timing: tokenization=0.00s, generate=92.82s, decode=0.00s
+2025-08-09 21:06:07,905 - INFO - ✅ 생성 완료 (92.82초), 이미지 처리: False
+INFO:     127.0.0.1:53751 - "POST /generate HTTP/1.1" 200 OK
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 21:07:44,244 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:07:44,244 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?
+---
+2025-08-09 21:07:44,244 - INFO - ✅ 성공: 프롬프트 제거로 응답 추출
+2025-08-09 21:07:44,244 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴까요?
+2025-08-09 21:07:44,244 - INFO - ⏱️ timing: tokenization=0.00s, generate=89.42s, decode=0.00s
+2025-08-09 21:07:44,247 - INFO - ✅ 생성 완료 (89.43초), 이미지 처리: False
+INFO:     127.0.0.1:53808 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+
+
+
+
+
+-- float16
+
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 92.64초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+
+-- bfloat16
+
+
+
+
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 91.47초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+
+
+INFO:     Application startup complete.
+INFO:     Uvicorn running on http://0.0.0.0:8001 (Press CTRL+C to quit)
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 21:19:37,420 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:19:37,423 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?
+---
+2025-08-09 21:19:37,436 - INFO - ✅ 성공: 프롬프트 제거로 응답 추출
+2025-08-09 21:19:37,436 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴까요?
+2025-08-09 21:19:37,436 - INFO - ⏱️ timing: tokenization=0.00s, generate=91.44s, decode=0.02s
+2025-08-09 21:19:37,436 - INFO - ✅ 생성 완료 (91.47초), 이미지 처리: False
+INFO:     127.0.0.1:54835 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+-- bfloat16
+
+
+INFO:     Application startup complete.
+INFO:     Uvicorn running on http://0.0.0.0:8001 (Press CTRL+C to quit)
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 21:24:40,234 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:24:40,234 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?
+---
+2025-08-09 21:24:40,234 - INFO - ✅ 성공: 프롬프트 제거로 응답 추출
+2025-08-09 21:24:40,234 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴까요?
+2025-08-09 21:24:40,234 - INFO - ⏱️ timing: tokenization=0.01s, generate=93.79s, decode=0.03s
+2025-08-09 21:24:40,234 - INFO - ✅ 생성 완료 (93.83초), 이미지 처리: False
+INFO:     127.0.0.1:55242 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+025-08-09 21:27:07,944 - INFO - 🔍 DEBUG: 모델 로드 시작 - use_local=True
+2025-08-09 21:27:09,661 - INFO - 🔍 DEBUG: 로컬 모델 로드 시도
+2025-08-09 21:27:09,661 - INFO - 🔍 DEBUG: selected_dtype = torch.bfloat16
+2025-08-09 21:27:09,679 - INFO - Build vision model ...
+2025-08-09 21:27:09,785 - INFO - Build projector ...
+2025-08-09 21:27:09,818 - INFO - Build language model ...
+Loading checkpoint shards: 100%|█| 2/2 [00:
+2025-08-09 21:27:10,835 - INFO - ✅ 모델 로드 완료 (KananaVForConditionalGeneration)
+2025-08-09 21:27:10,840 - INFO - 📊 모델 파라미터 수: 3,667,900,224
+2025-08-09 21:27:10,840 - INFO - 🔧 토크나이저 멀티모달 기능 활성화...
+2025-08-09 21:27:10,840 - INFO - 🏠 로컬 환경에서 이미지 프로세서 로딩
+2025-08-09 21:27:10,891 - INFO - ✅ 이미지 프로세서 로드 성공!
+2025-08-09 21:27:10,891 - INFO - ✅ 'kanana-1.5-v-3b-instruct' 모델 로딩 완료!
+2025-08-09 21:27:10,891 - INFO - ✅ 서버가 'kanana-1.5-v-3b-instruct' 모델로 준비되었습니다.
+INFO:     Application startup complete.
+INFO:     Uvicorn running on http://0.0.0.0:8001 (Press CTRL+C to quit)
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 21:29:02,746 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:29:02,754 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?
+---
+2025-08-09 21:29:02,755 - INFO - ✅ 성공: 프롬프트 제거로 응답 추출
+2025-08-09 21:29:02,755 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴까요?
+2025-08-09 21:29:02,756 - INFO - ⏱️ timing: tokenization=0.02s, generate=92.09s, decode=0.06s
+2025-08-09 21:29:02,763 - INFO - ✅ 생성 완료 (92.17초), 이미지 처리: False
+INFO:     127.0.0.1:55503 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+-- 멀티모달 코드 다시 추가 후 test.py 텍스트 전용 테스트
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 121.37초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>python test.py
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 87.16초
+🤖 모델: kanana-1.5-v-3b-instruct
+
+✅ 테스트 완료!
+
+============================================================
+🤖 Lily LLM API v2 - 모델 선택
+============================================================
+ 1. Polyglot-ko-1.3b-chat (polyglot-ko-1.3b-chat)
+ 2. kanana-1.5-v-3b-instruct (kanana-1.5-v-3b-instruct)
+ 3. heegyu/polyglot-ko-5.8b-chat (polyglot-ko-5.8b-chat)
+
+✅ 'kanana-1.5-v-3b-instruct' 모델을 선택했습니다.
+2025-08-09 21:38:48,387 - INFO - 📥 'kanana-1.5-v-3b-instruct' 모델 로딩 시작...
+2025-08-09 21:38:48,387 - INFO - 🔍 환경 감지: 로컬
+2025-08-09 21:38:48,388 - INFO - 📥 kanana-1.5-v-3b-instruct 모델 로드 중...
+2025-08-09 21:38:48,392 - WARNING - python-dotenv could not parse statement starting at line 35
+2025-08-09 21:38:48,396 - WARNING - python-dotenv could not parse statement starting at line 58
+2025-08-09 21:38:48,396 - WARNING - python-dotenv could not parse statement starting at line 61
+2025-08-09 21:38:48,398 - WARNING - python-dotenv could not parse statement starting at line 66
+2025-08-09 21:38:48,399 - INFO - ✅ 환경변수 로드됨: .env
+2025-08-09 21:38:48,404 - INFO - 🗂️ 로컬 모델 사용: ./lily_llm_core/models/kanana_1_5_v_3b_instruct
+2025-08-09 21:38:48,404 - INFO - 🏠 로컬 환경 설정 적용
+2025-08-09 21:38:48,404 - INFO - 🔍 DEBUG: model_path = ./lily_llm_core/models/kanana_1_5_v_3b_instruct
+2025-08-09 21:38:48,404 - INFO - 🔍 DEBUG: local_files_only = True
+2025-08-09 21:38:48,404 - INFO - 🔍 DEBUG: HF_TOKEN = 있음
+2025-08-09 21:38:48,404 - INFO - 🔍 DEBUG: use_local = True
+2025-08-09 21:38:48,404 - INFO - 🔍 DEBUG: is_local = True
+2025-08-09 21:38:48,404 - INFO - 🔍 DEBUG: 토크나이저 로드 시작 - model_path=./lily_llm_core/models/kanana_1_5_v_3b_instruct
+2025-08-09 21:38:50,002 - INFO - ✅ 토크나이저 로드 완료 (KananaVTokenizerFast)
+2025-08-09 21:38:50,004 - INFO - 🔍 DEBUG: 모델 로드 시작 - use_local=True
+2025-08-09 21:38:51,800 - INFO - 🔍 DEBUG: 로컬 모델 로드 시도
+2025-08-09 21:38:51,800 - INFO - 🔍 DEBUG: selected_dtype = torch.float16
+2025-08-09 21:38:51,823 - INFO - Build vision model ...
+2025-08-09 21:38:51,900 - INFO - Build projector ...
+2025-08-09 21:38:51,982 - INFO - Build language model ...
+Loading checkpoint shards: 100%|█| 2/2 [00:
+2025-08-09 21:38:52,656 - INFO - ✅ 모델 로드 완료 (KananaVForConditionalGeneration)
+2025-08-09 21:38:52,661 - INFO - 📊 모델 파라미터 수: 3,667,900,224
+2025-08-09 21:38:52,661 - INFO - 🔧 토크나이저 멀티모달 기능 활성화...
+2025-08-09 21:38:52,661 - INFO - 🏠 로컬 환경에서 이미지 프로세서 로딩
+2025-08-09 21:38:52,695 - INFO - ✅ 이미지 프로세서 로드 성공!
+2025-08-09 21:38:52,695 - INFO - ✅ 'kanana-1.5-v-3b-instruct' 모델 로딩 완료!
+2025-08-09 21:38:52,695 - INFO - ✅ 서버가 'kanana-1.5-v-3b-instruct' 모델로 준비되었습니다.
+INFO:     Application startup complete.
+INFO:     Uvicorn running on http://0.0.0.0:8001 (Press CTRL+C to quit)
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 21:41:01,401 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:41:01,405 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?
+---
+2025-08-09 21:41:01,405 - INFO - ✅ 성공: 프롬프트 제거로 응답 추출
+2025-08-09 21:41:01,405 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴까요?
+2025-08-09 21:41:01,405 - INFO - ⏱️ timing: tokenization=0.02s, generate=121.32s, decode=0.03s
+2025-08-09 21:41:01,405 - INFO - ✅ 생성 완료 (121.37초), 이미지 처리: False
+INFO:     127.0.0.1:56369 - "POST /generate HTTP/1.1" 200 OK
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 21:43:34,368 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:43:34,368 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?
+---
+2025-08-09 21:43:34,368 - INFO - ✅ 성공: 프롬프트 제거로 응답 추출
+2025-08-09 21:43:34,368 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴까요?
+2025-08-09 21:43:34,368 - INFO - ⏱️ timing: tokenization=0.04s, generate=87.10s, decode=0.00s
+2025-08-09 21:43:34,368 - INFO - ✅ 생성 완료 (87.16초), 이미지 처리: False
+INFO:     127.0.0.1:56660 - "POST /generate HTTP/1.1" 200 OK
+
+
+--
+
+
+
+
+-- hearth chat 채팅창에서 이미지 1장 추가 후 전송 테스트
+-- !! ai 가 이미지를 인식하지 못하고 있음음
+
+2025-08-09 21:43:34,368 - INFO - ⏱️ timing: tokenization=0.04s, generate=87.10s, decode=0.00s
+2025-08-09 21:43:34,368 - INFO - ✅ 생성 완료 (87.16초), 이미지 처리: False
+INFO:     127.0.0.1:56660 - "POST /generate HTTP/1.1" 200 OK
+2025-08-09 21:45:27,814 - INFO - 🖼️ 멀티모달(Lite) 처리 시작... (원본 이미지 1개 → 1개 사용)
+🔍 prepare_mm_inputs - pixel_values 타입: <class 'list'>
+🔍 prepare_mm_inputs - pixel_values 길이: 1
+🔍 prepare_mm_inputs - 단일 이미지 처리
+🔍 prepare_mm_inputs - 단일 이미지 처리, 첫 번째 이미지 정보 사용
+🔍 forward_projector - visual_features 형태: torch.Size([864, 1280])
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([864, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 24, 36]])
+🔍 forward_projector - grid_thw 계산된 토큰 수: tensor([864])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 864
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 24, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 24, 36, 1280])
+🔍 forward_projector - abstractor 출력 형태: torch.Size([216, 2048])
+🔍 prepare_mm_inputs - visual embeds 개수: 216
+🔍 prepare_mm_inputs - -1 토큰 개수: 0
+🔍 prepare_mm_inputs - 토큰 개수 불일치, 조정 필요
+🔍 prepare_mm_inputs - visual embeds 자르기: 216 -> 0
+2025-08-09 21:47:25,510 - INFO - --- 응답 추출 시작 ---
+2025-08-09 21:47:25,510 - INFO - 전체 생성 텍스트 (Raw):
+---
+이미지를 분석해드리겠습니다. 이미지의 내용을 설명하고, 추가적인 정보나 도움이 필요하시면 말씀해주세요!
+---
+2025-08-09 21:47:25,510 - WARNING - ⚠️ 경고: 응답에서 assistant 부분을 찾지 못했습니다. 전체 텍스트를 반환합니다.
+2025-08-09 21:47:25,510 - INFO - 최종 반환 텍스트: 이미지를 분석해드리겠습니다. 이미지의 내용을 설명하고, 추가적인 정보나 도움이 필요하시면 말씀해주세요!
+2025-08-09 21:47:25,510 - INFO - ⏱️ timing: tokenization=0.09s, generate=116.62s, decode=0.03s
+2025-08-09 21:47:25,525 - INFO - ✅ 생성 완료 (117.71초), 이미지 처리: True
+INFO:     127.0.0.1:56925 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+
+
+
+
+
+
+
+--
+
+
+2025-08-09 22:03:59,917 - INFO - 🖼️ 멀티모달(Lite) 처리 시작... (원본 이미지 1개 → 1개 사용)
+⚠️ 이미지 0: image_token_thw 없음
+🔍 repeat_image_tokens 호출: hw_tokens = None
+🔍 prepare_mm_inputs - pixel_values 타입: <class 'list'>
+🔍 prepare_mm_inputs - pixel_values 길이: 1
+🔍 prepare_mm_inputs - 단일 이미지 처리
+🔍 prepare_mm_inputs - 단일 이미지 처리, 첫 번째 이미지 정보 사용
+🔍 forward_projector - visual_features 형태: torch.Size([432, 1280])
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([432, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 12, 36]])
+🔍 forward_projector - grid_thw 계산된 토큰 수: tensor([432])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 432
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 12, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 12, 36, 1280])
+🔍 forward_projector - abstractor 출력 형태: torch.Size([108, 2048])
+🔍 prepare_mm_inputs - visual embeds 개수: 108
+🔍 prepare_mm_inputs - -1 토큰 개수: 1
+🔍 prepare_mm_inputs - 토큰 개수 불일치, 조정 필요
+🔍 prepare_mm_inputs - visual embeds 자르기: 108 -> 1
+2025-08-09 22:05:46,311 - INFO - --- 응답 추출 시작 ---
+2025-08-09 22:05:46,343 - INFO - 전체 생성 텍스트 (Raw):
+---
+이미지 분석을 도와드리겠습니다! 어떤 이미지인지 설명해 주시면 더 구체적으로 분석할 수 있어요. 예를 들어, 배경이나 주요 색상, 특정 물건 등에 대해 알려주시면 좋습니다. 😊<|im_end|>
+---
+2025-08-09 22:05:46,343 - INFO - ✅ 성공: 패턴 제거로 응답 정리
+2025-08-09 22:05:46,343 - INFO - 정리된 응답: 이미지 분석을 도와드리겠습니다! 어떤 이미지인지 설명해 주시면 더 구체적으로 분석할 수 있어요. 예를 들어, 배경이나 주요 색상, 특정 물건 등에 대해 알려주시면 좋습니다. 😊
+2025-08-09 22:05:46,359 - INFO - ⏱️ timing: tokenization=0.03s, generate=106.17s, decode=0.15s
+2025-08-09 22:05:46,412 - INFO - ✅ 생성 완료 (106.49초), 이미지 처리: True
+INFO:     127.0.0.1:58704 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+
+----
+
+
+
+
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>llts
+
+
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 40.06초
+🤖 모델: kanana-1.5-v-3b-instruct    
+
+✅ 테스트 완료!
+
+---
+
+
+✅ 'kanana-1.5-v-3b-instruct' 모델을 선택했습니다.
+2025-08-09 22:13:08,249 - INFO - 📥 'kanana-1.5-v-3b-instruct' 모델 로딩  시작...
+2025-08-09 22:13:08,249 - INFO - 🔍  환경 감지: 로컬
+2025-08-09 22:13:08,249 - INFO - 📥 kanana-1.5-v-3b-instruct 모델 로드 중...
+2025-08-09 22:13:08,249 - WARNING - python-dotenv could not parse statement starting at line 35
+2025-08-09 22:13:08,249 - WARNING - python-dotenv could not parse statement starting at line 58
+2025-08-09 22:13:08,249 - WARNING - python-dotenv could not parse statement starting at line 61
+2025-08-09 22:13:08,249 - WARNING - python-dotenv could not parse statement starting at line 66
+2025-08-09 22:13:08,259 - INFO - ✅  환경변수 로드됨: .env
+2025-08-09 22:13:08,259 - INFO - 🗂️   로컬 모델 사용: ./lily_llm_core/models/kanana_1_5_v_3b_instruct
+2025-08-09 22:13:08,260 - INFO - 🏠  로컬 환경 설정 적용
+2025-08-09 22:13:08,260 - INFO - 🔍 DEBUG: model_path = ./lily_llm_core/models/kanana_1_5_v_3b_instruct        
+2025-08-09 22:13:08,260 - INFO - 🔍 DEBUG: local_files_only = True        
+2025-08-09 22:13:08,260 - INFO - 🔍 DEBUG: HF_TOKEN = 있음
+2025-08-09 22:13:08,260 - INFO - 🔍 DEBUG: use_local = True
+2025-08-09 22:13:08,260 - INFO - 🔍 DEBUG: is_local = True
+2025-08-09 22:13:08,260 - INFO - 🔍 DEBUG: 토크나이저 로드 시작 - model_path=./lily_llm_core/models/kanana_1_5_v_3b_instruct
+2025-08-09 22:13:08,733 - INFO - ✅  토크나이저 로드 완료 (KananaVTokenizerFast)
+2025-08-09 22:13:08,733 - INFO - 🔍 DEBUG: 모델 로드 시작 - use_local=True
+2025-08-09 22:13:09,361 - INFO - 🔍 DEBUG: 로컬 모델 로드 시도
+2025-08-09 22:13:09,361 - INFO - 🔍 DEBUG: selected_dtype = torch.float16 
+2025-08-09 22:13:09,368 - INFO - Build vision model ...
+2025-08-09 22:13:09,393 - INFO - Build projector ...
+2025-08-09 22:13:09,403 - INFO - Build language model ...
+Loading checkpoint shards: 100%|█| 2
+2025-08-09 22:13:09,618 - INFO - ✅  모델 로드 완료 (KananaVForConditionalGeneration)
+2025-08-09 22:13:09,621 - INFO - 📊  모델 파라미터 수: 3,667,900,224      
+2025-08-09 22:13:09,621 - INFO - 🔧  토크나이저 멀티모달 기능 활성화...   
+2025-08-09 22:13:09,621 - INFO - 🏠  로컬 환경에서 이미지 프로세서 로딩   
+2025-08-09 22:13:09,639 - INFO - ✅  이미지 프로세서 로드 성공!
+2025-08-09 22:13:09,639 - INFO - ✅ 'kanana-1.5-v-3b-instruct' 모델 로딩  완료!
+2025-08-09 22:13:09,639 - INFO - ✅  서버가 'kanana-1.5-v-3b-instruct' 모 델로 준비되었습니다.
+INFO:     Application startup complete.
+INFO:     Uvicorn running on http://0.0.0.0:8001 (Press CTRL+C to quit)   
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 22:14:00,036 - INFO - --- 응답 추출 시작 ---
+2025-08-09 22:14:00,047 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?     
+---
+2025-08-09 22:14:00,048 - INFO - ✅  성공: 프롬프트 제거로 응답 추출      
+2025-08-09 22:14:00,048 - INFO - 추출된 응답: 안녕하세요! 어떻게 도와드릴 까요?
+2025-08-09 22:14:00,048 - INFO - ⏱️ ttiming: tokenization=0.01s, generate=40.03s, decode=0.01s
+2025-08-09 22:14:00,049 - INFO - ✅  생성 완료 (40.06초), 이미지 처리: False
+INFO:     127.0.0.1:59669 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+---
+
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 41.70초
+🤖 모델: kanana-1.5-v-3b-instruct    
+
+✅ 테스트 완료!
+
+
+
+
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 22:19:54,138 - INFO - --- 응답 추출 시작 ---
+2025-08-09 22:19:54,141 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+안녕하세요!<|im_end|>
+<|im_start|>assistant
+안녕하세요! 어떻게 도와드릴까요?     
+---
+2025-08-09 22:19:54,141 - INFO - ✅  성공: 프롬프트 제거로 응답 추출      
+2025-08-09 22:19:54,142 - INFO - 추출된 응답: 안녕하세요! ��떻게 도와드릴 까요?
+2025-08-09 22:19:54,144 - INFO - ⏱️ ttiming: tokenization=0.05s, generate=41.62s, decode=0.02s
+2025-08-09 22:19:54,144 - INFO - ✅  생성 완료 (41.70초), 이미지 처리: False
+INFO:     127.0.0.1:60350 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+-- 이미지 1개 첨부 후 테스트
+
+2025-08-09 22:20:48,054 - INFO - 🖼️   멀티모달(Lite) 처리 시작... (원본 이 미지 1개 → 1개 사용)
+⚠️ 이미지 0: image_token_thw 없음
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 1: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 2: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 3: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 4: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 5: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 6: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 7: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 8: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 9: image_token_thw 없음    
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 10: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 11: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 12: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 13: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 14: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 15: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 16: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 17: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 18: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 19: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 20: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 21: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 22: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 23: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 24: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 25: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 26: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 27: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 28: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 29: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 30: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 31: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 32: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 33: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 34: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 35: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 36: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 37: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 38: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 39: image_token_thw 없음
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 40: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 41: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 42: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 43: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 44: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 45: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 46: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 47: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 48: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 49: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 50: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 51: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 52: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 53: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 54: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 55: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 56: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 57: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 58: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 59: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 60: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 61: image_token_thw 없음
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 62: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 63: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 64: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 65: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 66: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 67: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 68: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 69: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 70: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 71: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 72: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 73: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 74: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 75: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 76: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 77: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 78: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 79: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 80: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 81: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 82: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 83: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 84: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 85: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 86: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 87: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 88: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 89: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 90: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 91: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 92: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 93: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 94: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 95: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 96: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 97: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 98: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 99: image_token_thw 없음   
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 100: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 101: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 102: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 103: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 104: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 105: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 106: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 107: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 108: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 109: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 110: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 111: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 112: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 113: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 114: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 115: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 116: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 117: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 118: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 119: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 120: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 121: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 122: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 123: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 124: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 125: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 126: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+⚠️ 이미지 127: image_token_thw 없음  
+🔍 repeat_image_tokens 호출: hw_tokens = None
+🔍 prepare_mm_inputs - pixel_values  타입: <class 'list'>
+🔍 prepare_mm_inputs - pixel_values  길이: 1
+🔍 prepare_mm_inputs - 단일 이미지 처리
+🔍 prepare_mm_inputs - 단일 이미지 처리, 첫 번째 이미지 정보 사용
+🔍 forward_projector - visual_features 형태: torch.Size([864, 1280])      
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([864, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 24, 36]])
+🔍 forward_projector - grid_thw 계산 된 토큰 수: tensor([864])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 864
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 24, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 24, 36, 1280])        
+🔍 forward_projector - abstractor 출 력 형태: torch.Size([216, 2048])     
+🔍 prepare_mm_inputs - visual embeds 개수: 216
+🔍 prepare_mm_inputs - -1 토큰 개수: 128
+🔍 prepare_mm_inputs - 토큰 개수 불일치, 조정 필요
+🔍 prepare_mm_inputs - visual embeds 자르기: 216 -> 128
+2025-08-09 22:22:31,156 - INFO - --- 응답 추출 시작 ---
+2025-08-09 22:22:31,156 - INFO - 전체 생성 텍스트 (Raw):
+---
+이 이미지는 Copilot이라는 이름의 로고를 보여줍니다. 로고는 다채로운 색상의 곡선으로 이루어진 디자인과 "Copilot"이라는 텍스트로 구성되어 있습니다. 배경은 그라데이션 효과가 적용된 부드러 운 녹색 톤
+---
+2025-08-09 22:22:31,156 - WARNING - ⚠️ 경고: 응답에서 assistant 부분을 찾  지 못했습니다. 전체 텍스트를 반환합니다.
+2025-08-09 22:22:31,156 - INFO - 최종 반환 텍스트: 이 이미지는 Copilot이라는 이름의 로고를 보여줍니다. 로고는  다채로운 색상의 곡선으로 이루어진 디 자인과 "Copilot"이라는 텍스트로 구성 되어 있습니다. 배경은 그라데이션 효과가 적용된 부드러운 녹색 톤
+2025-08-09 22:22:31,156 - INFO - ⏱️ ttiming: tokenization=0.12s, generate=102.51s, decode=0.07s
+2025-08-09 22:22:31,165 - INFO - ✅  생성 완료 (103.11초), 이미지 처리: True
+INFO:     127.0.0.1:60421 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+-- 다중 이미지
+
+
+⚠️ 이미지 254: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+⚠️ 이미지 255: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+🔍 prepare_mm_inputs - pixel_values  타입: <class 'list'>
+🔍 prepare_mm_inputs - pixel_values  길이: 2
+🔍 prepare_mm_inputs - 다중 이미지 처리 시작
+🔍 prepare_mm_inputs - 이미지 0 처리 중
+🔍 forward_projector - visual_features 형태: torch.Size([864, 1280])      
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([864, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 24, 36]])
+🔍 forward_projector - grid_thw 계산 된 토큰 수: tensor([864])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 864
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 24, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 24, 36, 1280])        
+🔍 forward_projector - abstractor 출 력 형태: torch.Size([216, 2048])     
+🔍 prepare_mm_inputs - 이미지 1 처리 중
+🔍 forward_projector - visual_features 형태: torch.Size([504, 1280])      
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([504, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 14, 36]])
+🔍 forward_projector - grid_thw 계산 된 토큰 수: tensor([504])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 504
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 14, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 14, 36, 1280])        
+🔍 forward_projector - abstractor 출 력 형태: torch.Size([126, 2048])     
+🔍 prepare_mm_inputs - 다중 이미지 처리 완료, 연결된 embeds 크기: torch.Size([342, 2048])
+🔍 prepare_mm_inputs - visual embeds 개수: 342
+🔍 prepare_mm_inputs - -1 토큰 개수: 596
+🔍 prepare_mm_inputs - 토큰 개수 불일치, 조정 필요
+🔍 prepare_mm_inputs - visual embeds 반복: 342 -> 596
+2025-08-09 22:41:20,783 - INFO - --- 응답 추출 시작 ---
+2025-08-09 22:41:20,783 - INFO - 전체 생성 텍스트 (Raw):
+---
+이미지 2개를 비교하려면, 각 이미지를 업로드해 주시거나 URL을 제공해 주세요. 그런 다음, 이미지의 주요 특징이나  차이를 분석하여 비교해 드리겠습니다! 😊
+---
+2025-08-09 22:41:20,783 - WARNING - ⚠️ 경고: 응답에서 assistant 부분을 찾  지 못했습니다. 전체 텍스트를 반환합니다.
+2025-08-09 22:41:20,783 - INFO - 최종 반환 텍스트: 이미지 2개를 비교하려면, 각 이미지를 업로드해 주시거나 URL을 제공해 주세요. 그런 다음, 이미지의  주요 특징이나 차이를 분석하여 비교해 드리겠습니다! 😊
+2025-08-09 22:41:20,783 - INFO - ⏱️ ttiming: tokenization=0.16s, generate=196.47s, decode=0.03s
+2025-08-09 22:41:20,783 - INFO - ✅  생성 완료 (197.07초), 이미지 처리: True
+INFO:     127.0.0.1:62019 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+
+⚠️ 이미지 127: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+🔍 prepare_mm_inputs - pixel_values  타입: <class 'list'>
+🔍 prepare_mm_inputs - pixel_values  길이: 1
+🔍 prepare_mm_inputs - 단일 이미지 처리
+🔍 prepare_mm_inputs - 단일 이미지 처리, 첫 번째 이미지 정보 사용
+🔍 forward_projector - visual_features 형태: torch.Size([432, 1280])      
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([432, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 12, 36]])
+🔍 forward_projector - grid_thw 계산 된 토큰 수: tensor([432])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 432
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 12, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 12, 36, 1280])        
+🔍 forward_projector - abstractor 출 력 형태: torch.Size([108, 2048])     
+🔍 prepare_mm_inputs - visual embeds 개수: 108
+🔍 prepare_mm_inputs - -1 토큰 개수: 235
+🔍 prepare_mm_inputs - 토큰 개수 불일치, 조정 필요
+🔍 prepare_mm_inputs - visual embeds 반복: 108 -> 235
+2025-08-09 22:44:36,804 - INFO - --- 응답 추출 시작 ---
+2025-08-09 22:44:36,804 - INFO - 전체 생성 텍스트 (Raw):
+---
+이미지를 분석해드리겠습니다.
+
+문제는 다음과 같습니다:
+1. \( \sqrt{24} \times 2^{3/3} \)의  값을 구하시오.
+선택지는 다음과 같습니다:
+① 6
+② 7
+③ 8
+④ 9
+⑤
+---
+2025-08-09 22:44:36,804 - INFO - ✅  성공: 패턴 제거로 응답 정리
+2025-08-09 22:44:36,804 - INFO - 정리된 응답: 이미지를 분석해드리겠습니다.
+
+문제는 다음과 같습니다:
+1. \( \sqrt{24} \times 2^{3/3} \)의  값을 구하시오.
+선택지는 다음과 같습니다:
+① 6
+② 7
+③ 8
+④ 9
+⑤
+2025-08-09 22:44:36,804 - INFO - ⏱️ ttiming: tokenization=0.06s, generate=87.62s, decode=0.02s
+2025-08-09 22:44:36,819 - INFO - ✅  생성 완료 (87.75초), 이미지 처리: True
+
+
+
+
+
+-- test.py 테스트 파일 단순 텍스트 처리 33초
+
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>llts
+
+
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 33.29초
+🤖 모델: kanana-1.5-v-3b-instruct    
+
+✅ 테스트 완료!
+
+
+(lily_llm_env) C:\Project\lily_generate_project\lily_generate_package>llts
+
+
+🧪 Lily LLM API 테스트 시작
+
+==================================================
+테스트 1: 안녕하세요!
+==================================================
+✅ 성공!
+📝 생성된 텍스트: '안녕하세요! 어떻게 도와드릴까요?'
+⏱️ 처리 시간: 35.61초
+🤖 모델: kanana-1.5-v-3b-instruct    
+
+
+
+-- hearth chat 채팅창 단순 텍스트 전송 응답 처리 시간 621 초
+
+
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 23:42:25,991 - INFO - 🔍  환경 감지: 로컬
+INFO:     127.0.0.1:65335 - "GET /models HTTP/1.1" 200 OK
+2025-08-09 23:42:31,446 - INFO - 🔍  환경 감지: 로컬
+INFO:     127.0.0.1:65336 - "GET /models HTTP/1.1" 200 OK
+2025-08-09 23:45:21,072 - INFO - --- 응답 추출 시작 ---
+2025-08-09 23:45:21,074 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+편안하고 친근하게 자연스럽고 편안한  대화를 이어가세요. 사용자의 관심사에 집중하고 유용한 정보를 제공하세요.   
+
+사용자 메시지: 네 이름은 뭐니?<|im_end|>
+<|im_start|>assistant
+안녕! 나는 AI 도우미야. 너의 질문이나 궁금증을 해결해주는 걸 좋아하지. 이 름이 뭐라고 물어봤는데, 혹시 다른 것 도 궁금한 게 있으면 언제든 말해줘! 😊
+---
+2025-08-09 23:45:21,074 - INFO - ✅  성공: 프롬프트 제거로 응답 추출      
+2025-08-09 23:45:21,074 - INFO - 추출된 응답: 안녕! 나는 AI 도우미야. 너의 질문이나 궁금증을 해결해주는 걸 좋아하지. 이름이 뭐라고 물어봤는데, 혹시 다른 것도 궁금한 게 있으면 언제든 말 해줘! 😊
+2025-08-09 23:45:21,074 - INFO - ⏱️ ttiming: tokenization=0.10s, generate=621.18s, decode=0.05s
+2025-08-09 23:45:21,074 - INFO - ✅  생성 완료 (621.35초), 이미지 처리: False
+INFO:     127.0.0.1:64965 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+-- hearth chat 채팅창 다중 이미지 전송 응답 처리 시간 340초
+
+⚠️ 이미지 391: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+⚠️ 이미지 392: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+⚠️ 이미지 393: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+⚠️ 이미지 394: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+⚠️ 이미지 395: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+🔍 prepare_mm_inputs - pixel_values  타입: <class 'list'>
+🔍 prepare_mm_inputs - pixel_values  길이: 2
+🔍 prepare_mm_inputs - 다중 이미지 처리 시작
+🔍 prepare_mm_inputs - 이미지 0 처리 중
+🔍 forward_projector - visual_features 형태: torch.Size([864, 1280])      
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([864, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 24, 36]])
+🔍 forward_projector - grid_thw 계산 된 토큰 수: tensor([864])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 864
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 24, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 24, 36, 1280])        
+🔍 forward_projector - abstractor 출 력 형태: torch.Size([216, 2048])     
+🔍 prepare_mm_inputs - 이미지 1 처리 중
+🔍 forward_projector - visual_features 형태: torch.Size([720, 1280])      
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([720, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 20, 36]])
+🔍 forward_projector - grid_thw 계산 된 토큰 수: tensor([720])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 720
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 20, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 20, 36, 1280])        
+🔍 forward_projector - abstractor 출 력 형태: torch.Size([180, 2048])     
+🔍 prepare_mm_inputs - 다중 이미지 처리 완료, 연결된 embeds 크기: torch.Size([396, 2048])
+🔍 prepare_mm_inputs - visual embeds 개수: 396
+🔍 prepare_mm_inputs - -1 토큰 개수: 790
+🔍 prepare_mm_inputs - 토큰 개수 불일치, 조정 필요
+🔍 prepare_mm_inputs - visual embeds 반복: 396 -> 790
+2025-08-09 23:31:57,282 - INFO - --- 응답 추출 시작 ---
+2025-08-09 23:31:57,303 - INFO - 전체 생성 텍스트 (Raw):
+---
+이미지에 쓰인 글자들을 확인해 보겠습 니다.
+
+첫 번째 이미지에는 "Copilot"이라는 글자가 있습니다.
+두 번째 이미지에는 "Gemini"라는 글자 가 있으며, "i" 위에 작은 별 모양의 디테일이 추가되어 있습니다.
+
+도움이 필요
+---
+2025-08-09 23:31:57,306 - WARNING - ⚠️ 경고: 응답에서 assistant 부분을 찾  지 못했습니다. 전체 텍스트를 반환합니다.
+2025-08-09 23:31:57,307 - INFO - 최종 반환 텍스트: 이미지에 쓰인 글자들을 확인해 보겠습니다.
+
+첫 번째 이미지에는 "Copilot"이라는 글자가 있습니다.
+두 번째 이미지에는 "Gemini"라는 글자 가 있으며, "i" 위에 작은 별 모양의 디테일이 추가되어 있습니다.
+
+도움이 필요
+2025-08-09 23:31:57,309 - INFO - ⏱️ ttiming: tokenization=0.12s, generate=339.63s, decode=0.10s
+2025-08-09 23:31:57,337 - INFO - ✅  생성 완료 (340.07초), 이미지 처리: True
+INFO:     127.0.0.1:64121 - "POST /generate HTTP/1.1" 200 OK
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+2025-08-09 23:42:25,991 - INFO - 🔍  환경 감지: 로컬
+INFO:     127.0.0.1:65335 - "GET /models HTTP/1.1" 200 OK
+2025-08-09 23:42:31,446 - INFO - 🔍  환경 감지: 로컬
+INFO:     127.0.0.1:65336 - "GET /models HTTP/1.1" 200 OK
+2025-08-09 23:45:21,072 - INFO - --- 응답 추출 시작 ---
+2025-08-09 23:45:21,074 - INFO - 전체 생성 텍스트 (Raw):
+---
+<|im_start|>user
+편안하고 친근하게 자연스럽고 편안한  대화를 이어가세요. 사용자의 관심사에 집중하고 유용한 정보를 제공하세요.   
+
+사용자 메시지: 네 이름은 뭐니?<|im_end|>
+<|im_start|>assistant
+안녕! 나는 AI 도우미야. 너의 질문이나 궁금증을 해결해주는 걸 좋아하지. 이 름이 뭐라고 물어봤는데, 혹시 다른 것 도 궁금한 게 있으면 언제든 말해줘! 😊
+---
+2025-08-09 23:45:21,074 - INFO - ✅  성공: 프롬프트 제거로 응답 추출      
+2025-08-09 23:45:21,074 - INFO - 추출된 응답: 안녕! 나는 AI 도우미야. 너의 질문이나 궁금증을 해결해주는 걸 좋아하지. 이름이 뭐라고 물어봤는데, 혹시 다른 것도 궁금한 게 있으면 언제든 말 해줘! 😊
+2025-08-09 23:45:21,074 - INFO - ⏱️ ttiming: tokenization=0.10s, generate=621.18s, decode=0.05s
+2025-08-09 23:45:21,074 - INFO - ✅  생성 완료 (621.35초), 이미지 처리: False
+INFO:     127.0.0.1:64965 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+-- hearth chat 1개 이미지 전송 처리 84초
+
+ 이미지 107: 인덱스 범위 초과, 기 본값 사용
+🔍 repeat_image_tokens 호출: hw_tokens = (1, 1, 1)
+🔍 prepare_mm_inputs - pixel_values  타입: <class 'list'>
+🔍 prepare_mm_inputs - pixel_values  길이: 1
+🔍 prepare_mm_inputs - 단일 이미지 처리
+🔍 prepare_mm_inputs - 단일 이미지 처리, 첫 번째 이미지 정보 사용
+🔍 forward_projector - visual_features 형태: torch.Size([432, 1280])      
+🔍 forward_projector - 단일 텐서 처리
+🔍 forward_projector - 이미 처리된 특징 텐서 감지
+🔍 forward_projector - 특징 텐서 형태: torch.Size([432, 1280])
+🔍 forward_projector - grid_thw: tensor([[ 1, 12, 36]])
+🔍 forward_projector - grid_thw 계산 된 토큰 수: tensor([432])
+🔍 forward_projector - 실제 특징 텐서 토큰 수: 432
+🔍 abstractor - pos_emb 형태: torch.Size([1, 576, 1280])
+🔍 abstractor - reshaped_visual_embeds 형태: torch.Size([1, 12, 36, 1280])
+🔍 abstractor - _local_pos_emb 형태: torch.Size([1, 12, 36, 1280])        
+🔍 forward_projector - abstractor 출 력 형태: torch.Size([108, 2048])     
+🔍 prepare_mm_inputs - visual embeds 개수: 108
+🔍 prepare_mm_inputs - -1 토큰 개수: 215
+🔍 prepare_mm_inputs - 토큰 개수 불일치, 조정 필요
+🔍 prepare_mm_inputs - visual embeds 반복: 108 -> 215
+2025-08-09 23:51:06,912 - INFO - --- 응답 추출 시작 ---
+2025-08-09 23:51:06,912 - INFO - 전체 생성 텍스트 (Raw):
+---
+이미지에는 수학 문제와 선택지가 포함 되어 있습니다. 문제는 다음과 같습니다:
+
+1. \( \sqrt{24} \times Consider this problem: \( \sqrt{24} \times 3^{\frac{2}{3}} \) 의 값은? [2점]
+
+선택
+---
+2025-08-09 23:51:06,912 - WARNING - ⚠️ 경고: 응답에서 assistant 부분을 찾  지 못했습니다. 전체 텍스트를 반환합니다.
+2025-08-09 23:51:06,912 - INFO - 최종 반환 텍스트: 이미지에는 수학 문제와 선택지가 포함되어 있습니다. 문제는 다음과 같습니다:
+
+1. \( \sqrt{24} \times Consider this problem: \( \sqrt{24} \times 3^{\frac{2}{3}} \) 의 값은? [2점]
+
+선택
+2025-08-09 23:51:06,912 - INFO - ⏱️ ttiming: tokenization=0.07s, generate=84.18s, decode=0.05s
+2025-08-09 23:51:06,931 - INFO - ✅  생성 완료 (84.43초), 이미지 처리: True
+INFO:     127.0.0.1:49217 - "POST /generate HTTP/1.1" 200 OK
+
+
+
+
+
+-- django 로그
+
+
+[DEBUG] WebSocket 메시지 수신:
+[DEBUG] user_message: 2개 이미지 비교해줘
+[DEBUG] image_urls: ['/media/image/chat_attach/test_image_01_XSZwb1W.jpg', '/media/image/chat_attach/test_image_02_oR6jRg0.png']
+[DEBUG] documents: []
+[DEBUG] room_id: 359
+🔍 DB에서 가져온 설정: ai_provider=lily, gemini_model=gemini-1.5-flash
+🔍 JSON 설정에서 가져온 값: {'aiEnabled': True, 'aiProvider': 'lily', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 JSON aiProvider 우선 사용: lily
+🔍 JSON geminiModel 우선 사용: gemini-1.5-flash
+🔍 최종 설정: {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 사용자 AI 설정(DB): {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 최종 결정된 제공자: lily
+🔍 AI 제공자: lily
+🔍 Gemini 모델: gemini-1.5-flash
+🚀 Lily LLM API 호출
+🔧 Lily URL=http://localhost:8001
+🔧 Lily API 설정: URL=http://localhost:8001, Model=kanana-1.5-v-3b-instruct
+🔧 환경 감지: RAILWAY_ENVIRONMENT=None
+🖼️ 다중 이미지 처리 시작: 2개 이미지
+🌐 이미지 URL 1: http://localhost:8000/media/image/chat_attach/test_image_01_XSZwb1W.jpg
+127.0.0.1:63225 - - [09/Aug/2025:22:55:30] "GET /media/image/chat_attach/test_image_02_oR6jRg0.png" 200 18596
+127.0.0.1:63224 - - [09/Aug/2025:22:55:30] "GET /media/image/chat_attach/test_image_01_XSZwb1W.jpg" 200 21590
+127.0.0.1:63296 - - [09/Aug/2025:22:55:32] "GET /media/image/chat_attach/test_image_01_XSZwb1W.jpg" 200 21590
+✅ 이미지 1 다운로드 성공: 21590 bytes
+🌐 이미지 URL 2: http://localhost:8000/media/image/chat_attach/test_image_02_oR6jRg0.png
+127.0.0.1:63298 - - [09/Aug/2025:22:55:34] "GET /media/image/chat_attach/test_image_02_oR6jRg0.png" 200 18596
+✅ 이미지 2 다운로드 성공: 18596 bytes
+🔄 멀티모달 요청 준비 완료 (2개 이미지 포함)
+🚀 Lily API 호출 시작: http://localhost:8001/generate
+📤 요청 데이터: {'prompt': '편안하고 친근하게 자연스럽고 편안한 대화를 이어가세요. 사용자의 관심사에 집중하고 유용한 정보를 제공하세요.\n\n사용자 메시지: 2개 이미지 비교해줘', 'max_length': 64, 'temperature': 0.7}
+📁 파일 포함 여부: True
+🔄 멀티모달 요청 전송 (이미지 포함)
+✅ Lily API 응답 성공: 두 이미지의 차이점을 분석해 드릴까요? 예를 들어 색상, 구성 요소, 배경 스타일 등 어떤 부분을 비교하고 싶으신지 알려주세요....
+✅ 실제 사용된 API: lily, AI 이름: Lily LLM
+AI 메시지 저장 성공: 1959, question_message: gigabitamin - 이미지 - 2개 이미지 비교해줘...
+📤 AI 응답 전송 준비: 두 이미지의 차이점을 분석해 드릴까요? 예를 들어 색상, 구성 요소, 배경 스타일 등 어떤...
+📤 방 ID: 359
+📤 AI 이름: Lily LLM
+📤 디버그 이벤트: {'type': 'ai_message', 'message': '두 이미지의 차이점을 분석해 드릴까요? 예를 들어 색상, 구성 요소, 배경 스타일 등 어떤 부분을 비교하고 싶으신지 알려주세요.', 'roomId': 359, 'timestamp': '2025-08-09T13:59:56.786708+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM'}
+✅ AI 응답 WebSocket 전송 완료
+📥 AI 메시지 이벤트 수신: {'type': 'ai_message', 'sender_type': 'ai', 'message': '두 이미지의 차이점을 분석해 드릴까요? 예를 들어 색상, 구성 요소, 배경 스타일 등 어떤 부분을 비교하고 싶으신지 알려주세요.', 'roomId': 359, 'timestamp': '2025-08-09T13:59:56.786708+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM', 'imageUrls': ['/media/image/chat_attach/test_image_01_XSZwb1W.jpg', '/media/image/chat_attach/test_image_02_oR6jRg0.png']}
+📤 클라이언트로 전송할 데이터: {'type': 'ai_message', 'message': '두 이미지의 차이점을 분석해 드릴까요? 예를 들어 색상, 구성 요소, 배경 스타일 등 어떤 부분을 비교하고 싶으신지 알려주세요.', 'roomId': 359, 'timestamp': '2025-08-09T13:59:56.786708+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM', 'imageUrls': ['/media/image/chat_attach/test_image_01_XSZwb1W.jpg', '/media/image/chat_attach/test_image_02_oR6jRg0.png']}
+✅ AI 메시지 클라이언트 전송 완료
+127.0.0.1:63552 - - [09/Aug/2025:23:00:48] "GET /api/chat/user/settings/" 200 845
+[DEBUG] WebSocket 메시지 수신:
+[DEBUG] user_message: 2개의 이미지에 쓰인 글자들 각각 알려줘
+[DEBUG] image_urls: []
+[DEBUG] documents: []
+[DEBUG] room_id: 359
+🔍 DB에서 가져온 설정: ai_provider=lily, gemini_model=gemini-1.5-flash
+🔍 JSON 설정에서 가져온 값: {'aiEnabled': True, 'aiProvider': 'lily', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 JSON aiProvider 우선 사용: lily
+🔍 JSON geminiModel 우선 사용: gemini-1.5-flash
+🔍 최종 설정: {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 사용자 AI 설정(DB): {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔧 클라이언트 AI 설정 적용: {'aiProvider': 'lily', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct'}
+🔧 병합 후 최종 AI 설정: {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 최종 결정된 제공자: lily
+🔍 AI 제공자: lily
+🔍 Gemini 모델: gemini-1.5-flash
+🚀 Lily LLM API 호출
+🔧 Lily URL=http://localhost:8001
+🔧 Lily API 설정: URL=http://localhost:8001, Model=kanana-1.5-v-3b-instruct
+🔧 환경 감지: RAILWAY_ENVIRONMENT=None
+📝 텍스트 전용 요청
+📤 요청 데이터: {'prompt': '편안하고 친근하게 자연스럽고 편안한 대화를 이어가세요. 사용자의 관심사에 집중하고 유용한 정보를 제공하세요.\n\n사용자 메시지: 2개의 이미지에 쓰인 글자들 각각 알려줘', 'max_length': 64, 'temperature': 0.7}
+📁 파일 포함 여부: False
+🔄 텍스트 전용 요청 전송
+127.0.0.1:63590 - - [09/Aug/2025:23:03:01] "GET /api/social-connections/" 200 157
+✅ Lily API 응답 성공: 아, 두 개의 이미지를 보여주면 좋겠네요! 글자가 있는 이미지라면 텍스트를 읽어드릴 수 있어요. 하나씩 올려주시거나 설명을 해주시면 도와드릴게요! 😊...
+✅ 실제 사용된 API: lily, AI 이름: Lily LLM
+AI 메시지 저장 성공: 1961, question_message: gigabitamin - 텍스트 - 2개의 이미지에 쓰인 글자들 각각 알려줘...
+📤 AI 응답 전송 준비: 아, 두 개의 이미지를 보여주면 좋겠네요! 글자가 있는 이미지라면 텍스트를 읽어드릴 수 있...
+📤 방 ID: 359
+📤 AI 이름: Lily LLM
+📤 디버그 이벤트: {'type': 'ai_message', 'message': '아, 두 개의 이미지를 보여주면 좋겠네요! 글자가 있는 이미지라면 텍스트를 읽어드릴 수 있어요. 하나씩 올려주시거나 설명을 해주시면 도와드릴게요! 😊', 'roomId': 359, 'timestamp': '2025-08-09T14:12:16.646721+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM'}
+✅ AI 응답 WebSocket 전송 완료
+📥 AI 메시지 이벤트 수신: {'type': 'ai_message', 'sender_type': 'ai', 'message': '아, 두 개의 이미지를 보여주면 좋겠네요! 글자가 있는 이미지라면 텍스트를 읽어드릴 수 있어요. 하나씩 올려주시거나 설명을 해주시면 도와드릴게요! 😊', 'roomId': 359, 'timestamp': '2025-08-09T14:12:16.646721+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM', 'imageUrls': []}
+📤 클라이언트로 전송할 데이터: {'type': 'ai_message', 'message': '아, 두 개의 이미지를 보여주면 좋겠네요! 글자가 있는 이미지라면 텍스트를 읽어드릴 수 있어요. 하나씩 올려주시거나 설명을 해주시면 도와드릴게요! 😊', 'roomId': 359, 'timestamp': '2025-08-09T14:12:16.646721+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM', 'imageUrls': []}
+✅ AI 메시지 클라이언트 전송 완료
+127.0.0.1:64104 - - [09/Aug/2025:23:26:10] "POST /api/chat/upload_image/" 200 87
+127.0.0.1:64106 - - [09/Aug/2025:23:26:10] "POST /api/chat/upload_image/" 200 87
+[DEBUG] WebSocket 메시지 수신:
+[DEBUG] user_message: 2개의 이미지에 쓰인 글자들 모두 알려줘
+[DEBUG] image_urls: ['/media/image/chat_attach/test_image_01_mTSu52g.jpg', '/media/image/chat_attach/test_image_04_xI12FZ3.jpg']
+[DEBUG] documents: []
+[DEBUG] room_id: 359
+🔍 DB에서 가져온 설정: ai_provider=lily, gemini_model=gemini-1.5-flash
+🔍 JSON 설정에서 가져온 값: {'aiEnabled': True, 'aiProvider': 'lily', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 JSON aiProvider 우선 사용: lily
+🔍 JSON geminiModel 우선 사용: gemini-1.5-flash
+🔍 최종 설정: {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 사용자 AI 설정(DB): {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 최종 결정된 제공자: lily
+🔍 AI 제공자: lily
+🔍 Gemini 모델: gemini-1.5-flash
+🚀 Lily LLM API 호출
+🔧 Lily URL=http://localhost:8001
+🔧 Lily API 설정: URL=http://localhost:8001, Model=kanana-1.5-v-3b-instruct
+🔧 환경 감지: RAILWAY_ENVIRONMENT=None
+🖼️ 다중 이미지 처리 시작: 2개 이미지
+🌐 이미지 URL 1: http://localhost:8000/media/image/chat_attach/test_image_01_mTSu52g.jpg
+127.0.0.1:64113 - - [09/Aug/2025:23:26:11] "GET /media/image/chat_attach/test_image_04_xI12FZ3.jpg" 200 30949
+127.0.0.1:64112 - - [09/Aug/2025:23:26:11] "GET /media/image/chat_attach/test_image_01_mTSu52g.jpg" 200 21590
+127.0.0.1:64116 - - [09/Aug/2025:23:26:13] "GET /media/image/chat_attach/test_image_01_mTSu52g.jpg" 200 21590
+✅ 이미지 1 다운로드 성공: 21590 bytes
+🌐 이미지 URL 2: http://localhost:8000/media/image/chat_attach/test_image_04_xI12FZ3.jpg
+127.0.0.1:64119 - - [09/Aug/2025:23:26:15] "GET /media/image/chat_attach/test_image_04_xI12FZ3.jpg" 200 30949
+✅ 이미지 2 다운로드 성공: 30949 bytes
+🔄 멀티모달 요청 준비 완료 (2개 이미지 포함)
+🚀 Lily API 호출 시작: http://localhost:8001/generate
+📤 요청 데이터: {'prompt': '편안하고 친근하게 자연스럽고 편안한 대화를 이어가세요. 사용자의 관심사에 집중하고 유용한 정보를 제공하세요.\n\n사용자 메시지: 2개의 이미지에 쓰인 글자들 모두 알려줘', 'max_length': 64, 'temperature': 0.7}
+📁 파일 포함 여부: True
+🔄 멀티모달 요청 전송 (이미지 포함)
+✅ Lily API 응답 성공: 이미지에 쓰인 글자들을 확인해 보겠습니다.
+
+첫 번째 이미지에는 "Copilot"이라는 글자가 있습니다.
+두 번째 이미지에는 "Gemini"라는 글자가 있으며, "i" 위에 작...
+✅ 실제 사용된 API: lily, AI 이름: Lily LLM
+AI 메시지 저장 성공: 1963, question_message: gigabitamin - 이미지 - 2개의 이미지에 쓰인 글자들 모두 알려줘...
+📤 AI 응답 전송 준비: 이미지에 쓰인 글자들을 확인해 보겠습니다.
+
+첫 번째 이미지에는 "Copilot"이라는 글...
+📤 방 ID: 359
+📤 AI 이름: Lily LLM
+📤 디버그 이벤트: {'type': 'ai_message', 'message': '이미지에 쓰인 글자들을 확인해 보겠습니다.\n\n첫 번째 이미지에는 "Copilot"이라는 글자가 있습니다.  \n두 번째 이미지에는 "Gemini"라는 글자가 있으며, "i" 위에 작은 별 모양의 디테일이 추가되어 있습니다.\n\n도움이 필요', 'roomId': 359, 'timestamp': '2025-08-09T14:31:57.802565+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM'}
+✅ AI 응답 WebSocket 전송 완료
+📥 AI 메시지 이벤트 수신: {'type': 'ai_message', 'sender_type': 'ai', 'message': '이미지에 쓰인 글자들을 확인해 보겠습니다.\n\n첫 번째 이미지에는 "Copilot"이라는 글자가 있습니다.  \n두 번째 이미지에는 "Gemini"라는 글자가 있으며, "i" 위에 작은 별 모양의 디테일이 추가되어 있습니다.\n\n도움이 필요', 'roomId': 359, 'timestamp': '2025-08-09T14:31:57.802565+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM', 'imageUrls': ['/media/image/chat_attach/test_image_01_mTSu52g.jpg', '/media/image/chat_attach/test_image_04_xI12FZ3.jpg']}
+📤 클라이언트로 전송할 데이터: {'type': 'ai_message', 'message': '이미지에 쓰인 글자들을 확인해 보겠습니다.\n\n첫 번째 이미지에는 "Copilot"이라는 글자가 있습니다.  \n두 번째 이미지에는 "Gemini"라는 글자가 있으며, "i" 위에 작은 별 모양의 디테일이 추가되어 있습니다.\n\n도움이 필요', 'roomId': 359, 'timestamp': '2025-08-09T14:31:57.802565+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM', 'imageUrls': ['/media/image/chat_attach/test_image_01_mTSu52g.jpg', '/media/image/chat_attach/test_image_04_xI12FZ3.jpg']}
+✅ AI 메시지 클라이언트 전송 완료
+127.0.0.1:64961 - - [09/Aug/2025:23:34:57] "GET /api/chat/user/settings/" 200 845
+[DEBUG] WebSocket 메시지 수신:
+[DEBUG] user_message: 네 이름은 뭐니?
+[DEBUG] image_urls: []
+[DEBUG] documents: []
+[DEBUG] room_id: 359
+🔍 DB에서 가져온 설정: ai_provider=lily, gemini_model=gemini-1.5-flash
+🔍 JSON 설정에서 가져온 값: {'aiEnabled': True, 'aiProvider': 'lily', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 JSON aiProvider 우선 사용: lily
+🔍 JSON geminiModel 우선 사용: gemini-1.5-flash
+🔍 최종 설정: {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 사용자 AI 설정(DB): {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔧 클라이언트 AI 설정 적용: {'aiProvider': 'lily', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct'}
+🔧 병합 후 최종 AI 설정: {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 최종 결정된 제공자: lily
+🔍 AI 제공자: lily
+🔍 Gemini 모델: gemini-1.5-flash
+🚀 Lily LLM API 호출
+🔧 Lily URL=http://localhost:8001
+🔧 Lily API 설정: URL=http://localhost:8001, Model=kanana-1.5-v-3b-instruct
+🔧 환경 감지: RAILWAY_ENVIRONMENT=None
+📝 텍스트 전용 요청
+📤 요청 데이터: {'prompt': '편안하고 친근하게 자연스럽고 편안한 대화를 이어가세요. 사용자의 관심사에 집중하고 유용한 정보를 제공하세요.\n\n사용자 메시지: 네 이름은 뭐니?', 'max_length': 64, 'temperature': 0.7}
+📁 파일 포함 여부: False
+🔄 텍스트 전용 요청 전송
+
+
+[DEBUG] WebSocket 메시지 수신:
+[DEBUG] user_message: 이미지 분석해줘
+[DEBUG] image_urls: ['/media/image/chat_attach/latex_ocr_test_ZS3QMye.png']
+[DEBUG] documents: []
+[DEBUG] room_id: 359
+🔍 DB에서 가져온 설정: ai_provider=lily, gemini_model=gemini-1.5-flash
+🔍 JSON 설정에서 가져온 값: {'aiEnabled': True, 'aiProvider': 'lily', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 JSON aiProvider 우선 사용: lily
+🔍 JSON geminiModel 우선 사용: gemini-1.5-flash
+🔍 최종 설정: {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 사용자 AI 설정(DB): {'aiProvider': 'lily', 'aiEnabled': True, 'geminiModel': 'gemini-1.5-flash', 'lilyApiUrl': 'http://localhost:8001', 'lilyModel': 'kanana-1.5-v-3b-instruct', 'chatgptApiKey': '', 'geminiApiKey': '', 'autoRespond': True, 'responseDelay': 1000, 'maxTokens': 20, 'temperature': 0.8}
+🔍 최종 결정된 제공자: lily
+🔍 AI 제공자: lily
+🔍 Gemini 모델: gemini-1.5-flash
+🚀 Lily LLM API 호출
+🔧 Lily URL=http://localhost:8001
+🔧 Lily API 설정: URL=http://localhost:8001, Model=kanana-1.5-v-3b-instruct
+🔧 환경 감지: RAILWAY_ENVIRONMENT=None
+🖼️ 다중 이미지 처리 시작: 1개 이미지
+🌐 이미지 URL 1: http://localhost:8000/media/image/chat_attach/latex_ocr_test_ZS3QMye.png
+127.0.0.1:49212 - - [09/Aug/2025:23:49:38] "GET /media/image/chat_attach/latex_ocr_test_ZS3QMye.png" 200 4181
+127.0.0.1:49214 - - [09/Aug/2025:23:49:40] "GET /media/image/chat_attach/latex_ocr_test_ZS3QMye.png" 200 4181
+✅ 이미지 1 다운로드 성공: 4181 bytes
+🔄 멀티모달 요청 준비 완료 (1개 이미지 포함)
+🚀 Lily API 호출 시작: http://localhost:8001/generate
+📤 요청 데이터: {'prompt': '편안하고 친근하게 자연스럽고 편안한 대화를 이어가세요. 사용자의 관심사에 집중하고 유용한 정보를 제공하세요.\n\n사용자 메시지: 이미지 분석해줘', 'max_length': 64, 'temperature': 0.7}
+📁 파일 포함 여부: True
+🔄 멀티모달 요청 전송 (이미지 포함)
+✅ Lily API 응답 성공: 이미지에는 수학 문제와 선택지가 포함되어 있습니다. 문제는 다음과 같습니다:
+
+1. \( \sqrt{24} \times Consider this problem: \( \sqrt{2...
+✅ 실제 사용된 API: lily, AI 이름: Lily LLM
+AI 메시지 저장 성공: 1967, question_message: gigabitamin - 이미지 - 이미지 분석해줘...
+📤 AI 응답 전송 준비: 이미지에는 수학 문제와 선택지가 포함되어 있습니다. 문제는 다음과 같습니다:
+
+1. \( ...
+📤 방 ID: 359
+📤 AI 이름: Lily LLM
+📤 디버그 이벤트: {'type': 'ai_message', 'message': '이미지에는 수학 문제와 선택지가 포함되어 있습니다. 문제는 다음과 같습니다:\n\n1. \\( \\sqrt{24} \\times Consider this problem: \\( \\sqrt{24} \\times 3^{\\frac{2}{3}} \\) 의 값은? [2점]\n\n선택', 'roomId': 359, 'timestamp': '2025-08-09T14:51:06.976465+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM'}
+✅ AI 응답 WebSocket 전송 완료
+📥 AI 메시지 이벤트 수신: {'type': 'ai_message', 'sender_type': 'ai', 'message': '이미지에는 수학 문제와 선택지가 포함되어 있습니다. 문제는 다음과 같습니다:\n\n1. \\( \\sqrt{24} \\times Consider this problem: \\( \\sqrt{24} \\times 3^{\\frac{2}{3}} \\) 의 값은? [2점]\n\n선택', 'roomId': 359, 'timestamp': '2025-08-09T14:51:06.976465+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM', 'imageUrls': ['/media/image/chat_attach/latex_ocr_test_ZS3QMye.png']}
+📤 클라이언트로 전송할 데이터: {'type': 'ai_message', 'message': '이미지에는 수학 문제와 선택지가 포함되어 있습니다. 문제는 다음과 같습니다:\n\n1. \\( \\sqrt{24} \\times Consider this problem: \\( \\sqrt{24} \\times 3^{\\frac{2}{3}} \\) 의 값은? [2점]\n\n선택', 'roomId': 359, 'timestamp': '2025-08-09T14:51:06.976465+00:00', 'questioner_username': 'gigabitamin', 'ai_name': 'Lily LLM', 'sender': 'Lily LLM', 'imageUrls': ['/media/image/chat_attach/latex_ocr_test_ZS3QMye.png']}
+✅ AI 메시지 클라이언트 전송 완료
+
+
+
+----
+
+