Auto commit at 23-2025-08 13:31:17

lily_llm_api/services/generation_service.py

@@ -358,24 +358,35 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
                                 if 'vision_grid_thw' in combined_image_metas:
                                     vision_grid = combined_image_metas['vision_grid_thw']
                                     if isinstance(vision_grid, list):
-                                        # 🔄 Kanana 모델 요구사항: (T, H, W) 형태의 3차원 텐서
+                                        # 🔄 Kanana 모델 요구사항: 배치 차원을 맞춤
                                         if len(vision_grid) == 1 and len(vision_grid[0]) == 3:
-                                            # [(1, 34, 52)] -> (1, 34, 52) 텐서로 변환
+                                            # [(1, 34, 52)] -> (1, 1, 34, 52) 텐서로 변환 (배치 차원 추가)
                                             t, h, w = vision_grid[0]
-                                            # 🔄 3차원 텐서로 변환: (1, H, W) 형태
-                                            processed_image_metas['vision_grid_thw'] = torch.tensor([[t, h, w]], dtype=torch.long)
+                                            # 🔄 4차원 텐서로 변환: (batch_size, T, H, W) 형태
+                                            processed_image_metas['vision_grid_thw'] = torch.tensor([[[t, h, w]]], dtype=torch.long)
                                             print(f"🔍 [DEBUG] vision_grid_thw 텐서 변환: {vision_grid} -> {processed_image_metas['vision_grid_thw'].shape}")
                                         else:
-                                            # 🔄 다른 형태의 경우 원본 유지
-                                            processed_image_metas['vision_grid_thw'] = torch.tensor(vision_grid, dtype=torch.long)
+                                            # 🔄 다른 형태의 경우 배치 차원 추가
+                                            processed_image_metas['vision_grid_thw'] = torch.tensor([vision_grid], dtype=torch.long)
                                             print(f"🔍 [DEBUG] vision_grid_thw 텐서 변환 (기본): {vision_grid} -> {processed_image_metas['vision_grid_thw'].shape}")
                                     else:
-                                        processed_image_metas['vision_grid_thw'] = vision_grid
+                                        # 텐서인 경우 배치 차원 확인 및 추가
+                                        if len(vision_grid.shape) == 3:
+                                            processed_image_metas['vision_grid_thw'] = vision_grid.unsqueeze(0)
+                                        else:
+                                            processed_image_metas['vision_grid_thw'] = vision_grid
                                 
-                                # 🔄 다른 메타데이터는 그대로 유지
+                                # 🔄 다른 메타데이터도 배치 차원 맞춤
                                 for key, value in combined_image_metas.items():
                                     if key != 'vision_grid_thw':
-                                        processed_image_metas[key] = value
+                                        if isinstance(value, list):
+                                            # 리스트인 경우 배치 차원 추가
+                                            processed_image_metas[key] = [value]
+                                        elif isinstance(value, torch.Tensor) and len(value.shape) == 2:
+                                            # 2차원 텐서인 경우 배치 차원 추가
+                                            processed_image_metas[key] = value.unsqueeze(0)
+                                        else:
+                                            processed_image_metas[key] = value
                                 
                                 generate_kwargs = {
                                     'input_ids': input_ids,