Auto commit at 25-2025-08 18:52:19

lily_llm_api/services/generation_service.py

@@ -124,14 +124,39 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
             all_image_data.extend(image_data_list)
             print(f"🔍 [DEBUG] 직접 전달된 이미지 {len(image_data_list)}개 추가")
         else:
-            # 현재 요청에 이미지가 없으면 (옵션) 세션 캐시에서 복구
+            # 현재 요청에 이미지가 없으면 (옵션) 문서 기반 → 세션 캐시 → 최신 문서 순으로 복구
             if use_rag_images:
-                if session_id and session_id in _session_image_cache and len(_session_image_cache[session_id]) > 0:
-                    cached_imgs = _session_image_cache[session_id]
-                    all_image_data.extend(cached_imgs)
-                    print(f"🔍 [DEBUG] 세션 캐시에서 이전 이미지 {len(cached_imgs)}개 복구 (세션: {session_id})")
+                # 1) 문서 ID가 명시되면 해당 문서에서 먼저 복구
+                if document_id and vector_store_manager is not None:
+                    try:
+                        base_path = getattr(vector_store_manager, 'base_path', Path('./vector_stores'))
+                        store_path = Path(base_path) / user_id / document_id
+                        if SimpleVectorStore is not None:
+                            store = SimpleVectorStore.load_local(str(store_path))
+                            recovered = []
+                            for doc in getattr(store, 'documents', []) or []:
+                                try:
+                                    meta = getattr(doc, 'metadata', {}) or {}
+                                    imgs = meta.get('image_data_list')
+                                    if imgs and isinstance(imgs, list):
+                                        recovered.extend([b for b in imgs if isinstance(b, (bytes, bytearray)) and len(b) > 0])
+                                except Exception:
+                                    continue
+                            if recovered:
+                                all_image_data.extend(recovered[:4])
+                                print(f"🔍 [DEBUG] 문서 기반 이미지 복구: doc={document_id}, 사용={len(all_image_data)}")
+                        else:
+                            print("⚠️ [DEBUG] SimpleVectorStore 사용 불가 - 문서 기반 이미지 복구 생략")
+                    except Exception as e:
+                        print(f"⚠️ [DEBUG] 문서 기반 이미지 복구 실패(doc={document_id}): {e}")
+
+                # 2) 여전히 없으면 세션 캐시에서 복구
+                if (not all_image_data or len([img for img in all_image_data if img]) == 0) and session_id and session_id in _session_image_cache and len(_session_image_cache[session_id]) > 0:
+                cached_imgs = _session_image_cache[session_id]
+                all_image_data.extend(cached_imgs)
+                print(f"🔍 [DEBUG] 세션 캐시에서 이전 이미지 {len(cached_imgs)}개 복구 (세션: {session_id})")
             else:
-                print("🔍 [DEBUG] 세션 캐시 복구 비활성화(use_rag_images=False)")
+                print("🔍 [DEBUG] 세션/문서 복구 비활성화(use_rag_images=False)")
 
         # 추가 복구: 여전히 이미지가 없고 멀티모달이며, 명시적으로 허용된 경우에만 RAG에서 이미지 복원
         if use_rag_images and (not all_image_data or len([img for img in all_image_data if img]) == 0) and getattr(current_profile, 'multimodal', False):
@@ -468,7 +493,7 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
         
         print(f"🔍 [DEBUG] 프롬프트 구성 완료 - 길이: {len(formatted_prompt) if formatted_prompt else 0}")
         if debug_log_prompt:
-            print(f"🔍 [DEBUG] 최종 프롬프트: {formatted_prompt}")
+        print(f"🔍 [DEBUG] 최종 프롬프트: {formatted_prompt}")
         
         # --- 3. 토크나이징 ---
         print(f"🔍 [DEBUG] 토크나이징 시작")
@@ -668,17 +693,17 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
                         # 최종 폴백: 텍스트-only 경로로 전환(이미지 비활성화)
                         all_pixel_values = []
                         image_processed = False
-                        inputs = tokenizer(
+                    inputs = tokenizer(
                             formatted_prompt if formatted_prompt else prompt,
-                            return_tensors="pt",
-                            padding=True,
-                            truncation=True,
+                        return_tensors="pt",
+                        padding=True,
+                        truncation=True,
                             max_length=effective_input_max_len,
-                        )
-                        if 'token_type_ids' in inputs:
-                            del inputs['token_type_ids']
-                        input_ids = inputs['input_ids']
-                        attention_mask = inputs['attention_mask']
+                    )
+                    if 'token_type_ids' in inputs:
+                        del inputs['token_type_ids']
+                    input_ids = inputs['input_ids']
+                    attention_mask = inputs['attention_mask']
             else:
                 # 안전 폴백
                 print(f"🔍 [DEBUG] 기본 토크나이저 사용 (폴백)")
@@ -866,7 +891,7 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
                     
                     # 🔒 안전 가드: image_token_thw가 비정상일 때 -1 토큰이 생성되지 않도록 방지
                     try:
-                        if 'image_token_thw' in processed_image_metas:
+                    if 'image_token_thw' in processed_image_metas:
                             it = processed_image_metas['image_token_thw']
                             if isinstance(it, torch.Tensor) and (it.numel() == 0 or it.shape[-1] != 3):
                                 print(f"⚠️ [DEBUG] image_token_thw 비정상: {it.shape if hasattr(it,'shape') else type(it)} -> 안전 기본값 적용")
@@ -1037,37 +1062,37 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
                                 
                                 import torch as _torch
                                 with _torch.inference_mode():
-                                    generated_ids = lora_model.generate(
-                                        **lora_inputs,
-                                        **gen_config
-                                    )
+                                generated_ids = lora_model.generate(
+                                    **lora_inputs,
+                                    **gen_config
+                                )
                             else:
                                 print(f"⚠️ [DEBUG] LoRA 모델을 가져올 수 없음, 기본 모델 사용")
                                 import torch as _torch
                                 with _torch.inference_mode():
-                                    generated_ids = current_model.generate(
-                                        input_ids=input_ids,
-                                        attention_mask=attention_mask,
-                                        **gen_config
-                                    )
-                        else:
-                            print(f"🔍 [DEBUG] LoRA 어댑터 없음, 기본 모델 사용")
-                            import torch as _torch
-                            with _torch.inference_mode():
                                 generated_ids = current_model.generate(
                                     input_ids=input_ids,
                                     attention_mask=attention_mask,
                                     **gen_config
                                 )
-                    except ImportError:
-                        print(f"🔍 [DEBUG] LoRA 지원 안됨, 기본 모델 사용")
-                        import torch as _torch
-                        with _torch.inference_mode():
+                        else:
+                            print(f"🔍 [DEBUG] LoRA 어댑터 없음, 기본 모델 사용")
+                            import torch as _torch
+                            with _torch.inference_mode():
                             generated_ids = current_model.generate(
                                 input_ids=input_ids,
                                 attention_mask=attention_mask,
                                 **gen_config
                             )
+                    except ImportError:
+                        print(f"🔍 [DEBUG] LoRA 지원 안됨, 기본 모델 사용")
+                        import torch as _torch
+                        with _torch.inference_mode():
+                        generated_ids = current_model.generate(
+                            input_ids=input_ids,
+                            attention_mask=attention_mask,
+                            **gen_config
+                        )
                     
                     print(f"🔍 [DEBUG] 모델 생성 완료 시간: {time.time()}")
             
@@ -1094,9 +1119,9 @@ def generate_sync(prompt: str, image_data_list: Optional[List[bytes]], max_lengt
             # 생성된 텍스트 디코딩
             full_text = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
             if os.getenv('LILY_DEBUG_LOG_TEXT', '0') == '1':
-                print(f"🔍 [DEBUG] 전체 텍스트 길이: {len(full_text)}")
-                print(f"🔍 [DEBUG] 전체 생성 텍스트 (Raw): \n---\n{full_text}\n---")
-                print(f"🔍 [DEBUG] 사용된 프롬프트: {formatted_prompt}")
+            print(f"🔍 [DEBUG] 전체 텍스트 길이: {len(full_text)}")
+            print(f"🔍 [DEBUG] 전체 생성 텍스트 (Raw): \n---\n{full_text}\n---")
+            print(f"🔍 [DEBUG] 사용된 프롬프트: {formatted_prompt}")
             
             # 프���필별 응답 추출 (안전한 방식)
             if hasattr(current_profile, 'extract_response'):

requirements.txt

@@ -57,4 +57,7 @@ einops
 timm
 
 # summarizers
-summarizers
+summarizers
+
+# doc
+unstructured

requirements_full_lily_250825_1851.txt

@@ -0,0 +1,152 @@
+accelerate==1.10.0
+aiofiles==24.1.0
+aiohappyeyeballs==2.6.1
+aiohttp==3.12.15
+aiosignal==1.4.0
+amqp==5.3.1
+annotated-types==0.7.0
+anyio==4.10.0
+attrs==25.3.0
+backoff==2.2.1
+bcrypt==4.3.0
+beautifulsoup4==4.13.4
+billiard==4.2.1
+bitsandbytes==0.47.0
+celery==5.5.3
+certifi==2025.8.3
+cffi==1.17.1
+charset-normalizer==3.4.3
+click==8.2.1
+click-didyoumean==0.3.1
+click-plugins==1.1.1.2
+click-repl==0.3.0
+colorama==0.4.6
+cryptography==45.0.6
+dataclasses-json==0.6.7
+easyocr==1.7.2
+ecdsa==0.19.1
+einops==0.8.1
+emoji==2.14.1
+faiss-cpu==1.12.0
+fastapi==0.116.1
+filelock==3.19.1
+filetype==1.2.0
+frozenlist==1.7.0
+fsspec==2025.7.0
+greenlet==3.2.4
+h11==0.16.0
+html5lib==1.1
+httpcore==1.0.9
+httptools==0.6.4
+httpx==0.28.1
+httpx-sse==0.4.1
+huggingface-hub==0.34.4
+idna==3.10
+imageio==2.37.0
+intel-openmp==2021.4.0
+Jinja2==3.1.6
+joblib==1.5.1
+jsonpatch==1.33
+jsonpointer==3.0.0
+kombu==5.5.4
+langchain==0.3.27
+langchain-community==0.3.27
+langchain-core==0.3.74
+langchain-text-splitters==0.3.9
+langdetect==1.0.9
+langsmith==0.4.14
+lazy_loader==0.4
+lxml==6.0.0
+markdown-it-py==3.0.0
+MarkupSafe==3.0.2
+marshmallow==3.26.1
+mdurl==0.1.2
+mkl==2021.4.0
+mpmath==1.3.0
+multidict==6.6.4
+mypy_extensions==1.1.0
+networkx==3.5
+ninja==1.13.0
+nltk==3.9.1
+numpy==1.26.4
+olefile==0.47
+opencv-python-headless==4.11.0.86
+orjson==3.11.2
+packaging==25.0
+pandas==2.3.1
+passlib==1.7.4
+peft==0.15.0
+pillow==11.3.0
+prompt_toolkit==3.0.51
+propcache==0.3.2
+psutil==7.0.0
+pyasn1==0.6.1
+pyclipper==1.3.0.post6
+pycparser==2.22
+pydantic==2.11.7
+pydantic-settings==2.10.1
+pydantic_core==2.33.2
+PyJWT==2.10.1
+PyMuPDF==1.26.3
+pypdf==6.0.0
+pytesseract==0.3.13
+python-bidi==0.6.6
+python-dateutil==2.9.0.post0
+python-docx==1.2.0
+python-dotenv==1.1.1
+python-iso639==2025.2.18
+python-jose==3.5.0
+python-json-logger==3.3.0
+python-magic==0.4.27
+python-multipart==0.0.20
+python-oxmsg==0.0.2
+python-pptx==1.0.2
+pytz==2025.2
+PyYAML==6.0.2
+RapidFuzz==3.13.0
+redis==6.4.0
+regex==2025.7.34
+requests==2.32.5
+requests-toolbelt==1.0.0
+rsa==4.9.1
+safetensors==0.6.2
+scikit-image==0.25.2
+scikit-learn==1.7.1
+scipy==1.16.1
+sentence-transformers==2.2.2
+sentencepiece==0.2.1
+shapely==2.1.1
+six==1.17.0
+sniffio==1.3.1
+soupsieve==2.7
+SQLAlchemy==2.0.43
+starlette==0.47.2
+summarizers==1.0.4
+sympy==1.14.0
+tbb==2021.13.1
+tenacity==9.1.2
+threadpoolctl==3.6.0
+tifffile==2025.6.11
+timm==1.0.19
+tokenizers==0.21.4
+torch==2.3.1
+torchvision==0.18.1
+tqdm==4.67.1
+transformers==4.55.2
+typing-inspect==0.9.0
+typing-inspection==0.4.1
+typing_extensions==4.14.1
+tzdata==2025.2
+unstructured==0.18.13
+unstructured-client==0.42.3
+urllib3==2.5.0
+uvicorn==0.35.0
+vine==5.1.0
+watchfiles==1.1.0
+wcwidth==0.2.13
+webencodings==0.5.1
+websockets==15.0.1
+wrapt==1.17.3
+xlsxwriter==3.2.5
+yarl==1.20.1
+zstandard==0.24.0