Auto commit at 07-2025-08 0:20:03

app.py

@@ -88,21 +88,54 @@ print(f"\n3. 최종 상태:")
 print(f"   MODEL_LOADED: {MODEL_LOADED}")
 print(f"   최종 모델명: {MODEL_NAME}")
 
-def chat_with_model(message, history):
+def chat_with_model(message, history, image=None):
     if not MODEL_LOADED:
         return "❌ 모델이 로드되지 않았습니다."
     try:
         inputs = tokenizer(message, return_tensors="pt")
+        
         with torch.no_grad():
-            # 멀티모달 모델의 generate 메서드 사용 (이미지 없이 텍스트만)
-            outputs = model.generate(
-                input_ids=inputs["input_ids"],
-                attention_mask=inputs["attention_mask"],
-                max_new_tokens=200,
-                temperature=0.7,
-                do_sample=True,
-                pad_token_id=tokenizer.eos_token_id
-            )
+            if image is not None:
+                # 이미지가 있는 경우 멀티모달 생성
+                from PIL import Image
+                import torchvision.transforms as transforms
+                
+                # 이미지 전처리
+                transform = transforms.Compose([
+                    transforms.Resize((224, 224)),
+                    transforms.ToTensor(),
+                    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
+                ])
+                
+                if isinstance(image, str):
+                    pil_image = Image.open(image).convert('RGB')
+                else:
+                    pil_image = image.convert('RGB')
+                
+                pixel_values = transform(pil_image).unsqueeze(0)
+                image_metas = {"vision_grid_thw": torch.tensor([[1, 14, 14]])}  # 기본 그리드 크기
+                
+                outputs = model.generate(
+                    input_ids=inputs["input_ids"],
+                    attention_mask=inputs["attention_mask"],
+                    pixel_values=[pixel_values],
+                    image_metas=image_metas,
+                    max_new_tokens=200,
+                    temperature=0.7,
+                    do_sample=True,
+                    pad_token_id=tokenizer.eos_token_id
+                )
+            else:
+                # 이미지가 없는 경우 텍스트만 생성
+                outputs = model.generate(
+                    input_ids=inputs["input_ids"],
+                    attention_mask=inputs["attention_mask"],
+                    max_new_tokens=200,
+                    temperature=0.7,
+                    do_sample=True,
+                    pad_token_id=tokenizer.eos_token_id
+                )
+        
         response = tokenizer.decode(outputs[0], skip_special_tokens=True)
         if message in response:
             response = response.replace(message, "").strip()
@@ -110,22 +143,55 @@ def chat_with_model(message, history):
     except Exception as e:
         return f"오류 발생: {str(e)}"
 
-def solve_math_problem(problem):
+def solve_math_problem(problem, image=None):
     if not MODEL_LOADED:
         return "❌ 모델이 로드되지 않았습니다."
     try:
         prompt = f"다음 수학 문제를 단계별로 풀어주세요: {problem}"
         inputs = tokenizer(prompt, return_tensors="pt")
+        
         with torch.no_grad():
-            # 멀티모달 모델의 generate 메서드 사용 (이미지 없이 텍스트만)
-            outputs = model.generate(
-                input_ids=inputs["input_ids"],
-                attention_mask=inputs["attention_mask"],
-                max_new_tokens=300,
-                temperature=0.3,
-                do_sample=True,
-                pad_token_id=tokenizer.eos_token_id
-            )
+            if image is not None:
+                # 이미지가 있는 경우 멀티모달 생성
+                from PIL import Image
+                import torchvision.transforms as transforms
+                
+                # 이미지 전처리
+                transform = transforms.Compose([
+                    transforms.Resize((224, 224)),
+                    transforms.ToTensor(),
+                    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
+                ])
+                
+                if isinstance(image, str):
+                    pil_image = Image.open(image).convert('RGB')
+                else:
+                    pil_image = image.convert('RGB')
+                
+                pixel_values = transform(pil_image).unsqueeze(0)
+                image_metas = {"vision_grid_thw": torch.tensor([[1, 14, 14]])}  # 기본 그리드 크기
+                
+                outputs = model.generate(
+                    input_ids=inputs["input_ids"],
+                    attention_mask=inputs["attention_mask"],
+                    pixel_values=[pixel_values],
+                    image_metas=image_metas,
+                    max_new_tokens=300,
+                    temperature=0.3,
+                    do_sample=True,
+                    pad_token_id=tokenizer.eos_token_id
+                )
+            else:
+                # 이미지가 없는 경우 텍스트만 생성
+                outputs = model.generate(
+                    input_ids=inputs["input_ids"],
+                    attention_mask=inputs["attention_mask"],
+                    max_new_tokens=300,
+                    temperature=0.3,
+                    do_sample=True,
+                    pad_token_id=tokenizer.eos_token_id
+                )
+        
         response = tokenizer.decode(outputs[0], skip_special_tokens=True)
         if prompt in response:
             response = response.replace(prompt, "").strip()
@@ -138,30 +204,44 @@ with gr.Blocks(title="Lily Math RAG System", theme=gr.themes.Soft()) as demo:
     gr.Markdown("수학 문제 해결을 위한 AI 시스템입니다.")
     with gr.Tabs():
         with gr.Tab("💬 채팅"):
-            chatbot = gr.Chatbot(height=400, type="messages")
-            msg = gr.Textbox(label="메시지를 입력하세요", placeholder="안녕하세요! 수학 문제를 도와주세요.", lines=2)
-            clear = gr.Button("대화 초기화")
-            def respond(message, chat_history):
-                bot_message = chat_with_model(message, chat_history)
+            with gr.Row():
+                with gr.Column(scale=3):
+                    chatbot = gr.Chatbot(height=400, type="messages")
+                    msg = gr.Textbox(label="메시지를 입력하세요", placeholder="안녕하세요! 수학 문제를 도와주세요.", lines=2)
+                    clear = gr.Button("대화 초기화")
+                with gr.Column(scale=1):
+                    gr.Markdown("### 📷 이미지 업로드")
+                    image_input = gr.Image(label="이미지 (선택사항)", type="pil")
+                    gr.Markdown("이미지를 업로드하면 멀티모달 대화가 가능합니다.")
+            
+            def respond(message, chat_history, image):
+                bot_message = chat_with_model(message, chat_history, image)
                 chat_history.append({"role": "user", "content": message})
                 chat_history.append({"role": "assistant", "content": bot_message})
                 return "", chat_history
-            msg.submit(respond, [msg, chatbot], [msg, chatbot])
+            msg.submit(respond, [msg, chatbot, image_input], [msg, chatbot])
             clear.click(lambda: None, None, chatbot, queue=False)
+        
         with gr.Tab("🧮 수학 문제 해결"):
             with gr.Row():
-                with gr.Column():
+                with gr.Column(scale=2):
                     math_input = gr.Textbox(label="수학 문제", placeholder="예: 2x + 5 = 13", lines=3)
                     solve_btn = gr.Button("문제 풀기", variant="primary")
-                with gr.Column():
+                with gr.Column(scale=1):
+                    gr.Markdown("### 📷 이미지 업로드")
+                    math_image_input = gr.Image(label="수학 문제 이미지 (선택사항)", type="pil")
+                    gr.Markdown("수학 문제 이미지를 업로드하면 더 정확한 답변을 받을 수 있습니다.")
+                with gr.Column(scale=2):
                     math_output = gr.Textbox(label="해답", lines=8, interactive=False)
-            solve_btn.click(solve_math_problem, math_input, math_output)
+            solve_btn.click(solve_math_problem, [math_input, math_image_input], math_output)
+        
         with gr.Tab("⚙️ 설정"):
             gr.Markdown("## 시스템 정보")
             gr.Markdown(f"**모델**: {MODEL_NAME}")
             gr.Markdown(f"**모델 상태**: {'✅ 로드됨' if MODEL_LOADED else '❌ 로드 실패'}")
             gr.Markdown(f"**토큰 상태**: {'✅ 설정됨' if HF_TOKEN else '❌ 설정되지 않음'}")
-            gr.Markdown("**버전**: 3.0.0 (커스텀 모델)")
+            gr.Markdown("**버전**: 3.0.0 (멀티모달)")
+            gr.Markdown("**기능**: 텍스트 + 이미지 멀티모달 대화")
 
 if __name__ == "__main__":
     demo.launch() 

requirements.txt

@@ -5,4 +5,6 @@ torch>=2.0.0
 einops>=0.6.0
 timm>=0.9.0
 python-dotenv>=1.0.0
+Pillow>=9.0.0
+torchvision>=0.15.0
 accelerate==1.9.0