Update app.py

app.py

@@ -4,6 +4,9 @@ from flask import Flask, request, abort
 from linebot import LineBotApi, WebhookHandler
 from linebot.exceptions import InvalidSignatureError
 from linebot.models import MessageEvent, TextMessage, TextSendMessage, QuickReply, QuickReplyButton, MessageAction
+import io
+from PIL import Image
+from linebot.models import MessageEvent, TextMessage, TextSendMessage, ImageMessage  # 新增 ImageMessage
 
 app = Flask(__name__)
 
@@ -26,6 +29,58 @@ def callback():
         abort(400)
     return 'OK'
 
+# ================= 【新增】專門處理使用者傳送照片的邏輯 =================
+@handler.add(MessageEvent, message=ImageMessage)
+def handle_image(event):
+    user_id = event.source.user_id
+    state = user_states.get(user_id)
+    
+    # 檢查使用者是否處於拍照精靈的等待狀態
+    if state and state.get("step") == "ASK_PHOTO_ITEM":
+        # 先給個回覆讓使用者知道精靈在看了
+        line_bot_api.reply_message(
+            event.reply_token,
+            TextSendMessage(text="✨ 收到照片！精靈正在用魔法辨識這款產品，請稍候...")
+        )
+        
+        try:
+            # 1. 從 LINE 伺服器下載使用者傳的照片
+            message_content = line_bot_api.get_message_content(event.message.id)
+            image_bytes = io.BytesIO(message_content.content)
+            pil_image = Image.open(image_bytes)
+            
+            # 2. 設定 Prompt，要求 Gemini 直接分析這張圖片
+            vision_prompt = """
+            你現在是一位專業的台灣藥妝購物精靈。請看這張圖片中的產品：
+            1. 辨識它是什麼真實的品牌與品名。
+            2. 估算它在台灣藥妝店(如屈臣氏、康是美)的合理售價。
+            3. 指出哪個商家買得到。
+            
+            請直接輸出以下格式的純文字（不需要包含其他廢話）：
+            品名：[產品完整名稱]
+            售價：$[估計價格]
+            商家：[推薦藥妝店名稱]
+            """
+            
+            # 3. 把圖片和 Prompt 一起丟給 Gemini (支援多模態)
+            response = model.generate_content([vision_prompt, pil_image])
+            ai_reply = response.text
+            
+            # 4. 將結果推播給使用者（目前先用文字，後續可升級成圖卡）
+            line_bot_api.push_message(
+                user_id,
+                TextSendMessage(text=f"🧚‍♀️ 辨識成功！\n\n{ai_reply}")
+            )
+            
+            # 任務完成，清除狀態
+            del user_states[user_id]
+            
+        except Exception as e:
+            line_bot_api.push_message(
+                user_id,
+                TextSendMessage(text=f"❌ 哎呀！精靈的眼睛剛剛眨了一下，沒看清楚照片。錯誤原因：\n{e}")
+            )
+
 # ================= 3. 多輪對話核心邏輯 =================
 @handler.add(MessageEvent, message=TextMessage)
 def handle_message(event):
@@ -50,6 +105,14 @@ def handle_message(event):
         )
         return
 
+    if user_msg == "拍照精靈":
+        user_states[user_id] = {"step": "ASK_PHOTO_ITEM"}
+        line_bot_api.reply_message(
+            event.reply_token,
+            TextSendMessage(text="📷 歡迎開啟拍照精靈！\n您可以直接拍下商品照片傳給我，或是輸入「文字」來查詢商品售價喔！")
+        )
+        return
+
     # 取得該用戶當前的對話狀態
     state = user_states.get(user_id)
     
@@ -263,5 +326,26 @@ def handle_message(event):
         else:
             line_bot_api.reply_message(event.reply_token, TextSendMessage(text="請選擇下方的質地偏好選項，或是輸入「重新開始」喔！"))
 
+
+        
+    elif current_step == "ASK_PHOTO_ITEM":
+        # 如果使用者沒傳照片，而是傳純文字，就走這條路
+        text_prompt = f"請幫我查詢「{user_msg}」這款產品在台灣藥妝店的合理售價範圍與推薦購買商家。請簡單溫柔地回答，並條列出品名、價格、商家。"
+        try:
+            # 先回傳提示
+            line_bot_api.reply_message(event.reply_token, TextSendMessage(text="✨ 收到文字！精靈正在幫您查詢這款產品，請稍候..."))
+            
+            # 呼叫 AI
+            response = model.generate_content(text_prompt)
+            
+            # 用 push_message 推播結果
+            line_bot_api.push_message(user_id, TextSendMessage(text=f"🧚‍♀️ 查詢成功！\n\n{response.text}"))
+            
+        except Exception as e:
+            line_bot_api.push_message(user_id, TextSendMessage(text=f"❌ 查詢失敗，錯誤原因：\n{e}"))
+            
+        # 任務完成，清除狀態
+        del user_states[user_id]
+
 if __name__ == "__main__":
     app.run(host='0.0.0.0', port=7860)