feat : linebot add agents

app.py

@@ -3,7 +3,6 @@ from fastapi.responses import JSONResponse
 from fastapi.staticfiles import StaticFiles
 from fastapi.middleware.cors import CORSMiddleware  # 匯入 FastAPI 的 CORS 中介軟體
 import requests
-from collections import defaultdict  # 匯入 defaultdict，用於建立預設值的字典
 from typing import Annotated # 推薦用於 Pydantic v2+
 from linebot.exceptions import InvalidSignatureError  # 匯入 Line 簽章無效的例外
 from services.linebot import line_handle
@@ -27,10 +26,6 @@ os.makedirs(STATIC_DIR, exist_ok=True)
 
 load_dotenv()
 
-# 使用 defaultdict 模擬用戶訊息歷史存儲
-# 鍵(key)為 user_id，值(value)為一個儲存訊息的列表(list)
-user_message_history = defaultdict(list)
-
 # =====================
 # 初始化 FastAPI
 # =====================

services/linebot.py

@@ -1,6 +1,7 @@
 import os
 from dotenv import load_dotenv # 匯入 dotenv 以載入 .env 環境變數檔案
 from typing import Optional
+from collections import defaultdict  # 匯入 defaultdict，用於建立預設值的字典
 from linebot import LineBotApi, WebhookHandler  # 匯入 Line Bot SDK
 from linebot.exceptions import InvalidSignatureError  # 匯入 Line 簽章無效的例外
 from linebot.models import (  # 匯入 Line Bot 的各種訊息模型
@@ -12,6 +13,8 @@ from linebot.models import (  # 匯入 Line Bot 的各種訊息模型
     FollowEvent
 )
 
+from agents import agent_executor
+
 load_dotenv()
 # --- 設定和初始化 ---
 # 設置 Line Bot 的 API 金鑰和秘密金鑰 (從環境變數讀取)
@@ -26,32 +29,140 @@ except Exception as e:
     line_bot_api = None
     line_handler = None
 
+# 使用 defaultdict 模擬用戶訊息歷史存儲
+# 鍵(key)為 user_id，值(value)為一個儲存訊息的列表(list)
+user_message_history = defaultdict(list)
+
+def get_image_url_from_line(message_id):
+    """
+    從 Line 訊息 ID 獲取圖片內容並儲存到暫存檔案。
+    
+    Args:
+        message_id: Line 訊息的 ID。
+        
+    Returns:
+        成功時回傳圖片儲存的本地路徑，失敗時回傳 None。
+    """
+    try:
+        # 透過 Line Bot API 獲取訊息內容
+        message_content = line_bot_api.get_message_content(message_id)
+        # 定義暫存檔案路徑
+        file_path = f"/tmp/{message_id}.png"
+        # 將圖片內容以二進位寫入模式寫入檔案
+        with open(file_path, "wb") as f:
+            for chunk in message_content.iter_content():
+                f.write(chunk)
+        print(f"✅ 圖片成功儲存到：{file_path}")
+        return file_path
+    except Exception as e:
+        print(f"❌ 圖片取得失敗：{e}")
+        return None
+    
+def store_user_message(user_id, message_type, message_content):
+    """
+    儲存用戶的訊息到 user_message_history 字典中。
+    
+    Args:
+        user_id: 用戶的 ID。
+        message_type: 訊息類型 (例如 "image" 或 "text")。
+        message_content: 訊息內容 (例如圖片路徑或文字)。
+    """
+    user_message_history[user_id].append(
+        {"type": message_type, "content": message_content}
+    )
+
+def get_previous_message(user_id):
+    """
+    獲取用戶的上一則訊息。
+    
+    Args:
+        user_id: 用戶的 ID。
+        
+    Returns:
+        如果歷史紀錄存在，回傳上一則訊息的字典；否則回傳預設的文字訊息。
+    """
+    if user_id in user_message_history and len(user_message_history[user_id]) > 0:
+        # 回傳最後一則訊息
+        return user_message_history[user_id][-1]
+    # 如果沒有歷史紀錄，回傳一個預設值
+    return {"type": "text", "content": "No message!"}
 
 # --- 事件處理器定義 ---
 
 # 1. 處理所有接收到的文字訊息事件
-@line_handler.add(MessageEvent, message=TextMessage)
-def handle_text_message(event: MessageEvent):
+@line_handler.add(MessageEvent, message=(ImageMessage, TextMessage))
+def handle_message(event):
     """
     處理接收到的文字訊息，並進行回覆。
     """
-    if event.source.user_id:
-        user_id = event.source.user_id
-        text = event.message.text
-        print(f"收到來自用戶 {user_id} 的訊息: {text}")
 
-        # 這裡可以加入您的核心邏輯，例如：
-        # - 呼叫 LLM Agent 進行對話和工具使用
-        # - 處理特定關鍵字
+    # 獲取用戶 ID
+    user_id = event.source.user_id
 
-        # 簡單的回覆範例
-        reply_text = f"你說了: {text}。我準備好執行你的指令了！"
-        
-        # 傳送回覆訊息
-        line_bot_api.reply_message(
-            event.reply_token,
-            TextSendMessage(text=reply_text)
-        )
+    # 情況一：處理圖片上傳
+    if event.message.type == "image":
+        # 獲取 Line 傳來的圖片，並儲存到本地
+        image_path = get_image_url_from_line(event.message.id)
+        if image_path:
+            # 將圖片路徑儲存到用戶的訊息歷史中
+            store_user_message(user_id, "image", image_path)
+            # 回覆用戶，告知圖片已收到，並請他輸入問題
+            line_bot_api.reply_message(
+                event.reply_token, TextSendMessage(text="圖片已接收成功囉，幫我輸入你想詢問的問題喔~")
+            )
+        else:
+            line_bot_api.reply_message(
+                event.reply_token, TextSendMessage(text="沒有接收到圖片~")
+            )
+
+    elif event.message.type == "text":
+
+        user_text = event.message.text # 獲取用戶傳來的文字
+        # 獲取該用戶的「上一則」訊息
+        previous_message = get_previous_message(user_id)
+        print(f"上一則訊息: {previous_message}") # 在後台印出除錯訊息
+
+        # 根據上一則訊息類型，動態組合給代理人的輸入
+        if previous_message["type"] == "image":
+            # 如果上一則是圖片，代表用戶現在的文字是「針對圖片的提問」
+            image_path = previous_message["content"]
+            agent_input = {
+                "input": f"請根據這張圖片回答問題。圖片的路徑是 {image_path}，我的問題是：{user_text}"
+            }
+            # 清除上一則圖片訊息，避免下一次文字訊息還被當作是圖片問答
+            user_message_history[user_id].pop()
+        else:
+            # 如果上一則不是圖片 (或沒有上一則)，代表這是一般的文字提問 (可能是要求生成圖片)
+            agent_input = {"input": user_text}
+
+        try:
+            # 運行 LangChain 代理人
+            response = agent_executor.invoke(agent_input)
+            # 獲取代理人最終的輸出
+            out = response["output"]
+            
+            # 檢查輸出中是否包含 'https' (判斷是否為生成的圖片 URL)
+            if 'https' in out:
+                # 解析 URL (這裡的解析方式比較簡易，可能需要更穩健的正規表達式)
+                img_tmp = 'https'+out.split('https')[1]
+                image_url = img_tmp.split('png')[0]+'png'
+                
+                # 使用 push_message 同時推送文字和圖片
+                line_bot_api.push_message(
+                    event.source.user_id,
+                    [
+                        TextSendMessage(text="✨ 這是我為你生成的圖片喔～"),
+                        ImageSendMessage(original_content_url=image_url, preview_image_url=image_url)
+                    ]
+                )
+            else:
+                # 如果輸出不是 URL，則直接回覆文字
+                line_bot_api.reply_message(event.reply_token, TextSendMessage(text=out))
+        except Exception as e:
+            # 處理代理人執行時的錯誤
+            print(f"代理人執行出錯: {e}")
+            out = f"代理人執行出錯!錯誤訊息：{e}"
+            line_bot_api.reply_message(event.reply_token, TextSendMessage(text=out))
         
         
 # 2. 處理關注 (Follow) 事件