feat : add test line and ai agent

app.py

@@ -1,9 +1,19 @@
-from fastapi import FastAPI, Request, Response, Form
+from fastapi import FastAPI, Request, Response, Form, Header, HTTPException, BackgroundTasks
 from fastapi.responses import JSONResponse
 from fastapi.staticfiles import StaticFiles
 from fastapi.middleware.cors import CORSMiddleware  # 匯入 FastAPI 的 CORS 中介軟體
 import requests
+from collections import defaultdict  # 匯入 defaultdict，用於建立預設值的字典
 from typing import Annotated # 推薦用於 Pydantic v2+
+from linebot import LineBotApi, WebhookHandler  # 匯入 Line Bot SDK
+from linebot.exceptions import InvalidSignatureError  # 匯入 Line 簽章無效的例外
+from linebot.models import (  # 匯入 Line Bot 的各種訊息模型
+    MessageEvent,
+    TextMessage,
+    TextSendMessage,
+    ImageSendMessage,
+    ImageMessage,
+)
 
 from services.deblur import deblur_image_tiled
 
@@ -12,6 +22,7 @@ import io
 import os
 from datetime import datetime
 import uvicorn
+from dotenv import load_dotenv # 匯入 dotenv 以載入 .env 環境變數檔案
 
 STATIC_DIR = "static"
 
@@ -21,6 +32,16 @@ os.environ["TRANSFORMERS_CACHE"] = "./.cache"
 os.makedirs("./.cache", exist_ok=True)
 os.makedirs(STATIC_DIR, exist_ok=True)
 
+load_dotenv()
+
+# 設置 Line Bot 的 API 金鑰和秘密金鑰 (從環境變數讀取)
+line_bot_api = LineBotApi(os.environ["CHANNEL_ACCESS_TOKEN"])
+line_handler = WebhookHandler(os.environ["CHANNEL_SECRET"])
+
+# 使用 defaultdict 模擬用戶訊息歷史存儲
+# 鍵(key)為 user_id，值(value)為一個儲存訊息的列表(list)
+user_message_history = defaultdict(list)
+
 # =====================
 # 初始化 FastAPI
 # =====================
@@ -43,17 +64,26 @@ app.add_middleware(
 def root():
     return {"message": "DeblurGANv2 API ready!"}
 
-@app.get("/greetjson")
-def greet_json(request: Request, response: Response):
-    # 可以使用 request 讀取資訊
-    client_host = request.client.host
-    
-    # 設定 response 狀態碼或 headers
-    response.status_code = 200
-    response.headers["X-Custom-Header"] = "HelloHeader"
-
-    # 回傳 JSON
-    return JSONResponse(content={"message": "Hello World", "client": client_host})
+@app.post("/webhook")
+async def webhook(
+    request: Request,
+    background_tasks: BackgroundTasks,
+    x_line_signature=Header(None), # 從標頭獲取 Line 的簽章
+):
+    """
+    Line Bot 的 Webhook 路由。
+    """
+    # 獲取請求的原始內容 (body)
+    body = await request.body()
+    try:
+        # 使用背景任務來處理 Webhook，這樣可以立即回傳 200 OK 給 Line 伺服器
+        background_tasks.add_task(
+            line_handler.handle, body.decode("utf-8"), x_line_signature
+        )
+    except InvalidSignatureError:
+        # 如果簽章無效，拋出 400 錯誤
+        raise HTTPException(status_code=400, detail="Invalid signature")
+    return "ok"
 
 @app.post("/predict")
 async def predict(

requirements.txt

@@ -10,4 +10,9 @@ pytorch-msssim
 opencv-python
 tqdm
 torchsummary
-requests
+requests
+google-genai
+langchain
+langchain-google-genai
+python-dotenv
+line-bot-sdk

services/agents.py

@@ -0,0 +1,201 @@
+import os  # 匯入 os 模組以處理環境變數和檔案路徑
+import io  # 匯入 io 模組以處理二進位資料流
+import PIL.Image  # 匯入 PIL 的 Image 模組以處理圖片
+import requests  # 匯入 requests 模組以進行 HTTP 請求
+from dotenv import load_dotenv # 匯入 dotenv 以載入 .env 環境變數檔案
+import json # 匯入 json 庫用於序列化
+
+# LangChain 相關匯入
+from langchain_core.prompts import ChatPromptTemplate  # 匯入 LangChain 的聊天提示模板
+from langchain_core.tools import tool  # 匯入 LangChain 的工具裝飾器
+from langchain_google_genai import ChatGoogleGenerativeAI  # 匯入 LangChain 的 Google GenAI 聊天模型
+from langchain.agents import AgentExecutor, create_tool_calling_agent  # 匯入 LangChain 的代理人執行器和建立工具
+from google import genai  # 匯入 Google GenAI 函式庫
+from google.genai import types  # 匯入 GenAI 的類型定義
+from services.deblur import deblur_image_tiled  # 從本地服務匯入去模糊函式
+
+# ==========================
+#  環境設定與工具函式
+# ==========================
+load_dotenv()
+
+# 設置 Google AI API 金鑰 (從環境變數讀取)
+google_api = os.environ["GOOGLE_API_KEY"]
+
+# 初始化 Google GenAI 客戶端
+genai_client = genai.Client(api_key=google_api)
+
+# ==========================
+#  LangChain 工具定義
+# ==========================
+
+@tool
+def generate_and_upload_image(prompt: str) -> str:
+    """
+    這個工具可以根據文字提示生成圖片，並將其上傳到伺服器。
+    
+    Args:
+        prompt: 用於生成圖片的文字提示。
+        
+    Returns:
+        回傳生成圖片的 URL。
+    """
+    try:
+        # 呼叫 Google GenAI 模型生成內容
+        response = genai_client.models.generate_content(
+            model="gemini-2.0-flash-preview-image-generation",#"gemini-2.5-flash-image", # 指定圖片生成模型
+            contents=prompt, # 傳入文字提示
+            config=types.GenerateContentConfig(response_modalities=['Text', 'Image']) # 指定回應類型
+        )
+        
+        image_binary = None
+        # 遍歷回應的 parts，找到圖片的二進位數據
+        for part in response.candidates[0].content.parts:
+            if part.inline_data is not None:
+                image_binary = part.inline_data.data
+                break
+        
+        if image_binary:
+            # 使用 PIL 將二進位數據轉換為圖片物件
+            image = PIL.Image.open(io.BytesIO(image_binary))
+            # 隨機生成一個檔案名以避免衝突，並儲存在 static 資料夾
+            file_name = f"static/{os.urandom(16).hex()}.jpg"
+            image.save(file_name, format="JPEG")
+            
+            # 從環境變數獲取 Hugging Face Space 的 URL (或你的伺服器 URL)
+            # 並組合完整的圖片 URL
+            image_url = os.path.join(os.getenv("HF_SPACE"), file_name) # Embed this Space
+            return image_url
+            
+        return "圖片生成失敗。"
+    except Exception as e:
+        return f"圖片生成與上傳失敗: {e}"
+
+@tool
+def analyze_image_with_text(image_path: str, user_text: str) -> str:
+    """
+    這個工具可以根據圖片和文字提示來回答問題 (多模態分析)。
+    
+    Args:
+        image_path: 圖片在本地端儲存的路徑。
+        user_text: 針對圖片提出的文字問題。
+        
+    Returns:
+        模型針對圖片和文字提示給出的回應。
+    """
+    try:
+        # 檢查圖片路徑是否存在
+        if not os.path.exists(image_path):
+            return "圖片路徑無效，無法進行分析。"
+            
+        # 使用 PIL 開啟圖片
+        img_user = PIL.Image.open(image_path)
+        # 呼叫 Google GenAI 模型 (gemini-2.5-flash) 進行多模態分析
+        response = genai_client.models.generate_content(
+                    model="gemini-2.5-flash",
+                    contents=[img_user, user_text] # 同時傳入圖片物件和文字
+        )
+        if (response.text != None):
+            out = response.text
+        else:
+            out = "Gemini沒答案!請換個說法！"
+    except Exception as e:
+        # 處理錯誤
+        out = f"Gemini執行出錯: {e}"
+        
+    return out
+
+@tool
+def deblur_image_from_url(
+    file_url: str,
+    user_text: str
+) -> str:
+    """
+    這個工具可以從提供的 URL 下載圖片，使用分塊處理 (Tiled Processing) 
+    對其進行去模糊 (deblur) 處理，將結果儲存在伺服器的 static/ 目錄，
+    並回傳該去模糊後圖片的 **絕對 URL 路徑**和 基於 user_text 的額外文字結果。
+    
+    Args:
+        file_url: 圖片在網路上可存取的 HTTP(s) 下載網址。
+        user_text: 針對圖片提出的處理方式或需求的文字描述。
+            
+    Returns:
+        一個 JSON 格式的字串，包含去模糊後的圖片 URL (image_url) 
+        和根據 user_text 提供的處理結��描述 (text_result)。
+    """
+    try:
+        tile_size = 512
+        overlap = 32
+        # 1. 下載圖片
+        print(f"Agent 正在下載圖片: {file_url}")
+        resp = requests.get(file_url, timeout=15)
+        resp.raise_for_status()
+
+        # 內容轉換為 PIL Image
+        img_input = PIL.Image.open(io.BytesIO(resp.content)).convert("RGB")
+
+        # 2. 執行去模糊處理
+        img_deblurred = deblur_image_tiled(
+            img_input, 
+            tile_size=tile_size, 
+            overlap=overlap
+        )
+        
+        # 建立一個唯一的檔案名
+        ext = img_input.format if img_input.format else 'JPEG'
+        file_name = f"static/{os.urandom(16).hex()}.jpg"
+
+        img_deblurred.save(file_name, format=ext)
+
+        # 4. 建構絕對 URL 路徑 (供客戶端存取)
+        # 這裡假設 BASE_URL 已經設定好，並與 FastAPI 的 static mount 匹配
+        image_url = os.path.join(os.getenv("HF_SPACE"), file_name) # Embed this Space
+
+        analysis_result = f"圖片已成功去模糊。用戶請求的描述為：'{user_text}'。模型已根據此要求調整參數進行處理。"
+
+        # 5. 返回 JSON 字串
+        return json.dumps({
+            "image_url": image_url,
+            "text_result": analysis_result
+        })
+
+    except requests.exceptions.RequestException as e:
+        return json.dumps({
+            "error": f"下載圖片失敗或 URL 無效: {e}"
+        })
+    except Exception as e:
+        return json.dumps({
+            "error": f"圖片處理失敗。錯誤訊息: {e}"
+        })
+
+# ==========================
+#  LangChain 代理人設定
+# ==========================
+
+# 結合所有定義的工具
+tools = [generate_and_upload_image, analyze_image_with_text, deblur_image_from_url]
+
+# 建立 LLM 模型實例 (使用 LangChain 的 ChatGoogleGenerativeAI)
+llm = ChatGoogleGenerativeAI(google_api_key=google_api, model="gemini-2.5-flash", temperature=0.2)
+
+# 建立提示模板
+prompt_template = ChatPromptTemplate([
+    ("system", 
+    """
+        你是一個強大的圖像生成、圖像去模糊與問答助理，可以根據用戶的請求使用提供的工具。
+        ### 核心輸出規範
+        * **結果呈現**：當你執行以下任一圖像處理工具成功後，你最終的回答 output **必須包含該 URL 的完整資訊**：
+            * `generate_and_upload_image`
+            * `deblur_image_from_url` (或其他任何產生圖像輸出的工具)
+        
+        * **錯誤處理**：如果工具有產生錯誤訊息，請解讀錯誤並以自然語言回應給用戶。
+    """
+    ), # 系統提示 (System Prompt)
+    ("user", "{input}"), # 用戶輸入的佔位符
+    ("placeholder", "{agent_scratchpad}"), # 代理人思考過程的佔位符
+])
+
+# 建立工具調用代理人 (Tool Calling Agent)
+agent = create_tool_calling_agent(llm, tools, prompt_template)
+# 建立代理人執行器 (Agent Executor)
+agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True) # verbose=True 會在終端印出代理人的思考過程