0926

app.py

@@ -21,7 +21,7 @@ from linebot.v3.exceptions import InvalidSignatureError
 # --------------------------------------------------------------
 from openai import OpenAI
 from tavily import TavilyClient  # 新增 Tavily 客戶端
-from sentence_transformers import SentenceTransformer, util  # 新增用於向量相似度排序
+from sentence_transformers import SentenceTransformer, util  # 新增用於向量相似度排序（CPU友好）
 
 # ==== CONFIG (從環境變數載入，或使用預設值) ====
 def _require_env(var: str) -> str:
@@ -34,8 +34,8 @@ def _require_env(var: str) -> str:
 CHANNEL_SECRET = _require_env("CHANNEL_SECRET")
 CHANNEL_ACCESS_TOKEN = _require_env("CHANNEL_ACCESS_TOKEN")
 
-# 新增 Tavily API Key (從環境變數讀取以確保安全)
-TAVILY_API_KEY = "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"
+# Tavily API Key (從環境變數讀取以確保安全)
+TAVILY_API_KEY = _require_env("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")
 
 # LLM API 設定
 LLM_API_CONFIG = {
@@ -43,25 +43,22 @@ LLM_API_CONFIG = {
     "api_key": os.getenv("LLM_API_KEY", "sk-eT_04m428oAPUD5kUmIhVA"),
 }
 
-# LLM 模型設定
+# LLM 模型設定 (改用 azure-gpt-4.1，降低 max_tokens 以避免超時)
 LLM_MODEL_CONFIG = {
-    "model": os.getenv("LLM_MODEL", "gpt-oss-120b"),
-    "max_tokens": int(os.getenv("MAX_TOKENS", 128000)), # 調整為一個比較合理的預設值
+    "model": os.getenv("LLM_MODEL", "azure-gpt-4.1"),
+    "max_tokens": int(os.getenv("MAX_TOKENS", 2000)),  # 降低上限以提升回應速度
     "temperature": float(os.getenv("TEMPERATURE", 0.3)),
     "seed": int(os.getenv("LLM_SEED", 42)),
 }
 
-# 系統提示詞（加強強調使用最新且相關的資料，驗證正確性，並考慮輸出長度）
+# 系統提示詞（精簡版，強調使用最新資料）
 SYSTEM_PROMPT = """你是一個友好的AI助手，請用簡單、親切的文字回覆用戶的問題。
-回答複雜問題時，可以先給概念，再給詳細的解釋。
-在回應時，不要使用 Markdown 格式，如粗體、斜體或標題。避免使用 * 號或任何特殊符號來格式化。
-使用條列式（如 - 或 1. 2. 3.）來整理內容，讓它適合在手機上寬度15個字元左右閱讀。
-使用以下提供的網路搜尋結果作為參考來回答問題，只使用與查詢高度相關的結果。如果有搜尋到相關結果，並且資料比你的訓練資料還新，就以新資料為主，並驗證其正確性與一致性。
-如果網路沒有找到資料，但是你有相關的知識，就用你的知識回答。
-如果網路沒有相關資料，你也沒有相關知識，就回答不知道。
-聖經問題一律從希伯來文的角度出發回答，並確認來源的可靠性。
-如果回應內容可能很長，請優先提供完整且正確的資訊，但盡量結構化以保持清晰。如果預估超過20000字元，請先給詳細摘要，然後分段說明細節。
-"""
+回答複雜問題時，先給概念，再給詳細解釋。
+使用條列式（如 - 或 1. 2. 3.）整理內容，讓它適合手機閱讀。
+使用提供的網路搜尋結果作為參考，只用高度相關結果。如果新資料比訓練資料新，以新資料為主並驗證正確性。
+無相關資料時，用知識回答；無知識時，說不知道。
+聖經問題從希伯來文角度回答，確認來源可靠性。
+回應盡量結構化，清晰。"""
 
 # ---------- 記憶體儲存對話歷史 ----------
 conversations: Dict[str, List[Dict[str, str]]] = {}  # {user_id: messages_list}
@@ -85,9 +82,16 @@ def split_text_for_line(text: str, max_length: int = 4900) -> List[str]:
         text = text[split_pos:].lstrip()
     return chunks
 
-# ---------- 網路搜尋函數（改用 Tavily API，並加入向量相似度排序以確保相關性和正確性） ----------
-def perform_web_search(query: str, max_results: int = 10) -> str:
-    """使用 Tavily 進行網路搜尋，計算向量相似度排序結果，並返回摘要。同時 log/print 檢索過程。"""
+# ---------- 估算 token 數 (粗略，用於限制輸入長度) ----------
+def estimate_tokens(messages: List[Dict[str, str]]) -> int:
+    total = 0
+    for msg in messages:
+        total += len(msg["content"].split()) * 1.3  # 粗估 token
+    return total
+
+# ---------- 網路搜尋函數（Tavily API，top 5 結果，向量相似度排序，CPU 環境友好） ----------
+def perform_web_search(query: str, max_results: int = 5) -> str:  # 改為 top 5
+    """使用 Tavily 進行網路搜尋，計算向量相似度（文字意義）排序結果，並返回摘要。同時 log/print 檢索過程。"""
     print(f"開始網路搜尋：查詢詞 = '{query}'，最大結果數 = {max_results}")
     try:
         client = TavilyClient(api_key=TAVILY_API_KEY)
@@ -96,11 +100,11 @@ def perform_web_search(query: str, max_results: int = 10) -> str:
             print("搜尋完成：沒有找到相關結果。")
             return "沒有找到相關的網路搜尋結果。"
         
-        # 加載輕量嵌入模型（CPU友好）
+        # 加載輕量嵌入模型（all-MiniLM-L6-v2，CPU 友好，無 GPU 依賴）
         embedder = SentenceTransformer('all-MiniLM-L6-v2')
         query_emb = embedder.encode(query)
         
-        # 計算每個結果的相似度
+        # 計算每個結果的相似度 (文字意義排序)
         results_with_scores = []
         for result in response['results']:
             content = result['content']
@@ -108,7 +112,7 @@ def perform_web_search(query: str, max_results: int = 10) -> str:
             score = util.cos_sim(query_emb, content_emb)[0][0].item()
             results_with_scores.append((score, result))
         
-        # 排序並過濾相似度 > 0.5 的結果（確保相關性）
+        # 排序並過濾相似度 > 0.3 的結果（確保相關性）
         results_with_scores.sort(key=lambda x: x[0], reverse=True)
         relevant_results = [res for score, res in results_with_scores if score > 0.3]
         
@@ -116,9 +120,9 @@ def perform_web_search(query: str, max_results: int = 10) -> str:
             print("搜尋完成：沒有高度相關的結果。")
             return "沒有找到高度相關的網路搜尋結果。"
         
-        search_summary = "以下是相關的網路搜尋結果摘要（已按相關性排序）：\n"
+        search_summary = "以下是相關的網路搜尋結果摘要（已按文字相似度排序）：\n"
         search_summary += f"AI總結：{response.get('answer', '無總結可用')}\n\n"
-        for i, result in enumerate(relevant_results, 1):
+        for i, result in enumerate(relevant_results[:5], 1):  # 限制 top 5
             print(f"結果 {i}: 標題 = '{result['title']}'，內容 = '{result['content'][:200]}...'，來源 = '{result['url']}'，相似度 = {results_with_scores[i-1][0]:.2f}")
             search_summary += f"{i}. {result['title']}: {result['content'][:200]}... (來源: {result['url']})\n"
         print(f"搜尋完成：總結果數 = {len(response['results'])}, 相關結果數 = {len(relevant_results)}")
@@ -127,34 +131,45 @@ def perform_web_search(query: str, max_results: int = 10) -> str:
         print(f"網路搜尋錯誤：{e}")
         return f"搜尋時發生錯誤：{str(e)}。請稍後再試。"
 
-# ---------- 聊天處理流程 ----------
+# ---------- 聊天處理流程 (新增 retry 和 timeout) ----------
+from tenacity import retry, stop_after_attempt, wait_exponential  # 需要 pip install tenacity
+
 class ChatPipeline:
     def __init__(self):
         if not LLM_API_CONFIG["api_key"] or not LLM_API_CONFIG["base_url"]:
             raise ValueError("LLM API Key or Base URL is not configured.")
         self.llm_client = OpenAI(api_key=LLM_API_CONFIG["api_key"], base_url=LLM_API_CONFIG["base_url"])
 
+    @retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
     def _llm_call(self, messages: List[Dict[str, str]]) -> str:
         try:
+            # 估算 token 並 print 監控
+            token_est = estimate_tokens(messages)
+            print(f"LLM 呼叫：估計 token = {token_est}")
+            if token_est > 50000:
+                raise ValueError("輸入過長，超過 token 限制")
+            
             response = self.llm_client.chat.completions.create(
                 model=LLM_MODEL_CONFIG["model"],
                 messages=messages,
                 max_tokens=LLM_MODEL_CONFIG["max_tokens"],
                 temperature=LLM_MODEL_CONFIG["temperature"],
                 seed=LLM_MODEL_CONFIG["seed"],
+                timeout=30.0,  # 30 秒 timeout
             )
             content = response.choices[0].message.content or ""
             return content
         except Exception as e:
-            print(f"LLM call error: {e}")
+            print(f"LLM call error (retry): {e}")
             raise
 
     def get_conversation_history(self, user_id: str) -> List[Dict[str, str]]:
         return conversations.get(user_id, [])
 
     def update_conversation_history(self, user_id: str, messages: List[Dict[str, str]]):
-        # 移除歷史訊息數量限制，以最大化輸入上下文（假設模型上下文窗口足夠大）
-        conversations[user_id] = messages
+        # 限制歷史：保留最近 20 條訊息 (約 10 輪)
+        recent = messages[-20:]
+        conversations[user_id] = recent
 
     def clear_conversation_history(self, user_id: str):
         if user_id in conversations:
@@ -173,19 +188,18 @@ class ChatPipeline:
         messages = [{"role": "system", "content": SYSTEM_PROMPT}]
         messages.extend(history)
         messages.append({"role": "user", "content": user_text})
-        messages.append({"role": "system", "content": f"網路搜尋結果：{search_results}"})
+        if "沒有找到" not in search_results:  # 只在有結果時加入
+            messages.append({"role": "system", "content": f"網路搜尋結果：{search_results}"})
         
         response = self._llm_call(messages)
         response = response.replace('*', '')
         
         # 更新歷史紀錄
         history.append({"role": "user", "content": user_text})
-        # 為了節省 token，可以選擇不將搜尋結果存入歷史
-        # history.append({"role": "system", "content": f"網路搜尋結果：{search_results}"})
         history.append({"role": "assistant", "content": response})
         self.update_conversation_history(user_id, history)
         
-        # 如果回應過長，檢查 chunks 數量，如果超過5，生成摘要以確保最大資訊傳遞
+        # 如果回應過長，檢查 chunks 數量，如果超過5，生成摘要
         chunks = split_text_for_line(response)
         if len(chunks) > 5:
             summary_prompt = [{"role": "system", "content": "請將以下內容生成一個簡潔但完整的中文摘要，保留關鍵事實和細節，長度控制在20000字元內。"}]
@@ -301,6 +315,11 @@ async def line_webhook(request: Request):
 async def health_check():
     return {"status": "ok"}
 
+# 根路由，避免 404
+@app.get("/")
+async def root():
+    return {"message": "LINE Bot is running"}
+
 if __name__ == "__main__":
     port = int(os.getenv("PORT", 7860))
     uvicorn.run(app, host="0.0.0.0", port=port)

requirements.txt

@@ -3,4 +3,5 @@ uvicorn
 line-bot-sdk
 openai
 tavily-python
-sentence-transformers
+sentence-transformers
+tenacity