Update main.py

main.py

@@ -5,6 +5,7 @@ from fastapi import FastAPI, Request,  Header, BackgroundTasks, HTTPException, s
 import google.generativeai as genai
 import openai 
 import base64
+from collections import defaultdict
 from linebot import LineBotApi, WebhookHandler
 from linebot.exceptions import InvalidSignatureError
 from linebot.models import MessageEvent, TextMessage, TextSendMessage, ImageSendMessage, AudioMessage, ImageMessage
@@ -66,45 +67,6 @@ async def webhook(
 def handle_message(event):
     global working_status
     
-    # 檢查事件類型和訊息類型
-    if event.type != "message" or event.message.type != "text":
-        # 回覆錯誤訊息
-        line_bot_api.reply_message(
-            event.reply_token,
-            TextSendMessage(text="Event type error:[No message or the message does not contain text]")
-        )
-        
-    # 檢查使用者是否輸入 "再見"
-    elif event.message.text == "再見":
-        # 回覆 "Bye!"
-        line_bot_api.reply_message(
-            event.reply_token,
-            TextSendMessage(text="Bye!")
-        )
-        return
-       
-    # 檢查是否正在與使用者交談
-    elif working_status:
-        try: 
-            # 取得使用者輸入的文字
-            prompt = event.message.text
-            # 使用 Gemini 模型生成文字
-            completion = model.generate_content(prompt, generation_config=generation_config)
-            # 檢查生成結果是否為空
-            if (completion.parts[0].text != None):
-                # 取得生成結果
-                out = completion.parts[0].text
-            else:
-                # 回覆 "Gemini沒答案!請換個說法！"
-                out = "我不太懂什麼意思也~"
-        except:
-            # 處理錯誤
-            out = "Gemini執行出錯!請換個說法！" 
-  
-        # 回覆生成結果
-        line_bot_api.reply_message(
-            event.reply_token,
-            TextSendMessage(text=out))
 
 
 
@@ -162,13 +124,31 @@ def analyze_with_openai(image_path, user_text):
     )
 
     return response["choices"][0]["message"]["content"]
+    
+# 使用字典模擬用戶訊息歷史存儲
+user_message_history = defaultdict(list)
 
+def store_user_message(user_id, message_type, message_content):
+    """
+    儲存用戶的訊息
+    """
+    user_message_history[user_id].append({
+        "type": message_type,
+        "content": message_content
+    })
+
+def get_previous_message(user_id):
+    """
+    獲取用戶的上一則訊息
+    """
+    if user_id in user_message_history and len(user_message_history[user_id]) > 1:
+        # 返回倒數第二則訊息（上一則）
+        return us
         
 @line_handler.add(MessageEvent, message=ImageMessage)
 def handle_image_message(event):
     # 從 LINE API 獲取圖片數據
     image_path = get_image_url(event.message.id)
-
     if image_path:
         # 處理圖片或進行進一步分析
         print(f"圖片已保存至: {image_path}")
@@ -176,7 +156,7 @@ def handle_image_message(event):
         # 回應用戶
         line_bot_api.reply_message(
             event.reply_token,
-            TextSendMessage(text="圖片已接收成功囉，你有什麼樣的疑問呢?")
+            TextSendMessage(text="圖片已接收成功囉，幫我輸入你想詢問的問題喔~")
         )
         
     else:
@@ -185,22 +165,62 @@ def handle_image_message(event):
             TextSendMessage(text="無法下載圖片，請稍後再試！")
         )
 
-    # 獲取用戶問題（文字）
-    user_text = event.message.text  # 自行實現，根據需求追蹤用戶文字
-    if not user_text:
-        line_bot_api.reply_message(
+    
+    user_id = event.source.user_id
+    store_user_message(user_id, "text", user_text)
+    previous_message = get_previous_message(user_id)
+    
+    # 獲取傳送圖片後的用戶問題（文字）
+    if previous_message and previous_message["type"] == "image":
+        # 獲取用戶問題（文字）
+        user_text = event.message.text  # 自行實現，根據需求追蹤用戶文字
+        # 將圖片與文字結合發送到 OpenAI
+        out = analyze_with_openai(image_path, user_text)
+
+    else:
+        # 檢查事件類型和訊息類型
+        if event.type != "message" or event.message.type != "text":
+            # 回覆錯誤訊息
+            line_bot_api.reply_message(
             event.reply_token,
-            TextSendMessage(text="幫我輸入你想詢問的問題喔~")
-        )
-        return
+            TextSendMessage(text="Event type error:[No message or the message does not contain text]")
+            )
+        
+        # 檢查使用者是否輸入 "再見"
+        elif event.message.text == "再見":
+        # 回覆 "Bye!"
+            line_bot_api.reply_message(
+            event.reply_token,
+            TextSendMessage(text="Bye!")
+            )
+            return
+       
+        # 檢查是否正在與使用者交談
+        elif working_status:
+            try: 
+                # 取得使用者輸入的文字
+                prompt = event.message.text
+                # 使用 Gemini 模型生成文字
+                completion = model.generate_content(prompt, generation_config=generation_config)
+                # 檢查生成結果是否為空
+                if (completion.parts[0].text != None):
+                    # 取得生成結果
+                    out = completion.parts[0].text
+                else:
+                    # 回覆 "Gemini沒答案!請換個說法！"
+                    out = "我不太懂什麼意思也~"
+            except:
+                # 處理錯誤
+                out = "執行出錯!請換個說法！" 
 
-    # 將圖片與文字結合發送到 OpenAI
-    response_text = analyze_with_openai(image_path, user_text)
 
-    # 回覆生成結果
-    line_bot_api.reply_message(
-        event.reply_token,
-        TextSendMessage(text=out))
+        
+        # 回覆生成結果
+        line_bot_api.reply_message(
+            event.reply_token,
+            TextSendMessage(text=out))
+
+        
 
 if __name__ == "__main__":
     # 啟動 FastAPI 應用程式