Update app.py

app.py

@@ -12,8 +12,7 @@ from transformers import (
 # 1. Load recycle data
 # =======================================
 recycle_data = json.load(open("recycle_data.json", "r", encoding="utf-8"))
-label_texts = []
-items = []
+label_texts, items = [], []
 
 for item in recycle_data:
     zh = item.get("name", "")
@@ -23,7 +22,7 @@ for item in recycle_data:
 
 
 # =======================================
-# 2. Load Q&A data (RAG)
+# 2. Load Q&A (RAG)
 # =======================================
 qas = json.load(open("qas.json", "r", encoding="utf-8"))
 qa_questions = [q["question"] for q in qas]
@@ -33,7 +32,7 @@ qa_embeddings = embedder.encode(qa_questions, convert_to_tensor=True)
 
 
 # =======================================
-# 3. CLIP model
+# 3. CLIP 用於圖片分類
 # =======================================
 clip_model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
 clip_processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
@@ -48,25 +47,82 @@ with torch.no_grad():
 
 
 # =======================================
-# 4. Qwen 0.5B CPU-friendly LLM
+# 4. LLM（Qwen 0.5B）＋回答模板
 # =======================================
 LLM = "Qwen/Qwen2.5-0.5B-Instruct"
-
 tok = AutoTokenizer.from_pretrained(LLM)
-llm = AutoModelForCausalLM.from_pretrained(
-    LLM,
-    torch_dtype=torch.float32
-).to("cpu")
+llm = AutoModelForCausalLM.from_pretrained(LLM, torch_dtype=torch.float32).to("cpu")
 
 def llm_reply(prompt):
     inputs = tok(prompt, return_tensors="pt")
-    outputs = llm.generate(**inputs, max_new_tokens=150)
+    outputs = llm.generate(**inputs, max_new_tokens=200)
     return tok.decode(outputs[0], skip_special_tokens=True)
 
 
 # =======================================
-# Helper functions
+# 5. 回答品質：加入「專業垃圾分類助理模板」
+# =======================================
+
+def expert_llm_reply(text):
+    prompt = f"""
+你是一位「台灣垃圾分類專家助理」。  
+請用 **自然、生活化、清楚、條列式、友善語氣** 回答問題。  
+遵守規則：
+
+- 使用台灣常見分類（紙類、塑膠類、鐵鋁罐、玻璃、其他可回收、一般垃圾、廚餘…）
+- 如可能需要清洗 → 提醒「保持乾淨、不要油膩」
+- 如可能需要壓扁、拆蓋 → 主動提醒
+- 如不同縣市規則不同 → 說「各縣市略有差異」
+- 最後提供 1 個附加小提醒
+
+使用者問題：{text}
+
+請直接回答：
+"""
+    return llm_reply(prompt)
+
+
+# =======================================
+# 6. 額外知識庫（讓回答更像真人）
 # =======================================
+
+extra_rules = {
+    "寶特瓶": [
+        "瓶身要簡單沖洗乾淨",
+        "可壓扁節省空間",
+        "瓶蓋需旋開分開丟（塑膠類）",
+        "標籤可保留或拆除都可以"
+    ],
+    "鋁箔包": [
+        "要沖洗乾淨避免發臭",
+        "記得壓扁更好回收",
+        "屬於飲料紙容器類，可回收"
+    ],
+    "外帶杯": [
+        "杯身要沖乾淨",
+        "若是紙杯 → 紙類回收",
+        "若是塑膠杯 → 塑膠類回收",
+        "吸管為一般垃圾"
+    ],
+    "餐盒": [
+        "若為乾淨塑膠 → 可回收",
+        "若油膩、難清洗 → 一般垃圾",
+        "盒蓋通常可回收（塑膠）"
+    ],
+}
+
+
+def add_extra_tips(item_name):
+    if item_name not in extra_rules:
+        return ""
+    tips = "\n".join(f"- {t}" for t in extra_rules[item_name])
+    return f"\n🔧 **小提醒：**\n{tips}"
+
+
+# =======================================
+# 7. 圖片分類 + 回答模板
+# =======================================
+
 def classify_image(pil):
     inputs = clip_processor(images=pil, return_tensors="pt")
     with torch.no_grad():
@@ -74,125 +130,118 @@ def classify_image(pil):
         img_emb = img_emb / img_emb.norm(p=2, dim=-1, keepdim=True)
         logits = img_emb @ text_embeds.T
         probs = logits.softmax(dim=-1)[0]
-
     idx = torch.argmax(probs).item()
     score = float(probs[idx])
     return idx, score
 
 
+def smart_answer(item, score):
+    name = item["name"]
+    rec = item.get("recyclable", "")
+    notes = item.get("notes", "")
+
+    return f"""
+🟢 **辨識結果**  
+我推測這張照片中的物品是 **{name}**  
+（相似度：**{score:.2f}**）
+
+♻ **是否可回收**  
+{rec}
+
+📌 **補充說明**  
+{notes}
+{add_extra_tips(name)}
+
+有需要我可以繼續告訴你：
+- 要不要清洗？
+- 要不要壓扁？
+- 某些配件要不要拆？
+都可以問我喔！
+"""
+
+
+# =======================================
+# 8. 搜尋 recycle_data 名稱
+# =======================================
 def search_recycle_name(text):
-    for item in recycle_data:
+    for item in items:
         if item["name"] in text:
             return item
     return None
 
 
+# =======================================
+# 9. RAG 搜尋官方 Q&A
+# =======================================
 def rag_search(text):
     q_emb = embedder.encode(text, convert_to_tensor=True)
     scores = util.cos_sim(q_emb, qa_embeddings)[0]
     best_idx = torch.argmax(scores).item()
-    if scores[best_idx] > 0.7:
+
+    if float(scores[best_idx]) > 0.70:
         return qas[best_idx]["answer"]
     return None
 
 
-def general_rules():
-    return (
-        "以下是一般垃圾分類原則：\n"
-        "1. 乾淨可分離材質 → 可回收\n"
-        "2. 污損混合材質 → 一般垃圾\n"
-        "3. 電器/電池/燈管 → 指定回收\n"
-        "4. 不確定 → 打 1999 或問清潔隊\n"
-    )
-
-
 # =======================================
-# 5. Main chatbot logic
+# 10. Chatbot 主邏輯
 # =======================================
 
-# 用來記錄最近一張圖片
 global_image = None
 
 def bot(message, history):
-
     global global_image
 
-    # -------------------------------
-    # Case 1: 使用者傳入圖片訊息 (dict)
-    # -------------------------------
+    # 如果含圖片
     if isinstance(message, dict):
-
         img = message.get("image", None)
         text = message.get("text", "").strip()
 
-        # 若有圖片 → 更新 global_image
+        # 上傳圖片 → 更新 context
         if img is not None:
             global_image = Image.fromarray(img)
 
-            # 直接做圖片分類
             idx, score = classify_image(global_image)
             item = items[idx]
+            return smart_answer(item, score)
 
-            reply = (
-                f"🔍 我推測這是 **{item['name']}** (相似度 {score:.2f})\n\n"
-                f"♻ {item.get('recyclable','')}\n\n"
-                f"{item.get('notes','')}"
-            )
-
-            return reply
-
-        # 若「沒有圖片但有文字」→ 當一般文字詢問處理
+        # 無圖片但有文字 → 當一般文字處理
         message = text
 
-    # -------------------------------
-    # Case 2: 純文字訊息（string）
-    # -------------------------------
+    # 純文字
     if isinstance(message, str):
-
         text = message.strip()
 
-        # 1) 若使用者剛傳過圖片 → 使用 global_image 做 context
+        # 若有上一張圖片 → 可以追問
         if global_image is not None:
-            # 讓使用者追問圖片的分類結果
-            img_item_idx, _ = classify_image(global_image)
-            current_item = items[img_item_idx]
+            idx, _ = classify_image(global_image)
+            current_item = items[idx]
             if current_item["name"] in text:
-                return (
-                    f"你是指剛剛的「{current_item['name']}」嗎？\n\n"
-                    f"♻ {current_item.get('recyclable','')}\n\n"
-                    f"{current_item.get('notes','')}"
-                )
+                return smart_answer(current_item, 0.99)
 
-        # 2) 先看 recycle_data 名稱是否命中
+        # recycle_data 查詢
         item = search_recycle_name(text)
         if item:
-            return (
-                f"🔍 你詢問的是：{item['name']}\n\n"
-                f"♻ {item.get('recyclable','')}\n\n"
-                f"{item.get('notes','')}"
-            )
+            return smart_answer(item, 0.99)
 
-        # 3) 查 QAS
+        # RAG 查官方資料
         ans = rag_search(text)
         if ans:
-            return f"📘 官方資料：\n{ans}"
+            return f"📘 **官方資料：**\n{ans}"
 
-        # 4) Fallback → LLM
-        return llm_reply(f"你是一位台灣垃圾分類助理，請回答：{text}")
+        # fallback → LLM 專業回答
+        return expert_llm_reply(text)
 
-    return "我無法理解你的訊息。"
+    return "我好像不太理解你的訊息，可以再說一次嗎？"
 
 
 # =======================================
-# 6. Chat UI
+# 11. Gradio Chat UI
 # =======================================
 ui = gr.ChatInterface(
     fn=bot,
     title="台南垃圾分類智慧助理（圖片 + 多輪聊天）",
-    description=(
-        "你可以傳圖片或提問文字，我會查 271 類回收資料、Q&A、並能多輪對話。\n"
-        "上傳圖片後，你可以繼續追問：例如「那這個托盤呢？」"
-    ),
+    description="你可以傳圖片或提問，我會查看 270+ 類回收資料 + 官方 Q&A + 多輪對話記憶。",
     multimodal=True,
 )