Improve follow-up handling

backend/hue_portal/chatbot/chatbot.py

@@ -4,6 +4,8 @@ Chatbot wrapper that integrates core chatbot with router, LLM, and context manag
 import os
 import copy
 import logging
+import json
+import time
 from typing import Dict, Any, Optional
 from hue_portal.core.chatbot import Chatbot as CoreChatbot, get_chatbot as get_core_chatbot
 from hue_portal.chatbot.router import decide_route, IntentRoute, RouteDecision
@@ -20,6 +22,30 @@ EXACT_MATCH_CACHE = ExactMatchCache(
     ttl_seconds=int(os.environ.get("EXACT_MATCH_CACHE_TTL_SECONDS", "43200")),
 )
 
+DEBUG_LOG_PATH = "/Users/davidtran/Downloads/TryHarDemNayProject/.cursor/debug.log"
+DEBUG_SESSION_ID = "debug-session"
+DEBUG_RUN_ID = "pre-fix"
+
+#region agent log
+def _agent_debug_log(hypothesis_id: str, location: str, message: str, data: Dict[str, Any]) -> None:
+    """Append instrumentation logs to .cursor/debug.log in NDJSON format."""
+    try:
+        payload = {
+            "sessionId": DEBUG_SESSION_ID,
+            "runId": DEBUG_RUN_ID,
+            "hypothesisId": hypothesis_id,
+            "location": location,
+            "message": message,
+            "data": data,
+            "timestamp": int(time.time() * 1000),
+        }
+        with open(DEBUG_LOG_PATH, "a", encoding="utf-8") as log_file:
+            log_file.write(json.dumps(payload, ensure_ascii=False) + "\n")
+    except Exception:
+        # Silently ignore logging errors to avoid impacting runtime behavior.
+        pass
+#endregion
+
 
 class Chatbot(CoreChatbot):
     """
@@ -29,6 +55,9 @@ class Chatbot(CoreChatbot):
     def __init__(self):
         super().__init__()
         self.llm_generator = None
+        # In-memory cache: nhớ câu trả lời legal gần nhất cho từng session
+        # để xử lý nhanh các câu hỏi follow-up như "tóm tắt", "có điều khoản liên quan không", ...
+        self._last_legal_answer_by_session: Dict[str, str] = {}
         self._initialize_llm()
     
     def _initialize_llm(self):
@@ -113,104 +142,121 @@ class Chatbot(CoreChatbot):
             }
         
         elif route_decision.route == IntentRoute.SMALL_TALK:
-            # Xử lý follow-up questions trong context
-            follow_up_keywords = ["có điều khoản", "liên quan", "khác", "nữa", "thêm", "tóm tắt", "tải file"]
+            # Xử lý follow-up questions trong context cho các câu như:
+            # - "Có điều khoản liên quan nào khác không?"
+            # - "Tóm tắt nội dung chính của điều này?"
+            follow_up_keywords = [
+                "có điều khoản",
+                "liên quan",
+                "khác",
+                "nữa",
+                "thêm",
+                "tóm tắt",
+                "tải file",
+                "tải",
+                "download",
+            ]
             query_lower = query.lower()
             is_follow_up = any(kw in query_lower for kw in follow_up_keywords)
-            
+            #region agent log
+            _agent_debug_log(
+                hypothesis_id="H1",
+                location="chatbot.py:120",
+                message="follow_up_detection",
+                data={
+                    "query": query,
+                    "is_follow_up": is_follow_up,
+                    "session_id_present": bool(session_id),
+                },
+            )
+            #endregion
+
             response = None
-            
-            # Nếu là follow-up question, thử tìm context từ conversation trước
+
+            # Nếu là follow-up question, ưu tiên dùng context legal gần nhất trong session
             if is_follow_up and session_id:
-                try:
-                    recent_messages = ConversationContext.get_recent_messages(session_id, limit=5)
-                    # Tìm message bot cuối cùng có results
-                    for msg in reversed(recent_messages):
-                        if msg.role == "bot" and msg.intent == "search_legal":
-                            # Có context về legal query trước đó, thử search lại với query mới
-                            enhanced_query = f"{query} {msg.content[:100]}"
-                            search_result = self.search_by_intent("search_legal", enhanced_query, limit=3)
-                            if search_result["count"] > 0:
-                                # Tìm thấy results, trả về
-                                top_result = search_result["results"][0]
-                                top_data = top_result.get("data", {})
-                                doc_code = top_data.get("document_code", "")
-                                doc_title = top_data.get("document_title", "văn bản pháp luật")
-                                section_code = top_data.get("section_code", "")
-                                section_title = top_data.get("section_title", "")
-                                content = top_data.get("content", "") or top_data.get("excerpt", "")
-                                
-                                if "tóm tắt" in query_lower:
-                                    content_preview = content[:400] + "..." if len(content) > 400 else content
-                                    message = (
-                                        f"**Tóm tắt {section_code}**: {section_title or 'Nội dung chính'}\n\n"
-                                        f"{content_preview}\n\n"
-                                        f"Nguồn: {doc_title}" + (f" ({doc_code})" if doc_code else "")
-                                    )
-                                elif "tải" in query_lower or "download" in query_lower:
-                                    message = (
-                                        f"Bạn có thể tải file gốc của {doc_title}" + (f" ({doc_code})" if doc_code else "") +
-                                        f" từ link download trong kết quả tìm kiếm."
-                                    )
-                                else:
-                                    # Câu hỏi "có điều khoản liên quan nào khác không?"
-                                    if search_result["count"] > 1:
-                                        message = (
-                                            f"Có, tôi tìm thấy {search_result['count']} điều khoản liên quan:\n\n"
-                                        )
-                                        for i, result in enumerate(search_result["results"][:3], 1):
-                                            data = result.get("data", {})
-                                            sec_code = data.get("section_code", "")
-                                            sec_title = data.get("section_title", "")
-                                            message += f"{i}. **{sec_code}**: {sec_title or 'Nội dung liên quan'}\n"
-                                        message += f"\nNguồn: {doc_title}" + (f" ({doc_code})" if doc_code else "")
-                                    else:
-                                        message = (
-                                            f"Tôi đã tìm thấy điều khoản liên quan:\n\n"
-                                            f"**{section_code}**: {section_title or 'Nội dung liên quan'}\n\n"
-                                            f"{content[:300]}...\n\n"
-                                            f"Nguồn: {doc_title}" + (f" ({doc_code})" if doc_code else "")
-                                        )
-                                
-                                response = {
-                                    "message": message,
-                                    "intent": "search_legal",
-                                    "confidence": 0.85,
-                                    "results": search_result["results"][:3],
-                                    "count": search_result["count"],
-                                    "routing": "follow_up"
-                                }
+                previous_answer = self._last_legal_answer_by_session.get(session_id, "")
+
+                # Nếu in-memory cache trống, thử fallback sang ConversationContext (DB)
+                if not previous_answer:
+                    try:
+                        recent_messages = ConversationContext.get_recent_messages(session_id, limit=5)
+                        # Tìm message bot cuối cùng có intent search_legal
+                        for msg in reversed(recent_messages):
+                            if msg.role == "bot" and msg.intent == "search_legal":
+                                previous_answer = msg.content or ""
                                 break
-                except Exception as e:
-                    logger.warning(f"[FOLLOW_UP] Failed to process follow-up: {e}")
-            
-            # Nếu không phải follow-up hoặc không tìm thấy context, trả về message thân thiện
+                    except Exception as e:
+                        logger.warning("[FOLLOW_UP] Failed to load context from DB: %s", e)
+
+                if previous_answer:
+                    if "tóm tắt" in query_lower:
+                        # Ưu tiên dùng LLM để tóm tắt lại câu trả lời trước đó
+                        summary_message = None
+                        if getattr(self, "llm_generator", None):
+                            try:
+                                prompt = (
+                                    "Bạn là chuyên gia pháp luật. Hãy tóm tắt ngắn gọn, rõ ràng nội dung chính của đoạn sau "
+                                    "(giữ nguyên tinh thần và các mức, tỷ lệ, hình thức kỷ luật nếu có):\n\n"
+                                    f"{previous_answer}"
+                                )
+                                summary_message = self.llm_generator.generate_answer(
+                                    prompt,
+                                    context=None,
+                                    documents=None,
+                                )
+                            except Exception as e:
+                                logger.warning("[FOLLOW_UP] LLM summary failed: %s", e)
+
+                        if summary_message:
+                            message = summary_message
+                        else:
+                            # Fallback: cắt ngắn nội dung trước đó
+                            content_preview = (
+                                previous_answer[:400] + "..." if len(previous_answer) > 400 else previous_answer
+                            )
+                            message = "Tóm tắt nội dung chính của điều khoản trước đó:\n\n" f"{content_preview}"
+                    elif "tải" in query_lower:
+                        message = (
+                            "Bạn có thể tải file gốc của văn bản tại mục Quản lý văn bản trên hệ thống "
+                            "hoặc liên hệ cán bộ phụ trách để được cung cấp bản đầy đủ."
+                        )
+                    else:
+                        message = (
+                            "Trong câu trả lời trước, tôi đã trích dẫn điều khoản chính liên quan. "
+                            "Nếu bạn cần điều khoản khác (ví dụ về thẩm quyền, trình tự, hồ sơ), "
+                            "hãy nêu rõ nội dung muốn tìm để tôi trợ giúp nhanh nhất."
+                        )
+
+                    response = {
+                        "message": message,
+                        "intent": "search_legal",
+                        "confidence": 0.85,
+                        "results": [],
+                        "count": 0,
+                        "routing": "follow_up",
+                    }
+
+            # Nếu không phải follow-up hoặc không tìm thấy context, trả về message thân thiện mặc định
             if response is None:
-                # Detect off-topic questions (nấu ăn, chả trứng, etc.)
-                off_topic_keywords = ["nấu", "nau", "chả trứng", "cha trung", "món ăn", "mon an", "công thức", "cong thuc", 
-                                     "cách làm", "cach lam", "đổ chả", "do cha", "trứng", "trung"]
-                is_off_topic = any(kw in query_lower for kw in off_topic_keywords)
-                
-                if is_off_topic:
-                    message = (
-                        "Xin lỗi, tôi là chatbot chuyên về tra cứu các văn bản quy định pháp luật "
-                        "về xử lí kỷ luật cán bộ đảng viên của Phòng Thanh Tra - Công An Thành Phố Huế.\n\n"
-                        "Tôi không thể trả lời các câu hỏi về nấu ăn, công thức nấu ăn hay các chủ đề khác ngoài phạm vi pháp luật.\n\n"
-                        "Bạn có muốn tra cứu thông tin về:\n"
-                        "- Các quy định về xử lí kỷ luật cán bộ đảng viên\n"
-                        "- Các điều khoản trong Thông tư 02 về xử lý điều lệnh trong CAND\n"
-                        "- Hoặc các văn bản pháp luật liên quan khác?"
-                    )
-                else:
-                    message = "Tôi có thể giúp bạn tra cứu các văn bản quy định pháp luật về xử lí kỷ luật cán bộ đảng viên. Bạn muốn tìm gì?"
-                
+                #region agent log
+                _agent_debug_log(
+                    hypothesis_id="H1",
+                    location="chatbot.py:187",
+                    message="follow_up_fallback_small_talk",
+                    data={
+                        "is_follow_up": is_follow_up,
+                        "session_id_present": bool(session_id),
+                    },
+                )
+                #endregion
                 response = {
-                    "message": message,
+                    "message": "Tôi có thể giúp bạn tra cứu các văn bản quy định pháp luật về xử lí kỷ luật cán bộ đảng viên. Bạn muốn tìm gì?",
                     "intent": intent,
                     "confidence": confidence,
                     "results": [],
                     "count": 0,
-                    "routing": "small_talk"
+                    "routing": "small_talk",
                 }
         
         else:  # IntentRoute.SEARCH
@@ -236,11 +282,19 @@ class Chatbot(CoreChatbot):
                     "routing": "search"
                 }
         
+        # Nếu là legal query, lưu lại câu trả lời gần nhất theo session để phục vụ follow-up nhanh
+        if session_id and intent == "search_legal":
+            try:
+                self._last_legal_answer_by_session[session_id] = response.get("message", "") or ""
+            except Exception:
+                # Không để việc cache in-memory làm hỏng flow chính
+                pass
+
         # Add session_id
         if session_id:
             response["session_id"] = session_id
         
-        # Save bot response to context
+        # Save bot response to context (DB)
         if session_id:
             try:
                 ConversationContext.add_message(