Upload backend/hue_portal/chatbot/chatbot.py with huggingface_hub

backend/hue_portal/chatbot/chatbot.py

@@ -6,7 +6,7 @@ import copy
 import logging
 import json
 import time
-from typing import Dict, Any, Optional, List
+from typing import Dict, Any, Optional
 from hue_portal.core.chatbot import Chatbot as CoreChatbot, get_chatbot as get_core_chatbot
 from hue_portal.chatbot.router import decide_route, IntentRoute, RouteDecision
 from hue_portal.chatbot.context_manager import ConversationContext
@@ -14,7 +14,6 @@ from hue_portal.chatbot.llm_integration import LLMGenerator
 from hue_portal.core.models import LegalSection
 from hue_portal.chatbot.exact_match_cache import ExactMatchCache
 from hue_portal.chatbot.slow_path_handler import SlowPathHandler
-from hue_portal.chatbot.document_topics import DOCUMENT_TOPICS, find_topic_by_code
 
 logger = logging.getLogger(__name__)
 
@@ -66,99 +65,6 @@ class Chatbot(CoreChatbot):
             print(f"⚠️ LLM generator not available: {e}")
             self.llm_generator = None
     
-    def _prepare_document_candidates(self, topic_scores: Dict[str, float]) -> List[Dict[str, str]]:
-        ordered_codes = sorted(
-            topic_scores.keys(),
-            key=lambda code: topic_scores[code],
-            reverse=True,
-        )
-        if not ordered_codes:
-            ordered_codes = [topic["code"] for topic in DOCUMENT_TOPICS[:3]]
-        candidates = []
-        for code in ordered_codes:
-            topic = find_topic_by_code(code) or {}
-            if not topic:
-                continue
-            candidates.append(
-                {
-                    "code": topic["code"],
-                    "title": topic.get("title") or topic["code"],
-                    "summary": topic.get("summary") or "",
-                    "doc_type": topic.get("doc_type") or "",
-                }
-            )
-            if len(candidates) >= 4:
-                break
-        return candidates
-    
-    def _build_router_clarification_response(
-        self,
-        query: str,
-        route_decision: RouteDecision,
-    ) -> Optional[Dict[str, Any]]:
-        candidates = self._prepare_document_candidates(route_decision.topic_scores or {})
-        if not candidates:
-            return None
-        llm_payload = None
-        if self.llm_generator:
-            llm_payload = self.llm_generator.suggest_clarification_topics(
-                query,
-                candidates,
-                max_options=3,
-            )
-        default_message = (
-            "Tôi tìm thấy một số văn bản liên quan. Bạn hãy chọn văn bản muốn tra cứu "
-            "để tôi trả lời chính xác hơn."
-        )
-        message = default_message
-        options = []
-        if llm_payload:
-            message = llm_payload.get("message") or default_message
-            options = llm_payload.get("options") or []
-        if not options:
-            for candidate in candidates[:3]:
-                options.append(
-                    {
-                        "code": candidate["code"].upper(),
-                        "title": candidate["title"],
-                        "reason": candidate.get("summary", ""),
-                    }
-                )
-        has_other = any(opt.get("code") == "__other__" for opt in options)
-        if not has_other:
-            options.append(
-                {
-                    "code": "__other__",
-                    "title": "Khác",
-                    "reason": "Tôi muốn hỏi văn bản hoặc chủ đề khác",
-                }
-            )
-        return {
-            "message": message,
-            "clarification": {
-                "message": message,
-                "options": options,
-            },
-            "intent": "search_legal",
-            "routing": "clarification",
-            "confidence": 0.3,
-            "results": [],
-            "count": 0,
-        }
-    
-    def _build_plan_context(self, session_metadata: Dict[str, Any]) -> Optional[Dict[str, str]]:
-        if not session_metadata:
-            return None
-        code = session_metadata.get("selected_document_code")
-        if not code:
-            return None
-        topic = find_topic_by_code(code) or {}
-        return {
-            "selected_document_code": code,
-            "selected_document_title": topic.get("title") or code,
-            "selected_document_type": topic.get("doc_type") or "",
-        }
-    
     def generate_response(self, query: str, session_id: Optional[str] = None) -> Dict[str, Any]:
         """
         Generate chatbot response with session support and routing.
@@ -184,14 +90,14 @@ class Chatbot(CoreChatbot):
                 print(f"⚠️ Failed to save user message: {e}")
         
         session_metadata: Dict[str, Any] = {}
+        selected_doc_code: Optional[str] = None
         if session_id:
             try:
                 session_metadata = ConversationContext.get_session_metadata(session_id)
+                selected_doc_code = session_metadata.get("selected_document_code")
             except Exception:
                 session_metadata = {}
         
-        selected_document_code = session_metadata.get("selected_document_code") if session_metadata else None
-        
         # Classify intent
         intent, confidence = self.classify_intent(query)
         
@@ -202,6 +108,14 @@ class Chatbot(CoreChatbot):
         if route_decision.forced_intent:
             intent = route_decision.forced_intent
 
+        # Nếu session đã có selected_document_code (user đã chọn văn bản ở wizard)
+        # thì luôn ép intent về search_legal và route sang SEARCH,
+        # tránh bị kẹt ở nhánh small-talk/off-topic do nội dung câu hỏi ban đầu.
+        if selected_doc_code:
+            intent = "search_legal"
+            route_decision.route = IntentRoute.SEARCH
+            route_decision.forced_intent = "search_legal"
+
         # Map tất cả intent tra cứu nội dung về search_legal
         domain_search_intents = {
             "search_fine",
@@ -241,21 +155,6 @@ class Chatbot(CoreChatbot):
                     print(f"⚠️ Failed to save cached bot message: {e}")
             return cached_response
         
-        # Clarification request before running slow path
-        if (
-            intent == "search_legal"
-            and not selected_document_code
-            and route_decision.clarification_required
-        ):
-            clarification = self._build_router_clarification_response(query, route_decision)
-            if clarification:
-                if session_id:
-                    clarification["session_id"] = session_id
-                plan_context = self._build_plan_context(session_metadata)
-                if plan_context:
-                    clarification["plan"] = plan_context
-                return clarification
-        
         # Always send legal intent through Slow Path RAG
         if intent == "search_legal":
             response = self._run_slow_path_legal(
@@ -385,26 +284,64 @@ class Chatbot(CoreChatbot):
                 is_off_topic = any(kw in query_lower for kw in off_topic_keywords)
                 
                 if is_off_topic:
-                    message = (
+                    # Ngoài phạm vi → từ chối lịch sự + gợi ý wizard với các văn bản pháp lý chính
+                    intro_message = (
                         "Xin lỗi, tôi là chatbot chuyên về tra cứu các văn bản quy định pháp luật "
                         "về xử lí kỷ luật cán bộ đảng viên của Phòng Thanh Tra - Công An Thành Phố Huế.\n\n"
                         "Tôi không thể trả lời các câu hỏi về nấu ăn, công thức nấu ăn hay các chủ đề khác ngoài phạm vi pháp luật.\n\n"
-                        "Bạn có muốn tra cứu thông tin về:\n"
-                        "- Các quy định về xử lí kỷ luật cán bộ đảng viên\n"
-                        "- Các điều khoản trong Thông tư 02 về xử lý điều lệnh trong CAND\n"
-                        "- Hoặc các văn bản pháp luật liên quan khác?"
+                        "Tuy nhiên, tôi có thể giúp bạn tra cứu một số văn bản pháp luật quan trọng. "
+                        "Bạn hãy chọn văn bản muốn xem trước:"
                     )
+                    clarification_options = [
+                        {
+                            "code": "264-QD-TW",
+                            "title": "Quyết định 264-QĐ/TW về kỷ luật đảng viên",
+                            "reason": "Quy định chung về xử lý kỷ luật đối với đảng viên vi phạm.",
+                        },
+                        {
+                            "code": "QD-69-TW",
+                            "title": "Quy định 69-QĐ/TW về kỷ luật tổ chức đảng, đảng viên",
+                            "reason": "Quy định chi tiết về các hành vi vi phạm và hình thức kỷ luật.",
+                        },
+                        {
+                            "code": "TT-02-CAND",
+                            "title": "Thông tư 02/2021/TT-BCA về điều lệnh CAND",
+                            "reason": "Quy định về điều lệnh, lễ tiết, tác phong trong CAND.",
+                        },
+                        {
+                            "code": "__other__",
+                            "title": "Khác",
+                            "reason": "Tôi muốn hỏi văn bản hoặc chủ đề pháp luật khác.",
+                        },
+                    ]
+                    response = {
+                        "message": intro_message,
+                        "intent": intent,
+                        "confidence": confidence,
+                        "results": [],
+                        "count": 0,
+                        "routing": "small_talk_offtopic_wizard",
+                        "type": "options",
+                        "wizard_stage": "choose_document",
+                        "clarification": {
+                            "message": intro_message,
+                            "options": clarification_options,
+                        },
+                        "options": clarification_options,
+                    }
                 else:
-                    message = "Tôi có thể giúp bạn tra cứu các văn bản quy định pháp luật về xử lí kỷ luật cán bộ đảng viên. Bạn muốn tìm gì?"
-                
-                response = {
-                    "message": message,
-                    "intent": intent,
-                    "confidence": confidence,
-                    "results": [],
-                    "count": 0,
-                    "routing": "small_talk"
-                }
+                    message = (
+                        "Tôi có thể giúp bạn tra cứu các văn bản quy định pháp luật về xử lí kỷ luật cán bộ đảng viên. "
+                        "Bạn muốn tìm gì?"
+                    )
+                    response = {
+                        "message": message,
+                        "intent": intent,
+                        "confidence": confidence,
+                        "results": [],
+                        "count": 0,
+                        "routing": "small_talk",
+                    }
         
         else:  # IntentRoute.SEARCH
             # Use core chatbot search for other intents
@@ -435,6 +372,12 @@ class Chatbot(CoreChatbot):
             except Exception:
                 pass
 
+        # Đánh dấu loại payload cho frontend: answer hay options (wizard)
+        if response.get("clarification") or response.get("type") == "options":
+            response.setdefault("type", "options")
+        else:
+            response.setdefault("type", "answer")
+
         # Add session_id
         if session_id:
             response["session_id"] = session_id
@@ -454,9 +397,6 @@ class Chatbot(CoreChatbot):
         
         self._cache_response(query, intent, response)
         
-        plan_context = self._build_plan_context(session_metadata)
-        if plan_context:
-            response["plan"] = plan_context
         return response
     
     def _run_slow_path_legal(
@@ -487,6 +427,30 @@ class Chatbot(CoreChatbot):
                 "confidence": route_decision.confidence,
             },
         )
+
+        # Cập nhật metadata wizard đơn giản: nếu đang hỏi người dùng chọn văn bản
+        # thì đánh dấu stage = choose_document; nếu đã trả lời thì stage = answer.
+        if session_id:
+            try:
+                if response.get("clarification") or response.get("type") == "options":
+                    ConversationContext.update_session_metadata(
+                        session_id,
+                        {
+                            "wizard_stage": "choose_document",
+                        },
+                    )
+                else:
+                    ConversationContext.update_session_metadata(
+                        session_id,
+                        {
+                            "wizard_stage": "answer",
+                            "last_answer_type": response.get("intent"),
+                        },
+                    )
+            except Exception:
+                # Không để lỗi metadata làm hỏng luồng trả lời chính
+                pass
+
         logger.info(
             "[LEGAL] Slow path response - source=%s count=%s routing=%s",
             response.get("_source"),