Upload backend/hue_portal/chatbot/chatbot.py with huggingface_hub

backend/hue_portal/chatbot/chatbot.py

@@ -13,7 +13,7 @@ from hue_portal.core.chatbot import Chatbot as CoreChatbot, get_chatbot as get_c
 from hue_portal.chatbot.router import decide_route, IntentRoute, RouteDecision, DOCUMENT_CODE_PATTERNS
 from hue_portal.chatbot.context_manager import ConversationContext
 from hue_portal.chatbot.llm_integration import LLMGenerator
-from hue_portal.core.models import LegalSection
+from hue_portal.core.models import LegalSection, LegalDocument
 from hue_portal.chatbot.exact_match_cache import ExactMatchCache
 from hue_portal.chatbot.slow_path_handler import SlowPathHandler
 
@@ -172,33 +172,118 @@ class Chatbot(CoreChatbot):
         # - Nếu user chưa chọn và không có mã trong query → bật wizard để user chọn
         # - Nếu có mã trong query → không bật wizard, đi thẳng vào slow_path
         if intent == "search_legal" and not selected_doc_code and not has_doc_code_in_query:
-            print("[WIZARD] ✅ Chatbot layer wizard triggered, returning options")
+            print("[WIZARD] ✅ Chatbot layer wizard triggered, using AI to generate options")
+            # Load canonical documents từ DB
+            canonical_candidates = []
+            try:
+                canonical_docs = list(
+                    LegalDocument.objects.filter(
+                        code__in=["264-QD-TW", "QD-69-TW", "TT-02-CAND"]
+                    )
+                )
+                for doc in canonical_docs:
+                    summary = getattr(doc, "summary", "") or ""
+                    metadata = getattr(doc, "metadata", {}) or {}
+                    if not summary and isinstance(metadata, dict):
+                        summary = metadata.get("summary", "")
+                    canonical_candidates.append(
+                        {
+                            "code": doc.code,
+                            "title": getattr(doc, "title", "") or doc.code,
+                            "summary": summary,
+                            "doc_type": getattr(doc, "doc_type", "") or "",
+                            "section_title": "",
+                        }
+                    )
+            except Exception as exc:
+                logger.warning("[WIZARD] Failed to load canonical documents: %s", exc)
+            
+            # Fallback nếu không load được từ DB
+            if not canonical_candidates:
+                canonical_candidates = [
+                    {
+                        "code": "264-QD-TW",
+                        "title": "Quyết định 264-QĐ/TW về kỷ luật đảng viên",
+                        "summary": "Quy định chung về xử lý kỷ luật đối với đảng viên vi phạm.",
+                        "doc_type": "",
+                        "section_title": "",
+                    },
+                    {
+                        "code": "QD-69-TW",
+                        "title": "Quy định 69-QĐ/TW về kỷ luật tổ chức đảng, đảng viên",
+                        "summary": "Quy định chi tiết về các hành vi vi phạm và hình thức kỷ luật.",
+                        "doc_type": "",
+                        "section_title": "",
+                    },
+                    {
+                        "code": "TT-02-CAND",
+                        "title": "Thông tư 02/2021/TT-BCA về điều lệnh CAND",
+                        "summary": "Quy định về điều lệnh, lễ tiết, tác phong trong CAND.",
+                        "doc_type": "",
+                        "section_title": "",
+                    },
+                ]
+            
+            # Dùng LLM để đề xuất options dựa trên câu hỏi
+            clarification_options = []
             intro_message = (
                 "Tôi tìm thấy một số nhóm văn bản có thể liên quan đến câu hỏi của bạn.\n\n"
                 "Bạn hãy chọn văn bản muốn tra cứu trước, sau đó tôi sẽ trả lời chi tiết hơn:"
             )
-            clarification_options = [
-                {
-                    "code": "264-QD-TW",
-                    "title": "Quyết định 264-QĐ/TW về kỷ luật đảng viên",
-                    "reason": "Quy định chung về xử lý kỷ luật đối với đảng viên vi phạm.",
-                },
-                {
-                    "code": "QD-69-TW",
-                    "title": "Quy định 69-QĐ/TW về kỷ luật tổ chức đảng, đảng viên",
-                    "reason": "Quy định chi tiết về các hành vi vi phạm và hình thức kỷ luật.",
-                },
-                {
-                    "code": "TT-02-CAND",
-                    "title": "Thông tư 02/2021/TT-BCA về điều lệnh CAND",
-                    "reason": "Quy định về điều lệnh, lễ tiết, tác phong trong CAND.",
-                },
-                {
-                    "code": "__other__",
-                    "title": "Khác",
-                    "reason": "Tôi muốn hỏi văn bản hoặc ch�� đề pháp luật khác.",
-                },
-            ]
+            
+            if self.llm_generator:
+                try:
+                    llm_payload = self.llm_generator.suggest_clarification_topics(
+                        query,
+                        canonical_candidates,
+                        max_options=3,
+                    )
+                    if llm_payload:
+                        intro_message = llm_payload.get("message") or intro_message
+                        raw_options = llm_payload.get("options")
+                        if isinstance(raw_options, list) and len(raw_options) > 0:
+                            clarification_options = [
+                                {
+                                    "code": (opt.get("code") or candidate.get("code", "")).upper(),
+                                    "title": opt.get("title") or opt.get("document_title") or candidate.get("title", ""),
+                                    "reason": opt.get("reason")
+                                    or opt.get("summary")
+                                    or candidate.get("summary")
+                                    or candidate.get("section_title")
+                                    or "",
+                                }
+                                for opt, candidate in zip(
+                                    raw_options,
+                                    canonical_candidates[: len(raw_options)],
+                                )
+                                if (opt.get("code") or candidate.get("code"))
+                                and (opt.get("title") or opt.get("document_title") or candidate.get("title"))
+                            ]
+                            print(f"[WIZARD] ✅ LLM generated {len(clarification_options)} options")
+                except Exception as exc:
+                    logger.warning("[WIZARD] LLM suggestion failed: %s, using fallback", exc)
+            
+            # Fallback nếu LLM không trả về options hợp lệ
+            if not clarification_options:
+                clarification_options = [
+                    {
+                        "code": candidate["code"].upper(),
+                        "title": candidate["title"],
+                        "reason": candidate.get("summary") or candidate.get("section_title") or "",
+                    }
+                    for candidate in canonical_candidates[:3]
+                ]
+                print("[WIZARD] Using fallback options (LLM unavailable or failed)")
+            
+            # Thêm option "Khác" nếu chưa có
+            if not any(opt.get("code") == "__other__" for opt in clarification_options):
+                clarification_options.append(
+                    {
+                        "code": "__other__",
+                        "title": "Khác",
+                        "reason": "Tôi muốn hỏi văn bản hoặc chủ đề pháp luật khác.",
+                    }
+                )
             response = {
                 "message": intro_message,
                 "intent": intent,