Add chat mode support - natural responses without MCQ format

src/nodes/direct.py

@@ -19,7 +19,7 @@ def direct_answer_node(state: GraphState) -> dict:
     
     llm = get_large_model()
     
-    system_prompt = load_prompt("direct_answer.j2", "system")
+    system_prompt = load_prompt("direct_answer.j2", "system", choices=choices_text)
     user_prompt = load_prompt("direct_answer.j2", "user", question=state["question"], choices=choices_text)
     
     # Escape curly braces to prevent LangChain from parsing them as variables
@@ -37,6 +37,11 @@ def direct_answer_node(state: GraphState) -> dict:
     content = response.content.strip()
     print_log(f"        [Direct] Reasoning: {content}...")
 
+    # Chat mode: return raw response without answer extraction
+    if not all_choices:
+        print_log("        [Direct] Chat mode - returning natural response")
+        return {"answer": "", "raw_response": content}
+
     answer = extract_answer(content, num_choices=len(all_choices) or 4)
     print_log(f"        [Direct] Final Answer: {answer}")
     return {"answer": answer, "raw_response": content}

src/nodes/logic.py

@@ -110,8 +110,9 @@ def logic_solver_node(state: GraphState) -> dict:
     all_choices = state["all_choices"]
     num_choices = len(all_choices)
     choices_text = format_choices(all_choices)
+    is_chat_mode = num_choices == 0  # Chat mode when no choices
 
-    system_prompt = load_prompt("logic_solver.j2", "system")
+    system_prompt = load_prompt("logic_solver.j2", "system", choices=choices_text)
     user_prompt = load_prompt("logic_solver.j2", "user", question=state["question"], choices=choices_text)
 
     messages: list[BaseMessage] = [
@@ -122,6 +123,13 @@ def logic_solver_node(state: GraphState) -> dict:
     step_texts: list[str] = []
     computed_outputs: list[str] = []
 
+    # Chat mode: just invoke LLM and return natural response
+    if is_chat_mode:
+        print_log("        [Logic] Chat mode detected - returning natural response")
+        response = llm.invoke(messages)
+        content = response.content
+        return {"answer": "", "raw_response": content, "route": "math"}
+
     max_steps = 5
     for step in range(max_steps):
         response = llm.invoke(messages)

src/nodes/rag.py

@@ -1,141 +1,17 @@
-"""RAG node for knowledge-based question answering with Retrieve & Rerank."""
+"""RAG node - Disabled in production (no vector database)."""
 
-import re
-
-from langchain_core.prompts import ChatPromptTemplate
-
-from src.config import settings
-from src.data_processing.answer import extract_answer
-from src.data_processing.formatting import format_choices
 from src.state import GraphState
-from src.utils.ingestion import get_vector_store
-from src.utils.llm import get_small_model
 from src.utils.logging import print_log
-from src.utils.prompts import load_prompt
-from src.nodes.direct import direct_answer_node
-
-
-def _rerank_documents(query: str, docs: list, top_k: int = 3) -> list:
-    """Rerank retrieved documents using the small LLM.
-    
-    Args:
-        query: The user question
-        docs: List of retrieved documents
-        top_k: Number of top documents to return after reranking
-    
-    Returns:
-        List of reranked documents (top_k most relevant)
-    """
-    if len(docs) <= top_k:
-        return docs
-    
-    llm = get_small_model()
-    
-    # Build document list for reranking prompt
-    doc_list = ""
-    for i, doc in enumerate(docs):
-        content_preview = doc.page_content[:350].replace("\n", " ")
-        doc_list += f"[{i}] {content_preview}...\n\n"
-    
-    rerank_system = (
-        "/no_think\n"
-        "Bạn là chuyên gia đánh giá độ liên quan của văn bản. "
-        "Nhiệm vụ: Chọn ra các đoạn văn bản LIÊN QUAN NHẤT với câu hỏi.\n"
-        "Chỉ trả về danh sách các số ID (ví dụ: 0, 3, 5), không giải thích."
-    )
-    
-    rerank_user = (
-        f"Câu hỏi: {query}\n\n"
-        f"Các đoạn văn bản:\n{doc_list}\n"
-        f"Hãy chọn {top_k} đoạn văn bản LIÊN QUAN NHẤT với câu hỏi. "
-        f"Trả về danh sách ID (số từ 0 đến {len(docs)-1}), cách nhau bởi dấu phẩy."
-    )
-    
-    prompt = ChatPromptTemplate.from_messages([
-        ("system", rerank_system),
-        ("human", rerank_user),
-    ])
-    
-    try:
-        chain = prompt | llm
-        response = chain.invoke({})
-        content = response.content.strip()
-        print_log(f"        [RAG] Reranker response: {content}")
-        
-        # Parse selected IDs from response
-        selected_ids = []
-        numbers = re.findall(r'\d+', content)
-        for num_str in numbers:
-            idx = int(num_str)
-            if 0 <= idx < len(docs) and idx not in selected_ids:
-                selected_ids.append(idx)
-                if len(selected_ids) >= top_k:
-                    break
-        
-        if selected_ids:
-            reranked = [docs[i] for i in selected_ids]
-            print_log(f"        [RAG] Reranked: selected {len(reranked)} docs from {len(docs)}")
-            return reranked
-        
-        print_log("        [RAG] Rerank parsing failed, using first top_k docs")
-        return docs[:top_k]
-        
-    except Exception as e:
-        print_log(f"        [RAG] Reranking failed: {e}. Using keyword boosting fallback.")
-        return docs[:top_k]
-
 
 
 def knowledge_rag_node(state: GraphState) -> dict:
-    """Retrieve relevant context, rerank, and answer knowledge-based questions."""
-    vector_store = get_vector_store()
-    query = state["question"]
-    print_log(f"        [RAG] Retrieving context for: '{query}'")
-
-    docs = vector_store.similarity_search(query, k=settings.top_k_retrieval)
-    print_log(f"        [RAG] Retrieved {len(docs)} documents")
-
-    if not docs:
-        print_log("        [Warning] No relevant documents found in Knowledge Base.")
-        context = ""
-    else:
-        reranked_docs = _rerank_documents(query, docs, top_k=settings.top_k_rerank)
-        
-        context = "\n\n---\n\n".join([doc.page_content for doc in reranked_docs])
-        
-        if reranked_docs:
-            print_log(f"        [RAG] Using {len(reranked_docs)} reranked docs. Top: \"{reranked_docs[0].page_content[:80]}...\"")
-
-    all_choices = state["all_choices"]
-    choices_text = format_choices(all_choices)
-
-    llm = get_small_model()
-    
-    system_prompt = load_prompt("rag.j2", "system", context=context)
-    user_prompt = load_prompt("rag.j2", "user", question=state["question"], choices=choices_text)
-    
-    # Escape curly braces to prevent LangChain from parsing them as variables
-    system_prompt = system_prompt.replace("{", "{{").replace("}", "}}")
-    user_prompt = user_prompt.replace("{", "{{").replace("}", "}}")
-    
-    prompt = ChatPromptTemplate.from_messages([
-        ("system", system_prompt),
-        ("human", user_prompt),
-    ])
-
-    chain = prompt | llm
-    response = chain.invoke({})
-    content = response.content.strip()
-    print_log(f"        [RAG] Reasoning: {content}")
-
-    answer = extract_answer(content, num_choices=len(all_choices) or 4)
-    print_log(f"        [RAG] Final Answer: {answer}")
-    
-    # Fallback to direct mode if RAG context was not helpful
-    if answer is None:
-        print_log("        [RAG] Context not relevant, falling back to direct mode...")
-        direct_result = direct_answer_node(state)
-        direct_result["route"] = "rag->direct"  # Track the fallback
-        return direct_result
-    
-    return {"answer": answer, "context": context, "raw_response": content}
+    """
+    RAG node disabled in production (no vector database).
+    This is a placeholder that should never be called due to router changes.
+    """
+    print_log("        [RAG] Disabled in production")
+    return {
+        "context": "",
+        "raw_response": "RAG not available",
+        "answer": "A"
+    }

src/nodes/router.py

@@ -109,4 +109,5 @@ def route_question(state: GraphState) -> Literal["knowledge_rag", "logic_solver"
         return "direct_answer"
     if route == "math":
         return "logic_solver"
-    return "knowledge_rag"
+    # Fallback to logic_solver instead of RAG (no vector DB in production)
+    return "logic_solver"

src/templates/direct_answer.j2

@@ -1,6 +1,7 @@
 {# Direct Answer Node Prompt Templates #}
 {% block system %}
 /no_think
+{% if choices %}
 Bạn là một chuyên gia trả lời câu hỏi trắc nghiệm. Nhiệm vụ của bạn là phân tích và chọn đáp án đúng nhất cho câu hỏi.
 
 NGÔN NGỮ: Toàn bộ suy luận, giải thích PHẢI bằng TIẾNG VIỆT 100%. KHÔNG dùng tiếng Anh.
@@ -11,9 +12,25 @@ Lưu ý:
 - Với câu hỏi về ngày tháng, con số: So sánh chính xác từng ký tự.
 - Nếu câu hỏi yêu cầu tìm từ sai/đúng: Đối chiếu từng phương án với văn bản.
 3. Trả lời bằng: "Đáp án: X" (X là một trong các lựa chọn A, B, C, D, ...).
+{% else %}
+Bạn là VietQA, một trợ lý AI thông minh và thân thiện. Trả lời câu hỏi một cách tự nhiên, hữu ích như ChatGPT hoặc Gemini.
+
+NGÔN NGỮ: Trả lời bằng TIẾNG VIỆT 100%. KHÔNG dùng tiếng Anh.
+
+Hướng dẫn:
+1. Trả lời tự nhiên, thân thiện như đang trò chuyện.
+2. Cung cấp thông tin chính xác, hữu ích.
+3. Nếu không chắc chắn, hãy nói rõ.
+4. KHÔNG format câu trả lời theo dạng trắc nghiệm "Đáp án: X".
+5. Trả lời đầy đủ nhưng súc tích.
+{% endif %}
 {% endblock %}
 
 {% block user %}
+{% if choices %}
 Câu hỏi: {{ question }}
 {{ choices }}
+{% else %}
+{{ question }}
+{% endif %}
 {% endblock %}

src/templates/logic_solver.j2

@@ -1,6 +1,7 @@
 {# Logic Solver (Code Agent) Prompt Templates #}
 {% block system %}
 /no_think
+{% if choices %}
 Bạn là chuyên gia giải toán và logic. Trả lời NGẮN GỌN, SÚNG TÍCH.
 
 NGÔN NGỮ: Toàn bộ suy luận, giải thích PHẢI bằng TIẾNG VIỆT 100%. KHÔNG dùng tiếng Anh.
@@ -27,11 +28,26 @@ Kết luận: 14 tương ứng đáp án B
 ```
 
 NHẮC LẠI: NGẮN GỌN, SÚNG TÍCH! Chỉ 5-7 dòng! TIẾNG VIỆT 100%!
+{% else %}
+Bạn là VietQA, một trợ lý AI thông minh chuyên về toán học, logic và khoa học. Trả lời câu hỏi một cách tự nhiên và hữu ích.
+
+NGÔN NGỮ: Trả lời bằng TIẾNG VIỆT 100%.
+
+Hướng dẫn:
+1. Giải thích từng bước một cách dễ hiểu.
+2. Có thể dùng công thức, ví dụ minh họa nếu cần.
+3. Trả lời tự nhiên như đang trò chuyện, KHÔNG format dạng trắc nghiệm.
+4. Nếu cần tính toán, hãy tính và đưa ra kết quả.
+{% endif %}
 {% endblock %}
 
 {% block user %}
+{% if choices %}
 {{ question }}
 {{ choices }}
 
 Suy luận ngắn gọn:
+{% else %}
+{{ question }}
+{% endif %}
 {% endblock %}

src/templates/rag.j2

@@ -1,6 +1,7 @@
 {# RAG Node Prompt Templates #}
 {% block system %}
 /no_think
+{% if choices %}
 Bạn là một chuyên gia phân tích thông tin và đọc hiểu văn bản chính xác tuyệt đối.
 Nhiệm vụ: Trả lời câu hỏi trắc nghiệm CHỈ dựa trên thông tin trong phần Văn bản được cung cấp bên dưới.
 
@@ -17,9 +18,27 @@ Quy tắc bắt buộc:
 - Nếu văn bản KHÔNG chứa câu trả lời trực tiếp: Sử dụng phương pháp loại trừ các đáp án sai để chọn đáp án phù hợp và
 đúng nhất.
 4. Trả lời cuối cùng theo định dạng: "Đáp án: X" (trong đó X là ký tự lựa chọn). Ví dụ: "Đáp án: A"
+{% else %}
+Bạn là VietQA, một trợ lý AI thông minh. Trả lời câu hỏi dựa trên thông tin trong Văn bản được cung cấp.
+
+NGÔN NGỮ: Trả lời bằng TIẾNG VIỆT 100%.
+
+Văn bản tham khảo:
+{{ context }}
+
+Hướng dẫn:
+1. Sử dụng thông tin từ văn bản để trả lời.
+2. Trả lời tự nhiên, thân thiện như đang trò chuyện.
+3. Nếu văn bản không có thông tin liên quan, hãy nói rõ và cố gắng trả lời dựa trên kiến thức chung.
+4. KHÔNG format câu trả lời theo dạng trắc nghiệm.
+{% endif %}
 {% endblock %}
 
 {% block user %}
+{% if choices %}
 Câu hỏi: {{ question }}
 {{ choices }}
+{% else %}
+{{ question }}
+{% endif %}
 {% endblock %}