a

rag_pipeline.py

@@ -82,13 +82,13 @@ def initialize_components(data_path):
 
 def generate_response(query: str, components: dict) -> str:
     """
-    Tạo câu trả lời (single-turn).
-    Phiên bản đơn giản hóa, không có logic vehicle_type.
+    Tạo câu trả lời (single-turn) bằng cách sử dụng các thành phần đã được khởi tạo.
+    Phiên bản cuối cùng, sửa lỗi ValueError cho mô hình Vision bằng cách
+    sử dụng apply_chat_template để tokenization trực tiếp.
     """
     print("--- Bắt đầu quy trình RAG cho query mới ---")
     
-    # === THAY ĐỔI 1: Chỉ nhận 1 giá trị trả về ===
-    # 1. Truy xuất ngữ cảnh
+    # --- Bước 1: Truy xuất Ngữ cảnh ---
     retrieved_results = search_relevant_laws(
         query_text=query,
         embedding_model=components["embedding_model"],
@@ -99,25 +99,24 @@ def generate_response(query: str, components: dict) -> str:
         initial_k_multiplier=15
     )
 
-    # === THAY ĐỔI 2: Loại bỏ logic vehicle_type trong context ===
-    # 2. Định dạng Context
+    # --- Bước 2: Định dạng Ngữ cảnh ---
     if not retrieved_results:
         context = "Không tìm thấy thông tin luật liên quan trong cơ sở dữ liệu."
     else:
         context_parts = []
         for i, res in enumerate(retrieved_results):
             metadata = res.get('metadata', {})
-            # Tạo header đơn giản, không có gợi ý
             header = f"Trích dẫn {i+1}: Điều {metadata.get('article', 'N/A')}, Khoản {metadata.get('clause_number', 'N/A')} (Nguồn: {metadata.get('source_document', 'N/A')})"
             text = res.get('text', '*Nội dung không có*')
             context_parts.append(f"{header}\n{text}")
         context = "\n\n---\n\n".join(context_parts)
 
-    # 3. Xây dựng Prompt bằng Chat Template (giữ nguyên logic tương thích Vision)
-    print("--- Xây dựng prompt bằng chat template ---")
+    # --- Bước 3: Chuẩn bị Dữ liệu và Tokenize bằng Chat Template (Phần sửa lỗi cốt lõi) ---
+    print("--- Chuẩn bị và tokenize prompt bằng chat template ---")
     llm_model = components["llm_model"]
     tokenizer = components["tokenizer"]
     
+    # Tạo cấu trúc tin nhắn theo chuẩn
     messages = [
         {
             "role": "system",
@@ -136,13 +135,17 @@ def generate_response(query: str, components: dict) -> str:
         }
     ]
     
-    prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-
-    # 4. Tạo câu trả lời từ LLM
+    # SỬA LỖI: Dùng apply_chat_template để tokenize trực tiếp
+    # Nó sẽ tự động định dạng và chuyển thành tensor, tương thích với mô hình Vision
+    inputs = tokenizer.apply_chat_template(
+        messages,
+        return_tensors="pt",
+        add_generation_prompt=True,
+    ).to(llm_model.device)
+
+    # --- Bước 4: Tạo câu trả lời từ LLM ---
     print("--- Bắt đầu tạo câu trả lời từ LLM ---")
     
-    inputs = tokenizer([prompt], return_tensors="pt").to(llm_model.device)
-
     generation_config = dict(
         max_new_tokens=256,
         temperature=0.1,
@@ -151,8 +154,10 @@ def generate_response(query: str, components: dict) -> str:
         pad_token_id=tokenizer.eos_token_id
     )
     
-    output_ids = llm_model.generate(**inputs, **generation_config)
-    response_text = tokenizer.decode(output_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
+    output_ids = llm_model.generate(inputs, **generation_config)
+    
+    # Decode như cũ, nhưng đầu vào là `inputs` thay vì `inputs.input_ids`
+    response_text = tokenizer.decode(output_ids[0][inputs.shape[1]:], skip_special_tokens=True)
 
     print("--- Tạo câu trả lời hoàn tất ---")
     return response_text