update new hybrid match_documents

app/constants.py

@@ -109,6 +109,18 @@ VEHICLE_KEYWORD_TO_COLUMN = {
     "bộ hành": "dibo"
 }
 
+# 1. Định nghĩa danh sách stop words của riêng bạn
+# Bạn có thể thêm/bớt các từ trong danh sách này tùy ý
+VIETNAMESE_STOP_WORDS = {
+    "bị", "bởi", "cả", "các", "cái", "cần", "càng", "chỉ", "chiếc", "cho",
+    "chứ", "chưa", "có", "có thể", "cứ", "cùng", "cũng", "đã", "đang", "để",
+    "do", "đó", "được", "gì", "khi", "không", "là", "lại", "lên", "lúc",
+    "mà", "mỗi", "một", "nên", "nếu", "ngay", "như", "nhưng", "những",
+    "nơi", "nữa", "phải", "qua", "ra", "rằng", "rất", "rồi", "sau", "sẽ",
+    "thì", "trên", "trước", "từ", "từng", "và", "vẫn", "vào", "vậy", "về",
+    "vì", "việc", "với", "xong", "phạt", "xử", "xe"
+    # ... thêm các từ khác bạn muốn loại bỏ
+}
 
 SHEET_RANGE = 'chat!A2:L'
 EMBEDDING_DIM = 1536

app/supabase_db.py

@@ -4,7 +4,7 @@ from supabase.client import create_client, Client
 from loguru import logger
 
 from .utils import timing_decorator_sync
-from .constants import VEHICLE_KEYWORD_TO_COLUMN
+from .constants import VEHICLE_KEYWORD_TO_COLUMN, VIETNAMESE_STOP_WORDS
 
 class SupabaseClient:
     def __init__(self, url: str, key: str):
@@ -41,7 +41,17 @@ class SupabaseClient:
 
         # Chuẩn bị chuỗi truy vấn trong Python
         # Tách từ và nối bằng '|'
-        or_query_tsquery = " | ".join(user_question.split())
+
+        """
+        Xử lý câu hỏi thô: tách từ, loại bỏ stop words,
+        và trả về chuỗi text sạch để truyền vào RPC.
+        """
+        # Tách câu hỏi thành các từ (chuyển về chữ thường)
+        words = user_question.lower().split()
+
+        # Lọc bỏ các từ có trong danh sách stop words và nối thành chuỗi với dấu cách
+        or_query_tsquery = " ".join([word for word in words if word not in VIETNAMESE_STOP_WORDS])
+        logger.info(f"[DEBUG][RPC]: or_query_tsquery: {or_query_tsquery}")
 
         try:
             payload = {