fix data update

app/constants.py

@@ -1,34 +1,114 @@
 VEHICLE_KEYWORDS = [
-    "ô tô tải", "xe tải",
-    "ô tô", "xe khách", "ô tô khách",
-    "mô tô", "xe máy điện", "xe máy", "xe gắn máy",
-    "máy kéo", "xe chuyên dùng",
-    "xe đạp máy", "xe đạp điện", "xe thô sơ", "xích lô", "xe bò", "súc vật kéo", "xe đạp",
-    "đi bộ"
-]
+    # Ô tô các loại
+    "ô tô", "xe ô tô", "xe hơi", "xe con", "xe bốn bánh", "xe 4 bánh",
+    "xe du lịch", "xe taxi", "xe khách", "ô tô khách", "xe buýt", "xe bus",
+    "ô tô tải", "xe tải", "xe ben", "xe container", "xe đông lạnh", "xe cầu", "xe cứu thương", "xe cứu hỏa",
 
-SHEET_RANGE = 'chat!A2:L'
-EMBEDDING_DIM = 1536
+    # Xe máy, mô tô
+    "mô tô", "xe mô tô", "xe máy", "xe gắn máy", "xe hai bánh", "xe máy điện", "xe tay ga", "xe số", "xe côn",
+    "xe phân khối lớn", "phân khối lớn", "PKL",
+
+    # Xe đạp, các loại xe thô sơ
+    "xe đạp", "xe đạp máy", "xe đạp điện", "xe thô sơ", "xe ba gác", "ba gác", "xe lam", "xích lô", "xe kéo", "xe bò", 
+    "xe súc vật kéo", "súc vật kéo",
+
+    # Máy kéo và xe chuyên dùng
+    "máy kéo", "xe máy kéo", "xe công nông", "xe chuyên dùng", "xe lu", "xe ủi", "xe xúc", "xe nâng",
 
+    # Các cách gọi dân dã, địa phương
+    "xe honda",  # phổ biến ở miền Nam để chỉ xe máy
+    "xe dream", "xe cub", "xe wave",  # gọi theo hãng/model nhưng hay dùng để chỉ xe máy nói chung
+
+    # Người đi bộ
+    "đi bộ", "người đi bộ", "bộ hành"
+]
 # Mapping từ từ khóa sang tên cột trong bảng tblPhuongtien
 VEHICLE_KEYWORD_TO_COLUMN = {
-    "ô tô tải": "otoTai",
-    "xe tải": "otoTai",
+    # Ô tô & các biến thể
     "ô tô": "oto",
+    "xe ô tô": "oto",
+    "xe hơi": "oto",
+    "xe con": "oto",
+    "xe bốn bánh": "oto",
+    "xe 4 bánh": "oto",
+    "xe du lịch": "oto",
+    "xe taxi": "oto",
     "xe khách": "oto",
     "ô tô khách": "oto",
+    "xe buýt": "oto",
+    "xe bus": "oto",
+
+    # Ô tô tải
+    "ô tô tải": "otoTai",
+    "xe tải": "otoTai",
+    "xe ben": "otoTai",
+    "xe container": "otoTai",
+    "xe đông lạnh": "otoTai",
+    "xe cầu": "otoTai",
+    "xe cứu thương": "otoTai",
+    "xe cứu hỏa": "otoTai",
+
+    # Máy kéo
+    "máy kéo": "maykeo",
+    "xe máy kéo": "maykeo",
+    "xe công nông": "maykeo",
+
+    # Xe chuyên dùng
+    "xe chuyên dùng": "xechuyendung",
+    "xe lu": "xechuyendung",
+    "xe ủi": "xechuyendung",
+    "xe xúc": "xechuyendung",
+    "xe nâng": "xechuyendung",
+
+    # Mô tô
     "mô tô": "moto",
+    "xe mô tô": "moto",
+    "xe máy": "moto",
+    "xe tay ga": "moto",
+    "xe số": "moto",
+    "xe côn": "moto",
+    "xe phân khối lớn": "moto",
+    "phân khối lớn": "moto",
+    "PKL": "moto",
+    "xe honda": "moto",     # dân dã
+    "xe dream": "moto",
+    "xe cub": "moto",
+    "xe wave": "moto",
+
+    # Xe máy điện
     "xe máy điện": "xemaydien",
-    "xe máy": "xeganmay",
+
+    # Xe gắn máy
     "xe gắn máy": "xeganmay",
-    "máy kéo": "maykeo",
-    "xe chuyên dùng": "xechuyendung",
-    "xe đạp máy": "xedapmay",
+    "xe đạp máy": "xeganmay",
+
+    # Xe đạp
+    "xe đạp": "xedap",
+
+    # Xe đạp điện
     "xe đạp điện": "xedapdien",
+
+    # Xe thô sơ
     "xe thô sơ": "xethoso",
+    "xe ba gác": "xethoso",
+    "ba gác": "xethoso",
+    "xe lam": "xethoso",
+
+    # Xích lô
     "xích lô": "xichlo",
+
+    # Súc vật kéo
     "xe bò": "sucvat",
+    "xe súc vật kéo": "sucvat",
     "súc vật kéo": "sucvat",
-    "xe đạp": "xedap",
-    "đi bộ": "dibo"
-} 
+    "xe kéo": "sucvat",
+
+    # Đi bộ
+    "đi bộ": "dibo",
+    "người đi bộ": "dibo",
+    "bộ hành": "dibo"
+}
+
+
+SHEET_RANGE = 'chat!A2:L'
+EMBEDDING_DIM = 1536

app/llm.py

@@ -431,15 +431,17 @@ class LLMClient:
         """
                 
         prompt = f"""
-            Bạn là một AI chuyên phân tích ngữ nghĩa câu hỏi về giao thông đường bộ. 
-            Với mỗi câu đầu vào, hãy trích xuất 3 thông tin sau và trả lời đúng định dạng JSON:
-            {{
+            Bạn là một AI chuyên phân tích ngữ nghĩa câu hỏi về luật giao thông. Với mỗi câu đầu vào, hãy trích xuất các thông tin sau dưới dạng JSON:
+
+            {
                 "muc_dich": "mục đích của câu hỏi",
                 "phuong_tien": "loại phương tiện giao thông (nếu có)",
-                "hanh_vi_vi_pham": "hành vi vi phạm luật giao thông"
-            }}
+                "hanh_vi_vi_pham": "hành vi vi phạm pháp luật giao thông"
+            }
+
+            Nếu một trường không có trong câu hỏi, hãy để giá trị là chuỗi rỗng "". Ví dụ: nếu câu không đề cập phương tiện, thì "phuong_tien": ""
 
-            Câu bạn cần phân tích:
+            Câu hỏi:
             \"{text}\"
             """.strip()
         

app/main.py

@@ -7,6 +7,7 @@ import asyncio
 from concurrent.futures import ThreadPoolExecutor
 import os
 import traceback
+import difflib
 
 from .config import Settings, get_settings
 from .facebook import FacebookClient
@@ -85,6 +86,21 @@ def flatten_timestamp(ts):
             flat.append(t)
     return flat
 
+def normalize_vehicle_keyword(keyword: str) -> str:
+    """
+    Chuẩn hoá giá trị phương tiện về đúng từ khoá gần nhất trong VEHICLE_KEYWORDS.
+    Nếu không khớp, trả về keyword gốc.
+    """
+    if not keyword:
+        return ""
+    matches = difflib.get_close_matches(keyword.lower(), [k.lower() for k in VEHICLE_KEYWORDS], n=1, cutoff=0.6)
+    if matches:
+        # Trả về đúng case trong VEHICLE_KEYWORDS
+        for k in VEHICLE_KEYWORDS:
+            if k.lower() == matches[0]:
+                return k
+    return keyword
+
 @app.get("/")
 async def root():
     """Endpoint root để kiểm tra trạng thái app."""
@@ -278,11 +294,11 @@ async def process_message(message_data: Dict[str, Any]):
     muc_dich = None
     hanh_vi_vi_pham = None
     if isinstance(llm_analysis, dict):
-        keywords = [llm_analysis.get('phuong_tien', '').lower()]
+        keywords = [normalize_vehicle_keyword(llm_analysis.get('phuong_tien', ''))]
         muc_dich = llm_analysis.get('muc_dich')
         hanh_vi_vi_pham = llm_analysis.get('hanh_vi_vi_pham')
     elif isinstance(llm_analysis, list) and len(llm_analysis) > 0:
-        keywords = [llm_analysis[0].get('phuong_tien', '').lower()]
+        keywords = [normalize_vehicle_keyword(llm_analysis[0].get('phuong_tien', ''))]
         muc_dich = llm_analysis[0].get('muc_dich')
         hanh_vi_vi_pham = llm_analysis[0].get('hanh_vi_vi_pham')
     else: