update message flow

app/constants.py

@@ -191,4 +191,4 @@ FOUND_REGULATIONS_MESSAGES = [
     "Thông tin đang được mình kiểm tra lại lần cuối, mình sẽ cập nhật sớm nhất nhé."
 ]
 
-SHEET_RANGE = 'chat!A2:L'
+SHEET_RANGE = 'chat!A2:M'

app/llm.py

@@ -408,17 +408,19 @@ class LLMClient:
         """
                 
         prompt = f"""
-            Bạn là một AI chuyên phân tích ngữ nghĩa câu hỏi về luật giao thông. Với mỗi câu đầu vào, hãy trích xuất các thông tin sau dưới dạng JSON:
-
+            Nhiệm vụ: Với mỗi câu hỏi, trích xuất thông tin ra JSON theo định dạng và hướng dẫn sau. Chỉ trả về đối tượng JSON.
+            Định dạng:
             {{
-                "muc_dich": "mục đích của câu hỏi, chỉ chọn một trong các giá trị: "hỏi về mức phạt", "hỏi về quy tắc giao thông", "hỏi về báo hiệu đường bộ", "hỏi về quy trình xử lý vi phạm giao thông", "thông tin cá nhân của AI", 'khác'",
-                "phuong_tien": "loại phương tiện giao thông (xe máy, ô tô, xe tải, người đi bộ...)",
-                "hanh_vi_vi_pham": "hành vi vi phạm pháp luật giao thông"
+                "muc_dich": "...",
+                "phuong_tien": "...",
+                "hanh_vi": "...",
+                "cau_hoi": "..."
             }}
-
-            Nếu một trường không có trong câu hỏi, hãy để giá trị là chuỗi rỗng "". Ví dụ: nếu câu không đề cập phương tiện, thì "phuong_tien": "".
-
-            Lưu ý: Trả về đúng format JSON, và giá trị của "muc_dich" chỉ được chọn một trong các giá trị sau: "hỏi về mức phạt", "hỏi về quy tắc giao thông", "hỏi về báo hiệu đường bộ", "hỏi về quy trình xử lý vi phạm giao thông", "thông tin cá nhân của AI", "khác".
+            Hướng dẫn:
+            - "cau_hoi": Diễn đạt lại nội dung câu hỏi bằng thuật ngữ pháp lý chuẩn.
+            - "hanh_vi": Tóm tắt hành vi được mô tả trong câu hỏi
+            - "phuong_tien": Để là chuỗi rỗng "" nếu không được đề cập.
+            - "muc_dich": Phải là một trong các giá trị sau: "hỏi về mức phạt", "hỏi về quy tắc giao thông", "hỏi về báo hiệu đường bộ", "hỏi về quy trình xử lý vi phạm giao thông", "thông tin cá nhân của AI", "khác".
 
             Câu hỏi:
             \"{text}\"

app/main.py

@@ -59,8 +59,6 @@ supabase_client = SupabaseClient(settings.supabase_url, settings.supabase_key)
 logger.info("[STARTUP] Khởi tạo EmbeddingClient...")
 embedding_client = EmbeddingClient()
 
-# Keywords to look for in messages
-VEHICLE_KEYWORDS = ["xe máy", "ô tô", "xe đạp", "xe hơi"]
 
 # Khởi tạo LLM client (ví dụ dùng HFS, bạn có thể đổi provider tuỳ ý)
 # llm_client = create_llm_client(

app/message_processor.py

@@ -1,4 +1,4 @@
-from typing import Dict, Any, List
+from typing import Dict, Any, List, Optional
 import asyncio
 import traceback
 from loguru import logger
@@ -7,6 +7,7 @@ from .utils import get_random_message
 from .facebook import FacebookClient
 from app.config import get_settings
 import re
+import json
 
 class MessageProcessor:
     def __init__(self, channel, sender_id):
@@ -63,6 +64,7 @@ class MessageProcessor:
             'originalvehicle': '',
             'originalaction': '',
             'originalpurpose': '',
+            'originalquestion': '',
             'timestamp': [timestamp],
             'isdone': False
         }
@@ -94,6 +96,7 @@ class MessageProcessor:
                     'originalvehicle': row.get('originalvehicle'),
                     'originalaction': row.get('originalaction'),
                     'originalpurpose': row.get('originalpurpose'),
+                    'originalquestion': row.get('originalquestion'),
                     'timestamp': row_timestamps,
                     'isdone': row.get('isdone')
                 }
@@ -146,22 +149,25 @@ class MessageProcessor:
         llm_analysis = await self.channel.llm.analyze(message_text)
         logger.info(f"[LLM][RAW] Kết quả trả về từ analyze: {llm_analysis}")
         muc_dich = None
-        hanh_vi_vi_pham = None
+        hanh_vi = None
+        cau_hoi = None
         if isinstance(llm_analysis, dict):
             keywords = [self.normalize_vehicle_keyword(llm_analysis.get('phuong_tien', ''))]
             muc_dich = llm_analysis.get('muc_dich')
-            hanh_vi_vi_pham = llm_analysis.get('hanh_vi_vi_pham')
+            hanh_vi = llm_analysis.get('hanh_vi')
+            cau_hoi = llm_analysis.get('cau_hoi')
         elif isinstance(llm_analysis, list) and len(llm_analysis) > 0:
             keywords = [self.normalize_vehicle_keyword(llm_analysis[0].get('phuong_tien', ''))]
             muc_dich = llm_analysis[0].get('muc_dich')
-            hanh_vi_vi_pham = llm_analysis[0].get('hanh_vi_vi_pham')
+            hanh_vi = llm_analysis[0].get('hanh_vi')
+            cau_hoi = llm_analysis[0].get('cau_hoi')
         else:
             keywords = extract_keywords(message_text, VEHICLE_KEYWORDS)
-            hanh_vi_vi_pham = message_text
+            cau_hoi = message_text
             for kw in keywords:
-                hanh_vi_vi_pham = hanh_vi_vi_pham.replace(kw, "")
-            hanh_vi_vi_pham = hanh_vi_vi_pham.strip()
-        logger.info(f"[DEBUG] Phương tiện: {keywords} - Hành vi: {hanh_vi_vi_pham} - Mục đích: {muc_dich}")
+                cau_hoi = cau_hoi.replace(kw, "")
+            cau_hoi = cau_hoi.strip()
+        logger.info(f"[DEBUG] Phương tiện: {keywords} - Hành vi: {hanh_vi} - Mục đích: {muc_dich} - Câu hỏi: {cau_hoi}")
         # await self.channel.facebook.send_message(message=f"... đang tìm kiếm quy định liên quan đến {hanh_vi_vi_pham} .....")
         # 4. Update lại conversation với thông tin đầy đủ
         update_kwargs = {
@@ -173,8 +179,9 @@ class MessageProcessor:
             'originalcontent': remaining_text,
             'originalattachments': attachments,
             'originalvehicle': ','.join(keywords),
-            'originalaction': hanh_vi_vi_pham,
+            'originalaction': hanh_vi,
             'originalpurpose': muc_dich,
+            'originalquestion': cau_hoi or "",
             'timestamp': self.flatten_timestamp(conv['timestamp']),
             'isdone': False
         }
@@ -323,18 +330,20 @@ class MessageProcessor:
             if not top or (match.get('similarity', 0) > top.get('similarity', 0)):
                 top = match
             full_result_text += f"\n{(match.get('structure') or '').strip()}:\n"
-            tieude = (match.get('tieude') or '').strip()
-            noidung = (match.get('noidung') or '').strip()
-            hanhvi = (tieude + "\n" + noidung).strip().replace('\n', ' ')
-            full_result_text += f"Thực hiện hành vi:\n{hanhvi}"
-            canhantu = arr_to_str(match.get('canhantu'))
-            canhanden = arr_to_str(match.get('canhanden'))
-            if canhantu or canhanden:
-                full_result_text += f"\nCá nhân sẽ bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ"
-            tochuctu = arr_to_str(match.get('tochuctu'))
-            tochucden = arr_to_str(match.get('tochucden'))
-            if tochuctu or tochucden:
-                full_result_text += f"\nTổ chức sẽ bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ"
+            # tieude = (match.get('tieude') or '').strip()
+            # noidung = (match.get('noidung') or '').strip()
+            # hanhvi = (tieude + "\n" + noidung).strip().replace('\n', ' ')
+            # full_result_text += f"Thực hiện hành vi:\n{hanhvi}"
+            # canhantu = arr_to_str(match.get('canhantu'))
+            # canhanden = arr_to_str(match.get('canhanden'))
+            # if canhantu or canhanden:
+            #     full_result_text += f"\nCá nhân sẽ bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ"
+            # tochuctu = arr_to_str(match.get('tochuctu'))
+            # tochucden = arr_to_str(match.get('tochucden'))
+            # if tochuctu or tochucden:
+            #     full_result_text += f"\nTổ chức sẽ bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ"
+            fullContent = (match.get('fullContent') or '').strip()
+            full_result_text += f"{fullContent}"
             hpbsnoidung = arr_to_str(match.get('hpbsnoidung'), sep="; ")
             if hpbsnoidung:
                 full_result_text += f"\nNgoài việc bị phạt tiền, người vi phạm còn bị: {hpbsnoidung}"
@@ -345,18 +354,21 @@ class MessageProcessor:
             if impounding:
                 full_result_text += f"\nTạm giữ phương tiên: 07 ngày"
         if top and (top.get('tieude') or top.get('noidung')):
-            tieude = (top.get('tieude') or '').strip()
-            noidung = (top.get('noidung') or '').strip()
-            hanhvi = (tieude + "\n" + noidung).strip().replace('\n', ' ')
-            top_result_text += f"Thực hiện hành vi:\n{hanhvi}"
-            canhantu = arr_to_str(top.get('canhantu'))
-            canhanden = arr_to_str(top.get('canhanden'))
-            if canhantu or canhanden:
-                top_result_text += f"\nCá nhân sẽ bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ"
-            tochuctu = arr_to_str(top.get('tochuctu'))
-            tochucden = arr_to_str(top.get('tochucden'))
-            if tochuctu or tochucden:
-                top_result_text += f"\nTổ chức sẽ bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ"
+            top_result_text += f"\n{(match.get('structure') or '').strip()}:\n"
+            # tieude = (top.get('tieude') or '').strip()
+            # noidung = (top.get('noidung') or '').strip()
+            # hanhvi = (tieude + "\n" + noidung).strip().replace('\n', ' ')
+            # top_result_text += f"Thực hiện hành vi:\n{hanhvi}"
+            # canhantu = arr_to_str(top.get('canhantu'))
+            # canhanden = arr_to_str(top.get('canhanden'))
+            # if canhantu or canhanden:
+            #     top_result_text += f"\nCá nhân sẽ bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ"
+            # tochuctu = arr_to_str(top.get('tochuctu'))
+            # tochucden = arr_to_str(top.get('tochucden'))
+            # if tochuctu or tochucden:
+            #     top_result_text += f"\nTổ chức sẽ bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ"
+            fullContent = (match.get('fullContent') or '').strip()
+            top_result_text += f"{fullContent}"
             hpbsnoidung = arr_to_str(top.get('hpbsnoidung'), sep="; ")
             if hpbsnoidung:
                 top_result_text += f"\nNgoài việc bị phạt tiền, người vi phạm còn bị: {hpbsnoidung}"
@@ -387,19 +399,21 @@ class MessageProcessor:
             logger.error(f"LLM không sẵn sàng: {e}\n{traceback.format_exc()}")
         fallback = "Tóm tắt các đoạn luật liên quan:\n\n"
         for i, match in enumerate(matches, 1):
-            fallback += f"Đoạn {i}:\n"
-            tieude = (match.get('tieude') or '').strip()
-            noidung = (match.get('noidung') or '').strip()
-            if tieude or noidung:
-                fallback += f"  - Hành vi: {(tieude + ' ' + noidung).strip()}\n"
-            canhantu = arr_to_str(match.get('canhantu'))
-            canhanden = arr_to_str(match.get('canhanden'))
-            if canhantu or canhanden:
-                fallback += f"  - Cá nhân bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ\n"
-            tochuctu = arr_to_str(match.get('tochuctu'))
-            tochucden = arr_to_str(match.get('tochucden'))
-            if tochuctu or tochucden:
-                fallback += f"  - Tổ chức bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ\n"
+            fallback += f"\n{(match.get('structure') or '').strip()}:\n"
+            # tieude = (match.get('tieude') or '').strip()
+            # noidung = (match.get('noidung') or '').strip()
+            # if tieude or noidung:
+            #     fallback += f"  - Hành vi: {(tieude + ' ' + noidung).strip()}\n"
+            # canhantu = arr_to_str(match.get('canhantu'))
+            # canhanden = arr_to_str(match.get('canhanden'))
+            # if canhantu or canhanden:
+            #     fallback += f"  - Cá nhân bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ\n"
+            # tochuctu = arr_to_str(match.get('tochuctu'))
+            # tochucden = arr_to_str(match.get('tochucden'))
+            # if tochuctu or tochucden:
+            #     fallback += f"  - Tổ chức bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ\n"
+            fullContent = (match.get('fullContent') or '').strip()
+            fallback += f"{fullContent}"
             hpbsnoidung = arr_to_str(match.get('hpbsnoidung'), sep="; ")
             if hpbsnoidung:
                 fallback += f"  - Hình phạt bổ sung: {hpbsnoidung}\n"
@@ -419,29 +433,31 @@ class MessageProcessor:
     async def handle_muc_phat(self, conv, message_text, page_token, sender_id):
         vehicle = conv.get('originalvehicle', '')
         action = conv.get('originalaction', '')
+        question = conv.get('originalquestion', '')
         keywords = [kw.strip() for kw in vehicle.split(',') if kw.strip()]
-        if keywords:
-            if action:
-                logger.info(f"[DEBUG] tạo embedding: {action}")
-                embedding = await self.channel.embedder.create_embedding(action)
-                logger.info(f"[DEBUG] embedding: {embedding[:5]} ... (total {len(embedding)})")
-                matches = self.channel.supabase.match_documents(
-                    embedding,
-                    vehicle_keywords=keywords,
-                    user_question=action
-                )
-                logger.info(f"[DEBUG] matches: {matches}")
-                if matches:
-                    response = await self.format_search_results(message_text, matches, page_token, sender_id)
-                else:
-                    response = "Xin lỗi, tôi không tìm thấy thông tin phù hợp."
+        #remove the requirement of having to have vehicle
+        # if keywords:
+        if question:
+            logger.info(f"[DEBUG] tạo embedding: {question}")
+            embedding = await self.channel.embedder.create_embedding(question)
+            logger.info(f"[DEBUG] embedding: {embedding[:5]} ... (total {len(embedding)})")
+            matches = self.channel.supabase.match_documents(
+                embedding,
+                # vehicle_keywords=keywords,
+                user_question=question
+            )
+            logger.info(f"[DEBUG] matches: {matches}")
+            if matches:
+                response = await self.format_search_results(message_text, matches, page_token, sender_id)
             else:
-                logger.info(f"[DEBUG] Không có hành vi vi phạm: {message_text}")
-                response = "Xin lỗi, tôi không tìm thấy thông tin về hành vi vi phạm trong câu hỏi của bạn."
-            conv['isdone'] = True
+                response = "Xin lỗi, tôi không tìm thấy thông tin phù hợp."
         else:
-            response = "Vui lòng cho biết loại phương tiện bạn cần tìm (xe máy, ô tô...)"
-            conv['isdone'] = False
+            logger.info(f"[DEBUG] Không có hành vi vi phạm: {message_text}")
+            response = "Xin lỗi, tôi không tìm thấy thông tin về hành vi vi phạm trong câu hỏi của bạn."
+        conv['isdone'] = True
+        # else:
+        #     response = "Vui lòng cho biết loại phương tiện bạn cần tìm (xe máy, ô tô...)"
+        #     conv['isdone'] = False
         return response
 
     async def handle_quy_tac(self, conv, message_text):

app/sheets.py

@@ -87,14 +87,14 @@ class SheetsClient:
             values = result.get('values', [])
             history = []
             for row in values:
-                row = row + [""] * (12 - len(row))
+                row = row + [""] * (13 - len(row))
                 try:
-                    timestamps = json.loads(row[10]) if row[10] else []
+                    timestamps = json.loads(row[11]) if row[11] else []
                 except Exception:
                     timestamps = []
                 if not isinstance(timestamps, list):
                     timestamps = [timestamps]
-                if row[4] == user_id and row[5] == page_id and row[11].lower() == 'false':
+                if row[4] == user_id and row[5] == page_id and row[12].lower() == 'false':
                     history.append({
                         'conversation_id': row[0],
                         'originalcommand': row[1],
@@ -106,8 +106,9 @@ class SheetsClient:
                         'originalvehicle': row[7],
                         'originalaction': row[8],
                         'originalpurpose': row[9],
+                        'originalquestion': row[10],
                         'timestamp': timestamps,
-                        'isdone': row[11].lower() == 'true'
+                        'isdone': row[12].lower() == 'true'
                     })
             return history
         except Exception as e:
@@ -127,6 +128,7 @@ class SheetsClient:
         originalvehicle: str = "",
         originalaction: str = "",
         originalpurpose: str = "",
+        originalquestion: str = "",  # <-- thêm dòng này
         timestamp: Any = None,
         isdone: bool = False
     ) -> Optional[Dict[str, Any]]:
@@ -179,6 +181,7 @@ class SheetsClient:
                                 'originalvehicle': row[7],
                                 'originalaction': row[8],
                                 'originalpurpose': row[9],
+                                'originalquestion': row[10],
                                 'timestamp': row_timestamps,
                                 'isdone': row[11].lower() == 'true' if len(row) > 11 else False
                             }
@@ -196,6 +199,7 @@ class SheetsClient:
                     originalvehicle,
                     originalaction,
                     originalpurpose,
+                    originalquestion,  # <-- thêm dòng này
                     json.dumps(timestamp),
                     str(isdone).lower()
                 ]
@@ -209,7 +213,7 @@ class SheetsClient:
                     valueInputOption='RAW',
                     body=body
                 ).execute()
-                logger.info(f"Thêm mới conversation: {conversation_id} | Giá trị: {dict(zip(['conversation_id','originalcommand','originalcontent','originalattachments','recipient_id','page_id','originaltext','originalvehicle','originalaction','originalpurpose','timestamp','isdone'], new_row))}")
+                logger.info(f"Thêm mới conversation: {conversation_id} | Giá trị: {dict(zip(['conversation_id','originalcommand','originalcontent','originalattachments','recipient_id','page_id','originaltext','originalvehicle','originalaction','originalpurpose','originalquestion','timestamp','isdone'], new_row))}")
 
                 # Return the conversation data directly
                 return {
@@ -223,6 +227,7 @@ class SheetsClient:
                     'originalvehicle': originalvehicle,
                     'originalaction': originalaction,
                     'originalpurpose': originalpurpose,
+                    'originalquestion': originalquestion,
                     'timestamp': timestamp,
                     'isdone': isdone
                 }
@@ -264,8 +269,9 @@ class SheetsClient:
                         originalvehicle if originalvehicle else current_row[7],
                         originalaction if originalaction else current_row[8],
                         originalpurpose if originalpurpose else current_row[9],
+                        originalquestion if originalquestion else current_row[10],  # <-- thêm dòng này
                         json.dumps(current_timestamps),
-                        str(isdone).lower() if isdone is not None else current_row[11]
+                        str(isdone).lower() if isdone is not None else current_row[12]
                     ]
                     update_range = f"{SHEET_RANGE.split('!')[0]}!A{sheet_row_number}"
                     logger.info(f"[DEBUG] Gsheet update range {update_range}")
@@ -278,7 +284,7 @@ class SheetsClient:
                         valueInputOption='RAW',
                         body=body
                     ).execute()
-                    changed_cols = ['conversation_id','originalcommand','originalcontent','originalattachments','recipient_id','page_id','originaltext','originalvehicle','originalaction','originalpurpose','timestamp','isdone']
+                    changed_cols = ['conversation_id','originalcommand','originalcontent','originalattachments','recipient_id','page_id','originaltext','originalvehicle','originalaction','originalpurpose','originalquestion','timestamp','isdone']
                     for idx, (old, new) in enumerate(zip(current_row, new_row)):
                         if old != new:
                             changed_cols.append(changed_cols[idx])
@@ -296,8 +302,9 @@ class SheetsClient:
                         'originalvehicle': new_row[7],
                         'originalaction': new_row[8],
                         'originalpurpose': new_row[9],
+                        'originalquestion': new_row[10],  # <-- thêm dòng này
                         'timestamp': current_timestamps,
-                        'isdone': new_row[11].lower() == 'true'
+                        'isdone': new_row[12].lower() == 'true'
                     }
             return None
         except Exception as e: