quick fix timestamp

app/message_processor.py

@@ -1,13 +1,13 @@
 from typing import Dict, Any, List, Optional
 import asyncio
 import traceback
+import json # <<< THÊM DÒNG NÀY
 from loguru import logger
 from .constants import SUMMARY_STATUS_MESSAGES, PROCESSING_STATUS_MESSAGES, FOUND_REGULATIONS_MESSAGES, BATCH_STATUS_MESSAGES
 from .utils import get_random_message
 from .facebook import FacebookClient
 from app.config import get_settings
 import re
-import json
 
 class MessageProcessor:
     def __init__(self, channel, sender_id):
@@ -180,14 +180,24 @@ class MessageProcessor:
         conversation_context = []
         total_chars = 0
 
-        # Bước 1: Sắp xếp history theo timestamp tăng dần (cũ -> mới)
-        # <<< FIX LỖI 2 TẠI ĐÂY >>>
-        def get_sortable_timestamp(row):
-            ts = row.get('timestamp', 0)
-            if isinstance(ts, list):
-                return max(ts) if ts else 0
-            return ts
-        sorted_history = sorted(history, key=get_sortable_timestamp)
+        # <<< SỬA LỖI TẠI ĐÂY >>>
+        def get_latest_timestamp(ts_value):
+            if isinstance(ts_value, (int, float)):
+                return int(ts_value)
+            if isinstance(ts_value, str):
+                try:
+                    ts_value = json.loads(ts_value)
+                except (json.JSONDecodeError, TypeError):
+                    try:
+                        return int(ts_value)
+                    except (ValueError, TypeError):
+                        return 0
+            if isinstance(ts_value, list):
+                if not ts_value: return 0
+                all_timestamps = [get_latest_timestamp(item) for item in ts_value]
+                return max(all_timestamps) if all_timestamps else 0
+            return 0
+        sorted_history = sorted(history, key=lambda row: get_latest_timestamp(row.get('timestamp', 0)))
 
         # Bước 2: Duyệt từ mới -> cũ để loại bỏ message cũ nếu cần
         for row in reversed(sorted_history):
@@ -241,8 +251,6 @@ class MessageProcessor:
         return
 
     def flatten_timestamp(self, ts):
-        # if isinstance(ts, int):
-        #     return ts
         flat = []
         if not isinstance(ts, list):
              ts = [ts]
@@ -272,14 +280,6 @@ class MessageProcessor:
         try:
             reranked = await self.channel.reranker.rerank(question, matches, top_k=10)
             if reranked:
-                # Gửi Facebook message sau khi hoàn thành
-                # Tạm comment đi để test 
-                # if self.facebook:
-                #     try:
-                #         message = get_random_message(BATCH_STATUS_MESSAGES)
-                #         await self.facebook.send_message(message=f"... {message} ...")
-                #     except Exception as e:
-                #         logger.error(f"[RERANK][FACEBOOK] Error sending batch message: {e}")
                 matches = reranked
         except Exception as e:
             logger.error(f"[RERANK] Lỗi khi rerank: {e}")
@@ -296,18 +296,6 @@ class MessageProcessor:
             if not top or (match.get('similarity', 0) > top.get('similarity', 0)):
                 top = match
             full_result_text += f"\n{(match.get('structure') or '').strip()}:\n"
-            # tieude = (match.get('tieude') or '').strip()
-            # noidung = (match.get('noidung') or '').strip()
-            # hanhvi = (tieude + "\n" + noidung).strip().replace('\n', ' ')
-            # full_result_text += f"Thực hiện hành vi:\n{hanhvi}"
-            # canhantu = arr_to_str(match.get('canhantu'))
-            # canhanden = arr_to_str(match.get('canhanden'))
-            # if canhantu or canhanden:
-            #     full_result_text += f"\nCá nhân sẽ bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ"
-            # tochuctu = arr_to_str(match.get('tochuctu'))
-            # tochucden = arr_to_str(match.get('tochucden'))
-            # if tochuctu or tochucden:
-            #     full_result_text += f"\nTổ chức sẽ bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ"
             fullContent = (match.get('fullcontent') or '').strip()
             full_result_text += f"{fullContent}"
             hpbsnoidung = arr_to_str(match.get('hpbsnoidung'), sep="; ")
@@ -321,18 +309,6 @@ class MessageProcessor:
                 full_result_text += f"\nTạm giữ phương tiên: 07 ngày"
         if top and (top.get('tieude') or top.get('noidung')):
             top_result_text += f"\n{(match.get('structure') or '').strip()}:\n"
-            # tieude = (top.get('tieude') or '').strip()
-            # noidung = (top.get('noidung') or '').strip()
-            # hanhvi = (tieude + "\n" + noidung).strip().replace('\n', ' ')
-            # top_result_text += f"Thực hiện hành vi:\n{hanhvi}"
-            # canhantu = arr_to_str(top.get('canhantu'))
-            # canhanden = arr_to_str(top.get('canhanden'))
-            # if canhantu or canhanden:
-            #     top_result_text += f"\nCá nhân sẽ bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ"
-            # tochuctu = arr_to_str(top.get('tochuctu'))
-            # tochucden = arr_to_str(top.get('tochucden'))
-            # if tochuctu or tochucden:
-            #     top_result_text += f"\nTổ chức sẽ bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ"
             fullContent = (match.get('fullcontent') or '').strip()
             top_result_text += f"{fullContent}"
             hpbsnoidung = arr_to_str(top.get('hpbsnoidung'), sep="; ")
@@ -374,18 +350,6 @@ class MessageProcessor:
         fallback = "Tóm tắt các đoạn luật liên quan:\n\n"
         for i, match in enumerate(matches, 1):
             fallback += f"\n{(match.get('structure') or '').strip()}:\n"
-            # tieude = (match.get('tieude') or '').strip()
-            # noidung = (match.get('noidung') or '').strip()
-            # if tieude or noidung:
-            #     fallback += f"  - Hành vi: {(tieude + ' ' + noidung).strip()}\n"
-            # canhantu = arr_to_str(match.get('canhantu'))
-            # canhanden = arr_to_str(match.get('canhanden'))
-            # if canhantu or canhanden:
-            #     fallback += f"  - Cá nhân bị phạt tiền từ {canhantu} VNĐ đến {canhanden} VNĐ\n"
-            # tochuctu = arr_to_str(match.get('tochuctu'))
-            # tochucden = arr_to_str(match.get('tochucden'))
-            # if tochuctu or tochucden:
-            #     fallback += f"  - Tổ chức bị phạt tiền từ {tochuctu} VNĐ đến {tochucden} VNĐ\n"
             fullContent = (match.get('fullcontent') or '').strip()
             fallback += f"{fullContent}"
             hpbsnoidung = arr_to_str(match.get('hpbsnoidung'), sep="; ")
@@ -404,25 +368,20 @@ class MessageProcessor:
         logger.info(f"[MOCK] Creating Facebook post for sender_id={sender_id} with history={history}")
         return "https://facebook.com/mock_post_url" 
 
-    # <<< FIX LỖI 1 TẠI ĐÂY >>>
     async def handle_muc_phat(self, conv, conversation_context, page_token, sender_id):
         vehicle = conv.get('originalvehicle', '')
         action = conv.get('originalaction', '')
         question = conv.get('originalquestion', '')
         keywords = [kw.strip() for kw in vehicle.split(',') if kw.strip()]
-        #remove the requirement of having to have vehicle
-        # if keywords:
         if question:
             logger.info(f"[DEBUG] tạo embedding: {action}")
             embedding = await self.channel.embedder.create_embedding(action)
             logger.info(f"[DEBUG] embedding: {embedding[:5]} ... (total {len(embedding)})")
-            # Lấy match_count từ config
             from app.config import get_settings
             match_count = get_settings().match_count
             matches = self.channel.supabase.match_documents(
                 embedding,
                 match_count=match_count,
-                # vehicle_keywords=keywords,
                 user_question=action
             )
             logger.info(f"[DEBUG] matches: {matches}")
@@ -434,16 +393,12 @@ class MessageProcessor:
             logger.info(f"[DEBUG] Không có hành vi vi phạm: {question}")
             response = "Xin lỗi, tôi không tìm thấy thông tin về hành vi vi phạm trong câu hỏi của bạn."
         conv['isdone'] = True
-        # else:
-        #     response = "Vui lòng cho biết loại phương tiện bạn cần tìm (xe máy, ô tô...)"
-        #     conv['isdone'] = False
         return response
 
     async def handle_quy_tac(self, conv, conversation_context, message_text):
         prompt = (
             "Biết rằng bạn đã có lịch sử trao đổi như sau:"
             f"Lịch sử:\n{conversation_context}"
-
             "Bạn là một trợ lý AI có kiến thức pháp luật, hãy trả lời câu hỏi dựa trên lịch sử trao đổi"
             "\n\nHãy trả lời ngắn gọn, dễ hiểu, trích dẫn rõ ràng thông tin từ các đoạn luật nếu cần."
             f"\n\nCâu hỏi của người dùng: {message_text}\n"
@@ -456,7 +411,6 @@ class MessageProcessor:
         prompt = (
             "Biết rằng bạn đã có lịch sử trao đổi như sau:"
             f"Lịch sử:\n{conversation_context}"
-
             "Bạn là một trợ lý AI có kiến thức pháp luật, hãy trả lời câu hỏi dựa trên lịch sử trao đổi"
             "\n\nHãy trả lời ngắn gọn, dễ hiểu, trích dẫn rõ ràng thông tin từ các đoạn luật nếu cần."
             f"\n\nCâu hỏi của người dùng: {message_text}\n"
@@ -469,7 +423,6 @@ class MessageProcessor:
         prompt = (
             "Biết rằng bạn đã có lịch sử trao đổi như sau:"
             f"Lịch sử:\n{conversation_context}"
-
             "Bạn là một trợ lý AI có kiến thức pháp luật, hãy trả lời câu hỏi dựa trên lịch sử trao đổi"
             "\n\nHãy trả lời ngắn gọn, dễ hiểu, trích dẫn rõ ràng thông tin từ các đoạn luật nếu cần."
             f"\n\nCâu hỏi của người dùng: {message_text}\n"
@@ -479,11 +432,9 @@ class MessageProcessor:
         return answer.strip() if answer and answer.strip() else "[Đang phát triển] Tính năng trả lời về quy trình xử lý vi phạm giao thông sẽ sớm có mặt."
 
     async def handle_ca_nhan(self, conv, conversation_context, message_text):
-        # Nếu câu hỏi là về thông tin cá nhân của bot, hướng dẫn LLM trả lời đúng
         prompt = (
             "Biết rằng bạn đã có lịch sử trao đổi như sau:"
             f"Lịch sử:\n{conversation_context}"
-
             'Với các thông tin sau: "Bạn có tên là WeThoong AI, là trợ lý giao thông thông minh. Bạn được anh Viet Cat tạo ra và facebook cá nhân của anh ý là https://facebook.com/vietcat". '
             'Không được trả lời bạn là AI của Google, OpenAI, hay bất kỳ hãng nào khác. '
             'Hãy trả lời thông minh, hài hước, ngắn gọn cho câu hỏi sau:\n'
@@ -497,7 +448,6 @@ class MessageProcessor:
         prompt = (
             "Biết rằng bạn đã có lịch sử trao đổi như sau:"
             f"Lịch sử:\n{conversation_context}"
-
             "Bạn là một trợ lý AI có kiến thức pháp luật, hãy trả lời câu hỏi dựa trên lịch sử trao đổi"
             "\n\nHãy trả lời ngắn gọn, dễ hiểu, trích dẫn rõ ràng thông tin từ các đoạn luật nếu cần."
             f"\n\nCâu hỏi của người dùng: {message_text}\n"