add data viewer

app/law_document_chunker.py

@@ -31,12 +31,12 @@ class LawDocumentChunker:
         self.supabase_client = SupabaseClient(settings.supabase_url, settings.supabase_key)
         self.embedding_client = EmbeddingClient()
         
-        # Regex patterns cho các cấp độ cấu trúc
-        self.PHAN_REGEX = r"(Phần|PHẦN|Phần thứ)\s+(\d+|[IVXLCDM]+|nhất|hai|ba|tư|năm|sáu|bảy|tám|chín|mười)\.?\s*\n"
-        self.PHU_LUC_REGEX = r"(Phụ lục|PHỤ LỤC)\s+(\d+|[A-Z]+)\.?\s*\n"
-        self.CHUONG_REGEX = r"(Chương|CHƯƠNG)\s+(\d+|[IVXLCDM]+)\.?\s*.*\n"
-        self.MUC_REGEX = r"(Mục|MỤC)\s+\d+\.?\s*.*\n"
-        self.DIEU_REGEX = r"Điều\s+(\d+)\.\s*(.*)"
+        # Regex patterns cho các cấp độ cấu trúc - SỬA LẠI ĐỂ CHÍNH XÁC HƠN
+        self.PHAN_REGEX = r"^(Phần|PHẦN|Phần thứ)\s+(\d+|[IVXLCDM]+|nhất|hai|ba|tư|năm|sáu|bảy|tám|chín|mười)\.?\s*"
+        self.PHU_LUC_REGEX = r"^(Phụ lục|PHỤ LỤC)\s+(\d+|[A-Z]+)\.?\s*"
+        self.CHUONG_REGEX = r"^(Chương|CHƯƠNG)\s+(\d+|[IVXLCDM]+)\.?\s*"
+        self.MUC_REGEX = r"^(Mục|MỤC)\s+\d+\.?\s*"
+        self.DIEU_REGEX = r"^Điều\s+(\d+)\.\s*(.*)"
         self.KHOAN_REGEX = r"^\s*(\d+(\.\d+)*)\.\s*(.*)"
         self.DIEM_REGEX_A = r"^\s*([a-zđ])\)\s*(.*)"
         self.DIEM_REGEX_NUM = r"^\s*(\d+\.\d+\.\d+)\.\s*(.*)"
@@ -208,6 +208,10 @@ class LawDocumentChunker:
         for line in lines:
             level, level_value, level_content = self._detect_structure_level(line)
             
+            # Debug logging
+            if level != "CONTENT" and level_value:
+                logger.debug(f"[CHUNKER] Line: '{line.strip()}' -> Level: {level}, Value: {level_value}")
+            
             # Nếu phát hiện cấp độ mới
             if level != "CONTENT" and level_value:
                 # Lưu chunk hiện tại nếu có
@@ -224,9 +228,11 @@ class LawDocumentChunker:
                     
                     # Thêm vào stack NGAY LẬP TỨC
                     chunk_stack.append((metadata.id, current_level, current_level_value))
+                    logger.debug(f"[CHUNKER] Created chunk: {metadata.id[:8]}... Level: {current_level}, Parent: {current_parent}")
                 
                 # Tìm parent cho level mới TRƯỚC KHI tạo chunk mới
                 current_parent = self._find_parent_for_level(chunk_stack, level, level_priority)
+                logger.debug(f"[CHUNKER] Found parent for {level}: {current_parent}")
                 
                 # Bắt đầu chunk mới
                 current_chunk_content = line + "\n"
@@ -254,6 +260,7 @@ class LawDocumentChunker:
                         
                         # Thêm vào stack NGAY LẬP TỨC
                         chunk_stack.append((metadata.id, current_level, current_level_value))
+                        logger.debug(f"[CHUNKER] Created sub-chunk: {metadata.id[:8]}... Level: {current_level}, Parent: {current_parent}")
                     
                     current_chunk_content = ""
         
@@ -271,6 +278,7 @@ class LawDocumentChunker:
             
             # Thêm vào stack NGAY LẬP TỨC
             chunk_stack.append((metadata.id, current_level, current_level_value))
+            logger.debug(f"[CHUNKER] Created final chunk: {metadata.id[:8]}... Level: {current_level}, Parent: {current_parent}")
         
         logger.info(f"[CHUNKER] Created {len(chunks)} chunks from document")
         return chunks