update content_summary in chunking

app/law_document_chunker.py

@@ -133,7 +133,7 @@ class LawDocumentChunker:
 
     def _create_chunk_metadata(self, content: str, level: str, level_value: Optional[str], 
                               parent_id: Optional[str], vanbanid: int, 
-                              document_title: str, chunk_stack: List[Tuple[str, str, Optional[str]]] = []) -> ChunkMetadata:
+                              document_title: str, chunk_stack: List[Tuple[str, str, Optional[str], str]] = []) -> ChunkMetadata:
         """Tạo metadata cho chunk."""
         chunk_id = str(uuid.uuid4())
         
@@ -160,36 +160,38 @@ class LawDocumentChunker:
         
         return metadata
 
-    def _fill_metadata_from_parents(self, metadata: ChunkMetadata, chunk_stack: List[Tuple[str, str, Optional[str]]], parent_id: str):
+    def _fill_metadata_from_parents(self, metadata: ChunkMetadata, chunk_stack: List[Tuple[str, str, Optional[str], str]], parent_id: str):
         """
         Điền metadata từ parent chunks (Điều, Khoản) nếu chunk hiện tại có cha hoặc ông là Điều/Khoản.
         """
-        # Tìm tất cả parent chunks
-        parent_chunks = []
+        if not parent_id:
+            return
+            
+        # Tìm tất cả ancestors trong stack
+        ancestors = []
         current_parent = parent_id
         
-        # Tìm tất cả parents trong stack
-        for chunk_id, level, level_value in reversed(chunk_stack):
+        # Tìm tất cả ancestors từ parent_id trở lên
+        for chunk_id, level, level_value, content in reversed(chunk_stack):
             if chunk_id == current_parent:
-                parent_chunks.append((level, level_value))
-                # Tìm parent của parent này
-                for parent_chunk_id, parent_level, parent_level_value in reversed(chunk_stack):
-                    if parent_chunk_id == chunk_id:
-                        current_parent = parent_chunk_id
+                ancestors.append((level, level_value, content))
+                # Tìm parent của chunk này
+                for ancestor_id, ancestor_level, ancestor_level_value, ancestor_content in reversed(chunk_stack):
+                    if ancestor_id == chunk_id:
+                        current_parent = ancestor_id
                         break
+                if current_parent == chunk_id:  # Không tìm thấy parent
+                    break
         
-        # Điền metadata từ parents
-        for level, level_value in parent_chunks:
+        # Điền metadata từ ancestors (từ gần nhất đến xa nhất)
+        for level, level_value, content in ancestors:
             if level == "DIEU" and level_value:
                 if not metadata.article_number:  # Chỉ điền nếu chưa có
                     metadata.article_number = int(level_value) if level_value.isdigit() else None
                 if not metadata.article_title:  # Chỉ điền nếu chưa có
-                    # Lấy title từ content của parent chunk
-                    for chunk_id, parent_level, parent_level_value in chunk_stack:
-                        if chunk_id == parent_id and parent_level == "DIEU":
-                            # Tìm content của parent chunk này
-                            # (Cần truyền content của parent vào đây)
-                            break
+                    # Lấy dòng đầu tiên làm title
+                    first_line = content.split('\n')[0].strip() if content else ""
+                    metadata.article_title = first_line
             elif level == "KHOAN" and level_value:
                 if not metadata.clause_number:  # Chỉ điền nếu chưa có
                     metadata.clause_number = level_value
@@ -286,7 +288,7 @@ class LawDocumentChunker:
         chunks = []
         
         # Stack để theo dõi các chunks theo thứ tự xuất hiện
-        # Mỗi item là (chunk_id, level, level_value)
+        # Mỗi item là (chunk_id, level, level_value, content)
         chunk_stack = []
         
         current_chunk_content = ""
@@ -329,7 +331,7 @@ class LawDocumentChunker:
                     chunks.append(metadata)
                     
                     # Thêm vào stack NGAY LẬP TỨC
-                    chunk_stack.append((metadata.id, current_level, current_level_value))
+                    chunk_stack.append((metadata.id, current_level, current_level_value, current_chunk_content.strip()))
                     logger.debug(f"[CHUNKER] Created chunk: {metadata.id[:8]}... Level: {current_level}, Parent: {current_parent}")
                 
                 # Tìm parent cho level mới TRƯỚC KHI tạo chunk mới
@@ -362,7 +364,7 @@ class LawDocumentChunker:
                         chunks.append(metadata)
                         
                         # Thêm vào stack NGAY LẬP TỨC
-                        chunk_stack.append((metadata.id, current_level, current_level_value))
+                        chunk_stack.append((metadata.id, current_level, current_level_value, sub_chunk.strip()))
                         logger.debug(f"[CHUNKER] Created sub-chunk: {metadata.id[:8]}... Level: {current_level}, Parent: {current_parent}")
                     
                     current_chunk_content = ""
@@ -381,7 +383,7 @@ class LawDocumentChunker:
             chunks.append(metadata)
             
             # Thêm vào stack NGAY LẬP TỨC
-            chunk_stack.append((metadata.id, current_level, current_level_value))
+            chunk_stack.append((metadata.id, current_level, current_level_value, current_chunk_content.strip()))
             logger.debug(f"[CHUNKER] Created final chunk: {metadata.id[:8]}... Level: {current_level}, Parent: {current_parent}")
         
         # Debug: Kiểm tra kết quả
@@ -397,7 +399,7 @@ class LawDocumentChunker:
         
         return chunks
     
-    def _find_parent_for_level(self, chunk_stack: List[Tuple[str, str, Optional[str]]], 
+    def _find_parent_for_level(self, chunk_stack: List[Tuple[str, str, Optional[str], str]], 
                               current_level: str, level_priority: Dict[str, int]) -> Optional[str]:
         """
         Tìm parent gần nhất có level cao hơn (priority thấp hơn) cho level hiện tại.
@@ -405,7 +407,7 @@ class LawDocumentChunker:
         current_priority = level_priority.get(current_level, 999)
         
         # Tìm từ cuối stack (gần nhất) đến đầu stack
-        for chunk_id, level, level_value in reversed(chunk_stack):
+        for chunk_id, level, level_value, content in reversed(chunk_stack):
             if level_priority.get(level, 999) < current_priority:
                 return chunk_id