topk query = 50 + 0.55 sim cut off + table chunk size= 2500

table_prep.py

@@ -32,7 +32,7 @@ def create_table_content(table_data):
 from llama_index.core.text_splitter import SentenceSplitter
 from config import CHUNK_SIZE, CHUNK_OVERLAP
 
-def chunk_table_document(doc, max_chunk_size=2500):
+def chunk_table_document(doc, max_chunk_size=4000):
     lines = doc.text.strip().split('\n')
 
     # Separate header and data rows
@@ -70,11 +70,12 @@ def chunk_table_document(doc, max_chunk_size=2500):
 
         current_rows.append(row)
         current_size += row_size
-
+        log_message(f"Добавлена строка к текущему чанку, текущий размер {current_size} символов")
     # Add final chunk
     if current_rows:
         chunk_text = header + '\n'.join(current_rows)
         chunks.append(chunk_text)
+        log_message(f"Создана финальная часть таблицы размером {len(chunk_text)} символов с {len(current_rows)} строками")
 
     # Create Document objects
     chunked_docs = []
@@ -137,7 +138,7 @@ def table_to_document(table_data, document_id=None):
             "section": section
         }
     )
-    if len(content) > 2000:
+    if len(content) > 4000:
         chunks = chunk_table_document(base_doc)
         log_message(f"Таблица {table_num} разбита на {len(chunks)} частей")
         return chunk_table_document(base_doc)