new normalizer C to Latin C + max table = 20, max chunk = 3000

config.py

@@ -53,7 +53,7 @@ CHUNK_SIZE = 1500
 CHUNK_OVERLAP = 128
 
 MAX_CHARS_TABLE = 3000
-MAX_ROWS_TABLE = 15
+MAX_ROWS_TABLE = 20
 
 CUSTOM_PROMPT = """
 Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.

documents_prep.py

@@ -44,13 +44,12 @@ def normalize_text(text):
     
     # Replace Latin 'C' with Cyrillic 'С' (U+0421)
     # This is for welding types like C-25 -> С-25
-    text = text.replace('C-', 'С-')
-    text = text.replace('C ', 'С ')
+    text = text.replace('С-', 'C')
     
     # Also handle cases like "Type C" or variations
     import re
     # Match "C" followed by digit or space in context of welding types
-    text = re.sub(r'\bC(\d)', r'С\1', text)
+    text = re.sub(r'\bС(\d)', r'С\1', text)
     
     return text
 

index_retriever.py

@@ -71,18 +71,18 @@ def create_query_engine(vector_index):
         
         bm25_retriever = BM25Retriever.from_defaults(
             docstore=vector_index.docstore, 
-            similarity_top_k=50 
+            similarity_top_k=70 
         )
         
         vector_retriever = VectorIndexRetriever(
             index=vector_index, 
-            similarity_top_k=50,
+            similarity_top_k=70,
             similarity_cutoff=0.45
         )
         
         hybrid_retriever = QueryFusionRetriever(
             [vector_retriever, bm25_retriever],
-            similarity_top_k=100,
+            similarity_top_k=120,
             num_queries=1
         )