MrSimple07 commited on
Commit
154e611
·
1 Parent(s): e03faa9

chunk size = 3000, 15 + normalized query

Browse files
Files changed (2) hide show
  1. config.py +1 -1
  2. utils.py +2 -5
config.py CHANGED
@@ -53,7 +53,7 @@ CHUNK_SIZE = 1500
53
  CHUNK_OVERLAP = 128
54
 
55
  MAX_CHARS_TABLE = 3000
56
- MAX_ROWS_TABLE = 20
57
 
58
  CUSTOM_PROMPT = """
59
  Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.
 
53
  CHUNK_OVERLAP = 128
54
 
55
  MAX_CHARS_TABLE = 3000
56
+ MAX_ROWS_TABLE = 15
57
 
58
  CUSTOM_PROMPT = """
59
  Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.
utils.py CHANGED
@@ -179,9 +179,7 @@ def normalize_query(query):
179
  query = query.replace('С-', 'C-').replace('с-', 'c-')
180
  query = query.replace('У-', 'U-').replace('у-', 'u-')
181
  query = query.replace('Т-', 'T-').replace('т-', 't-')
182
-
183
- # Remove hyphens from connection type patterns (C-25 -> C25)
184
- query = re.sub(r'([CUTcut])(\d)', r'\1\2', query)
185
 
186
  return query
187
 
@@ -196,8 +194,7 @@ def answer_question(question, query_engine, reranker, current_model, chunks_df=N
196
  # NORMALIZE QUERY: Convert Cyrillic to Latin
197
  normalized_question = normalize_query(question)
198
  log_message(f"Original query: {question}")
199
- if normalized_question != question:
200
- log_message(f"Normalized query: {normalized_question}")
201
 
202
  # Use normalized query for retrieval
203
  retrieved_nodes = query_engine.retriever.retrieve(normalized_question)
 
179
  query = query.replace('С-', 'C-').replace('с-', 'c-')
180
  query = query.replace('У-', 'U-').replace('у-', 'u-')
181
  query = query.replace('Т-', 'T-').replace('т-', 't-')
182
+ query = query.replace('-', '')
 
 
183
 
184
  return query
185
 
 
194
  # NORMALIZE QUERY: Convert Cyrillic to Latin
195
  normalized_question = normalize_query(question)
196
  log_message(f"Original query: {question}")
197
+ log_message(f"Normalized query: {normalized_question}")
 
198
 
199
  # Use normalized query for retrieval
200
  retrieved_nodes = query_engine.retriever.retrieve(normalized_question)