Spaces:
Sleeping
Sleeping
Commit
·
154e611
1
Parent(s):
e03faa9
chunk size = 3000, 15 + normalized query
Browse files
config.py
CHANGED
|
@@ -53,7 +53,7 @@ CHUNK_SIZE = 1500
|
|
| 53 |
CHUNK_OVERLAP = 128
|
| 54 |
|
| 55 |
MAX_CHARS_TABLE = 3000
|
| 56 |
-
MAX_ROWS_TABLE =
|
| 57 |
|
| 58 |
CUSTOM_PROMPT = """
|
| 59 |
Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.
|
|
|
|
| 53 |
CHUNK_OVERLAP = 128
|
| 54 |
|
| 55 |
MAX_CHARS_TABLE = 3000
|
| 56 |
+
MAX_ROWS_TABLE = 15
|
| 57 |
|
| 58 |
CUSTOM_PROMPT = """
|
| 59 |
Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.
|
utils.py
CHANGED
|
@@ -179,9 +179,7 @@ def normalize_query(query):
|
|
| 179 |
query = query.replace('С-', 'C-').replace('с-', 'c-')
|
| 180 |
query = query.replace('У-', 'U-').replace('у-', 'u-')
|
| 181 |
query = query.replace('Т-', 'T-').replace('т-', 't-')
|
| 182 |
-
|
| 183 |
-
# Remove hyphens from connection type patterns (C-25 -> C25)
|
| 184 |
-
query = re.sub(r'([CUTcut])(\d)', r'\1\2', query)
|
| 185 |
|
| 186 |
return query
|
| 187 |
|
|
@@ -196,8 +194,7 @@ def answer_question(question, query_engine, reranker, current_model, chunks_df=N
|
|
| 196 |
# NORMALIZE QUERY: Convert Cyrillic to Latin
|
| 197 |
normalized_question = normalize_query(question)
|
| 198 |
log_message(f"Original query: {question}")
|
| 199 |
-
|
| 200 |
-
log_message(f"Normalized query: {normalized_question}")
|
| 201 |
|
| 202 |
# Use normalized query for retrieval
|
| 203 |
retrieved_nodes = query_engine.retriever.retrieve(normalized_question)
|
|
|
|
| 179 |
query = query.replace('С-', 'C-').replace('с-', 'c-')
|
| 180 |
query = query.replace('У-', 'U-').replace('у-', 'u-')
|
| 181 |
query = query.replace('Т-', 'T-').replace('т-', 't-')
|
| 182 |
+
query = query.replace('-', '')
|
|
|
|
|
|
|
| 183 |
|
| 184 |
return query
|
| 185 |
|
|
|
|
| 194 |
# NORMALIZE QUERY: Convert Cyrillic to Latin
|
| 195 |
normalized_question = normalize_query(question)
|
| 196 |
log_message(f"Original query: {question}")
|
| 197 |
+
log_message(f"Normalized query: {normalized_question}")
|
|
|
|
| 198 |
|
| 199 |
# Use normalized query for retrieval
|
| 200 |
retrieved_nodes = query_engine.retriever.retrieve(normalized_question)
|