MrSimple07 commited on
Commit
49bfa92
·
1 Parent(s): 9c77451

query normalization

Browse files
Files changed (3) hide show
  1. config.py +1 -1
  2. index_retriever.py +3 -3
  3. utils.py +2 -0
config.py CHANGED
@@ -53,7 +53,7 @@ CHUNK_SIZE = 1500
53
  CHUNK_OVERLAP = 128
54
 
55
  MAX_CHARS_TABLE = 3000
56
- MAX_ROWS_TABLE = 15
57
 
58
  CUSTOM_PROMPT = """
59
  Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.
 
53
  CHUNK_OVERLAP = 128
54
 
55
  MAX_CHARS_TABLE = 3000
56
+ MAX_ROWS_TABLE = 20
57
 
58
  CUSTOM_PROMPT = """
59
  Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.
index_retriever.py CHANGED
@@ -71,18 +71,18 @@ def create_query_engine(vector_index):
71
 
72
  bm25_retriever = BM25Retriever.from_defaults(
73
  docstore=vector_index.docstore,
74
- similarity_top_k=70
75
  )
76
 
77
  vector_retriever = VectorIndexRetriever(
78
  index=vector_index,
79
- similarity_top_k=70,
80
  similarity_cutoff=0.45
81
  )
82
 
83
  hybrid_retriever = QueryFusionRetriever(
84
  [vector_retriever, bm25_retriever],
85
- similarity_top_k=70,
86
  num_queries=1
87
  )
88
 
 
71
 
72
  bm25_retriever = BM25Retriever.from_defaults(
73
  docstore=vector_index.docstore,
74
+ similarity_top_k=100
75
  )
76
 
77
  vector_retriever = VectorIndexRetriever(
78
  index=vector_index,
79
+ similarity_top_k=100,
80
  similarity_cutoff=0.45
81
  )
82
 
83
  hybrid_retriever = QueryFusionRetriever(
84
  [vector_retriever, bm25_retriever],
85
+ similarity_top_k=100,
86
  num_queries=1
87
  )
88
 
utils.py CHANGED
@@ -180,6 +180,8 @@ def normalize_query(query):
180
  query = query.replace('С-', 'C-').replace('с-', 'c-')
181
  query = query.replace('У-', 'U-').replace('у-', 'u-')
182
  query = query.replace('Т-', 'T-').replace('т-', 't-')
 
 
183
  return query
184
 
185
 
 
180
  query = query.replace('С-', 'C-').replace('с-', 'c-')
181
  query = query.replace('У-', 'U-').replace('у-', 'u-')
182
  query = query.replace('Т-', 'T-').replace('т-', 't-')
183
+ query = query.replace('-', '')
184
+
185
  return query
186
 
187