Spaces:
Sleeping
Sleeping
Commit ·
49bfa92
1
Parent(s): 9c77451
query normalization
Browse files- config.py +1 -1
- index_retriever.py +3 -3
- utils.py +2 -0
config.py
CHANGED
|
@@ -53,7 +53,7 @@ CHUNK_SIZE = 1500
|
|
| 53 |
CHUNK_OVERLAP = 128
|
| 54 |
|
| 55 |
MAX_CHARS_TABLE = 3000
|
| 56 |
-
MAX_ROWS_TABLE =
|
| 57 |
|
| 58 |
CUSTOM_PROMPT = """
|
| 59 |
Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.
|
|
|
|
| 53 |
CHUNK_OVERLAP = 128
|
| 54 |
|
| 55 |
MAX_CHARS_TABLE = 3000
|
| 56 |
+
MAX_ROWS_TABLE = 20
|
| 57 |
|
| 58 |
CUSTOM_PROMPT = """
|
| 59 |
Вы являетесь высокоспециализированным Ассистентом для анализа нормативных документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы исключительно на основе предоставленного контекста из нормативной документации.
|
index_retriever.py
CHANGED
|
@@ -71,18 +71,18 @@ def create_query_engine(vector_index):
|
|
| 71 |
|
| 72 |
bm25_retriever = BM25Retriever.from_defaults(
|
| 73 |
docstore=vector_index.docstore,
|
| 74 |
-
similarity_top_k=
|
| 75 |
)
|
| 76 |
|
| 77 |
vector_retriever = VectorIndexRetriever(
|
| 78 |
index=vector_index,
|
| 79 |
-
similarity_top_k=
|
| 80 |
similarity_cutoff=0.45
|
| 81 |
)
|
| 82 |
|
| 83 |
hybrid_retriever = QueryFusionRetriever(
|
| 84 |
[vector_retriever, bm25_retriever],
|
| 85 |
-
similarity_top_k=
|
| 86 |
num_queries=1
|
| 87 |
)
|
| 88 |
|
|
|
|
| 71 |
|
| 72 |
bm25_retriever = BM25Retriever.from_defaults(
|
| 73 |
docstore=vector_index.docstore,
|
| 74 |
+
similarity_top_k=100
|
| 75 |
)
|
| 76 |
|
| 77 |
vector_retriever = VectorIndexRetriever(
|
| 78 |
index=vector_index,
|
| 79 |
+
similarity_top_k=100,
|
| 80 |
similarity_cutoff=0.45
|
| 81 |
)
|
| 82 |
|
| 83 |
hybrid_retriever = QueryFusionRetriever(
|
| 84 |
[vector_retriever, bm25_retriever],
|
| 85 |
+
similarity_top_k=100,
|
| 86 |
num_queries=1
|
| 87 |
)
|
| 88 |
|
utils.py
CHANGED
|
@@ -180,6 +180,8 @@ def normalize_query(query):
|
|
| 180 |
query = query.replace('С-', 'C-').replace('с-', 'c-')
|
| 181 |
query = query.replace('У-', 'U-').replace('у-', 'u-')
|
| 182 |
query = query.replace('Т-', 'T-').replace('т-', 't-')
|
|
|
|
|
|
|
| 183 |
return query
|
| 184 |
|
| 185 |
|
|
|
|
| 180 |
query = query.replace('С-', 'C-').replace('с-', 'c-')
|
| 181 |
query = query.replace('У-', 'U-').replace('у-', 'u-')
|
| 182 |
query = query.replace('Т-', 'T-').replace('т-', 't-')
|
| 183 |
+
query = query.replace('-', '')
|
| 184 |
+
|
| 185 |
return query
|
| 186 |
|
| 187 |
|