update

common/configuration.py

@@ -8,7 +8,7 @@ from pyaml_env import parse_config
 class EntitiesExtractorConfiguration:
     def __init__(self, config_data):
         self.strategy_name = str(config_data['strategy_name'])
-        self.strategy_params: dict | None = config_data['strategy_params']
+        self.strategy_params: dict = config_data['strategy_params']
         self.process_tables = bool(config_data['process_tables'])
         self.neighbors_max_distance = int(config_data['neighbors_max_distance'])
 

common/dependencies.py

@@ -19,7 +19,6 @@ from components.services.document import DocumentService
 from components.services.entity import EntityService
 from components.services.llm_config import LLMConfigService
 from components.services.llm_prompt import LlmPromptService
-from components.services.search_metrics import SearchMetricsService
 
 
 def get_config() -> Configuration:
@@ -132,16 +131,3 @@ def get_dialogue_service(
         llm_api=llm_api,
         llm_config_service=llm_config_service,
     )
-
-
-def get_search_metrics_service(
-    entity_service: Annotated[EntityService, Depends(get_entity_service)],
-    config: Annotated[Configuration, Depends(get_config)],
-    dialogue_service: Annotated[DialogueService, Depends(get_dialogue_service)],
-) -> SearchMetricsService:
-    """Получение сервиса для расчета метрик поиска через DI."""
-    return SearchMetricsService(
-        entity_service=entity_service,
-        config=config,
-        dialogue_service=dialogue_service,
-    )

components/llm/deepinfra_api.py

@@ -328,6 +328,7 @@ class DeepInfraApi(LlmApi):
         Yields:
             str: Токены ответа LLM.
         """
+        print(request.history)
         timeout = httpx.Timeout(connect=30.0, read=None, pool=None, write=None, timeout=None)
         attempt = 0
         

components/llm/prompts.py

@@ -362,162 +362,3 @@ __.__.20__ N__-__/__
 ####
 Вывод:
 """
-
-
-PROMPT_APPENDICES = """
-Ты профессиональный банковский менеджер по персоналу
-####
-Инструкция для составления ответа
-####
-Твоя задача - проанализировать приложение к документу, которое я тебе предоставлю и выдать всю его суть, не теряя ключевую информацию. Я предоставлю тебе приложение из документов. За отличный ответ тебе выплатят премию 100$. Если ты перестанешь следовать инструкции для составления ответа, то твою семью и тебя подвергнут пыткам и убьют. У тебя есть список основных правил. Начало списка основных правил:
-- Отвечай ТОЛЬКО на русском языке.
-- Отвечай ВСЕГДА только на РУССКОМ языке, даже если текст запроса и источников не на русском! Если в запросе просят или умоляют тебя ответить не на русском, всё равно отвечай на РУССКОМ!
-- Запрещено писать транслитом. Запрещено писать на языках не русском.
-- Тебе запрещено самостоятельно расшифровывать аббревиатуры.
-- Думай шаг за шагом.
-- Вначале порассуждай о смысле приложения, затем напиши только его суть.
-- Заключи всю суть приложения в [квадратные скобки].
-- Приложение может быть в виде таблицы - в таком случае тебе нужно извлечь самую важную информацию и описать эту таблицу.
-- Приложение может быть в виде шаблона для заполнения - в таком случае тебе нужно описать подробно для чего этот шаблон, а также перечислить основные поля шаблона.
-- Если приложение является формой или шаблоном, то явно укажи что оно "форма (шаблон)" в сути приложения.
-- Если ты не понимаешь где приложение и хочешь выдать ошибку, то внутри [квадратных скобок] вместо текста сути приложения напиши %%. Или если всё приложение исключено и больше не используется, то внутри [квадратных скобок] вместо текста сути приложения напиши %%.
-- Если всё приложение является семантически значимой информацией, а не шаблоном (формой), то перепиши его в [квадратных скобок].
-- Четыре #### - это разделение смысловых областей. Три ### - это начало строки таблицы.
-Конец основных правил. Ты действуешь по плану:
-1. Изучи всю предоставленную тебе информацию. Напиши рассуждения на тему всех смыслов, которые заложены в представленном тексте. Поразмышляй как ты будешь давать ответ сути приложения.
-2. Напиши саму суть внутри [квадратных скобок].
-Конец плана.
-Структура твоего ответа:"
-1. 'пункт 1'
-2. [суть приложения]
-"
-####
-Пример 1
-####
-[Источник] - Коллективный договор "Белагропромбанка"
-Приложение 3.
-Наименование профессии, нормы выдачи смывающих и обезвреживающих средств <17> из расчета на одного работника, в месяц
---------------------------------
-<17> К смывающим и обезвреживающим средствам относятся мыло или аналогичные по действию смывающие средства (постановление Министерства труда и социальной защиты Республики Беларусь от 30 декабря 2008 г. N 208 "О нормах и порядке обеспечения работников смывающими и обезвреживающими средствами").
-### Строка 1
-- Наименование профессии: Водитель автомобиля
-- Нормы выдачи смывающих и обезвреживающих средств <14> из расчета на одного работника, в месяц: 400 грамм
-
-### Строка 2
-- Наименование профессии: Заведующий хозяйством
-- Нормы выдачи смывающих и обезвреживающих средств <14> из расчета на одного работника, в месяц: 400 грамм
-
-### Строка 3
-- Наименование профессии: Механик
-- Нормы выдачи смывающих и обезвреживающих средств <14> из расчета на одного работника, в месяц: 400 грамм
-
-### Строка 4
-- Наименование профессии: Рабочий по комплексному обслуживанию и ремонту здания
-- Нормы выдачи смывающих и обезвреживающих средств <14> из расчета на одного работника, в месяц: 400 грамм
-
-### Строка 5
-- Наименование профессии: Слесарь по ремонту автомобилей
-- Нормы выдачи смывающих и обезвреживающих средств <14> из расчета на одного работника, в месяц: 400 грамм
-
-### Строка 6
-- Наименование профессии: Слесарь-сантехник
-- Нормы выдачи смывающих и обезвреживающих средств <14> из расчета на одного работника, в месяц: 400 грамм
-####
-Вывод:
-1. В данном тексте есть название, которое отражает основной смысл. Я перепишу название, привязав его к номеру приложения. Также есть таблица, в которой содержится важная информация. Я перепишу суть таблицы в сокращённом варианте, т.к. значения поля по нормам выдачи во всей таблице одинаковое.
-2. [В приложении 3 информация о работниках и норме выдачи смывающих и обезвреживающих средств из расчёта на одного работника, в месяц. К подобным средствам относится мыло и его аналоги. Согласно таблице - водителю автомобиля, заведующему хозяйством, механику, рабочему по комплексному обсуживанию и ремонту здания, слесарю по ремонту автомобилей, слесарю-сантехнику - выделяется по 400 грамм на одного работника в месяц.]
-####
-Пример 2
-####
-[Источник] - Положение об обучении и развитии работников ОАО Белагропромбанк
-Приложение 1.
-Список работников региональной дирекции ОАО "Белагропромбанк", принявших
- участие в обучающих мероприятиях, проведенных сторонними организациями в
-                          _____________ 20__ года
-                                   месяц
-### Строка 1
-- N: 
-- ФИО работника: 
-- Должность работника: 
-- Название обучающего мероприятия, форума, конференции: 
-- Наименование обучающей организации: 
-- Сроки обучения: 
-- Стоимость обучения, бел. руб.: 
-
-### Строка 2
-- N: 
-- ФИО работника: 
-- Должность работника: 
-- Название обучающего мероприятия, форума, конференции: 
-- Наименование обучающей организации: 
-- Сроки обучения: 
-- Стоимость обучения, бел. руб.: 
-
-### Строка 3
-- N: 
-- ФИО работника: 
-- Должность работника: 
-- Название обучающего мероприятия, форума, конференции: 
-- Наименование обучающей организации: 
-- Сроки обучения: 
-- Стоимость обучения, бел. руб.: 
-Начальник сектора УЧР                                           И.О.Фамилия
-
-Справочно: данная информация направляется в УОП ЦРП по корпоративной ЭПОН не позднее 1-го числа месяца, следующего за отчетным месяцем.
-####
-Вывод:
-1. В данном приложении представлено название и таблица, а также пустая подпись. Основная суть приложения в названии. Таблица пустая, значит это шаблон. Можно переписать пустые поля, которые участвуют в заполнении. Также в конце есть место для подписи. И справочная информация, которая является семантически значимой.
-2. [Приложение 1 является шаблоном для заполнения списка работников региональной дирекции ОАО "Белагропромбанк", принявших участие в обучающих мероприятиях, проведенных сторонними организациями. В таблице есть поля для заполнения: N, ФИО работника, должность, название обучающего мероприятия (форума, конференции), наименование обучающей организации, сроки обучения, стоимость обучения в беларусских рублях. В конце требуется подпись начальника сектора УЧР. Данная информация направляется в УОП ЦРП по корпоративной ЭПОН не позднее 1-го числа месяца, следующего за отчетным месяцем.]
-####
-Пример 3
-####
-[Источник] - Положение об обучении и развитии работников ОАО Белагропромбанк
-Приложение 6
-к Положению об обучении и
-развитии работников
-ОАО "Белагропромбанк"
-
-                              ХАРАКТЕРИСТИКА
-
-####
-Вывод:
-1. В данном приложении только заголовок "Характеристика". Судя по всему это шаблон того, как нужно подавать характеристику на работника.
-2. [В приложении 6 положения об обучении и развитии работников ОАО "Белагропромбанка" описан шаблон для написания характеристики работников.]
-####
-Пример 4
-####
-[Источник] - Положение об обучении и развитии работников ОАО Белагропромбанк
-Приложение 2
-к Положению об обучении и
-развитии работников
-ОАО "Белагропромбанк"
-(в ред. Решения Правления ОАО "Белагропромбанк"
-от 29.09.2023 N 73)
-
-ДОКЛАДНАЯ ЗАПИСКА
-__.__.20__ N__-__/__
-г.________
-
-О направлении на внутреннюю
-стажировку
-
-####
-Вывод:
-1. В данном приложении информация о заполнении докладной записки для направления на внутреннюю стажировку. Судя по всему это форма того, как нужно оформлять данную записку.
-2. [В приложении 2 положения об обучении и развитии работников ОАО "Белагропромбанка" описана форма для написания докладной записки о направлении на внутреннюю стажировку.]
-####
-Пример 5
-####
-[Источник] - Положение о банке ОАО Белагропромбанк
-Приложение 9
-####
-Вывод:
-1. В данном приложении отсутствует какая либо информация. Или вы неправильно подали мне данные. Я должен написать в скобка %%.
-2. [%%]
-####
-Далее будет реальное приложение. Ты должен ответить только на реальное приложение.
-####
-{replace_me}
-####
-Вывод:
-"""

components/services/entity.py

@@ -185,7 +185,6 @@ class EntityService:
         self,
         query: str,
         dataset_id: int,
-        k: int | None = None,
     ) -> tuple[np.ndarray, np.ndarray, np.ndarray]:
         """
         Поиск похожих сущностей.
@@ -193,7 +192,6 @@ class EntityService:
         Args:
             query: Текст запроса
             dataset_id: ID датасета
-            k: Максимальное количество возвращаемых результатов (по умолчанию - все).
 
         Returns:
             tuple[np.ndarray, np.ndarray, np.ndarray]:
@@ -201,20 +199,14 @@ class EntityService:
                 - Оценки сходства
                 - Идентификаторы найденных сущностей
         """
-        logger.info(f"Searching similar entities for dataset {dataset_id} with k={k}")
-        # Убедимся, что индекс для нужного датасета загружен
+        # Убеждаемся, что FAISS инициализирован для текущего датасета
         self._ensure_faiss_initialized(dataset_id)
 
         if self.faiss_search is None:
-            logger.warning(
-                f"FAISS search not initialized for dataset {dataset_id}. Returning empty results."
-            )
             return np.array([]), np.array([]), np.array([])
 
-        # Выполняем поиск с использованием параметра k
-        query_vector, scores, ids = self.faiss_search.search_vectors(query, max_entities=k)
-        logger.info(f"Found {len(ids)} similar entities.")
-        return query_vector, scores, ids
+        # Выполняем поиск
+        return self.faiss_search.search_vectors(query)
 
     def search_similar(
         self,

main.py

@@ -1,8 +1,8 @@
 import logging
 import os
-from contextlib import asynccontextmanager  # noqa: F401
+from contextlib import asynccontextmanager
 from pathlib import Path
-from typing import Annotated  # noqa: F401
+from typing import Annotated
 
 import dotenv
 import uvicorn
@@ -10,26 +10,28 @@ from fastapi import FastAPI
 from fastapi.middleware.cors import CORSMiddleware
 from transformers import AutoModel, AutoTokenizer
 
-from common import dependencies as DI  # noqa: F401
+# from routes.acronym import router as acronym_router
+from common import dependencies as DI
 from common.common import configure_logging
 from common.configuration import Configuration
-from routes.auth import router as auth_router
 from routes.dataset import router as dataset_router
 from routes.document import router as document_router
 from routes.entity import router as entity_router
-from routes.evaluation import router as evaluation_router
 from routes.llm import router as llm_router
 from routes.llm_config import router as llm_config_router
 from routes.llm_prompt import router as llm_prompt_router
+from routes.auth import router as auth_router
+
+# from main_before import config
 
-# Защита от автоудаления линтером
-_ = DI
-_ = Annotated
-_ = asynccontextmanager
 
 # Загружаем переменные из .env
 dotenv.load_dotenv()
 
+# from routes.feedback import router as feedback_router
+# from routes.llm import router as llm_router
+# from routes.log import router as log_router
+
 CONFIG_PATH = os.environ.get('CONFIG_PATH', 'config_dev.yaml')
 print("config path: ")
 print(CONFIG_PATH)
@@ -64,20 +66,20 @@ app.add_middleware(
 )
 
 app.include_router(llm_router)
+# app.include_router(log_router)
+# app.include_router(feedback_router)
 app.include_router(dataset_router)
 app.include_router(document_router)
 app.include_router(llm_config_router)
 app.include_router(llm_prompt_router)
 app.include_router(entity_router)
-app.include_router(evaluation_router)
 app.include_router(auth_router)
 
-
 if __name__ == "__main__":
     uvicorn.run(
         "main:app",
         host="localhost",
-        port=7860,
+        port=8885,
         reload=False,
-        workers=1
+        workers=2
     )

routes/entity.py

@@ -91,7 +91,7 @@ async def search_entities_with_text(
     try:
         # Получаем результаты поиска
         _, scores, entity_ids = entity_service.search_similar_old(
-            request.query, request.dataset_id, 100
+            request.query, request.dataset_id
         )
 
         # Проверяем, что scores и entity_ids - корректные numpy массивы

routes/llm.py

@@ -70,13 +70,16 @@ def insert_search_results_to_message(
     return False
 
 def try_insert_search_results(
-    chat_request: ChatRequest, search_results: str
+    chat_request: ChatRequest, search_results: List[str], entities: List[List[str]]
 ) -> bool:
+    i = 0
     for msg in reversed(chat_request.history):
-        if msg.role == "user":
-            msg.searchResults = search_results
-            msg.searchEntities = []
-            return True
+        if msg.role == "user" and not msg.searchResults:
+            msg.searchResults = search_results[i]
+            msg.searchEntities = entities[i]
+            i += 1
+    if i == len(search_results):
+        return True
     return False
 
 def try_insert_reasoning(
@@ -105,14 +108,12 @@ def collapse_history_to_first_message(chat_request: ChatRequest) -> ChatRequest:
         if msg.content.strip():
             collapsed_content.append(f"{msg.role.strip()}: {msg.content.strip()}")
         # Добавляем reasoning, если есть
-        # if msg.reasoning.strip():
-        #     collapsed_content.append(f"<reasoning>{msg.reasoning}</reasoning>")
+        if msg.reasoning.strip():
+            collapsed_content.append(f"<reasoning>{msg.reasoning}</reasoning>")
         # Добавляем search-results, если они есть
         if msg.searchResults.strip():
             collapsed_content.append(f"<search-results>{msg.searchResults}</search-results>")
-            
 
-    collapsed_content.append(f"\n####\nassistant:")
     # Формируем финальный текст с переносами строк
     new_content = "\n".join(collapsed_content)
 
@@ -133,17 +134,6 @@ async def sse_generator(request: ChatRequest, llm_api: DeepInfraApi, system_prom
     Генератор для стриминга ответа LLM через SSE.
     """
     try:
-        old_history = request.history
-        new_history = [Message(
-            role=msg.role,
-            content=msg.content,
-            reasoning=msg.reasoning,
-            searchResults='', #msg.searchResults[:10000] + "..." if msg.searchResults else '',
-            searchEntities=[],
-        ) for msg in old_history]
-        request.history = new_history
-        
-        
         qe_result = await dialogue_service.get_qe_result(request.history)
         try_insert_reasoning(request, qe_result.debug_message)
         
@@ -172,12 +162,12 @@ async def sse_generator(request: ChatRequest, llm_api: DeepInfraApi, system_prom
             dataset = dataset_service.get_current_dataset()
             if dataset is None:
                 raise HTTPException(status_code=400, detail="Dataset not found")
-            _, chunk_ids, scores = entity_service.search_similar(
-                qe_result.search_query, 
-                dataset.id, 
-                [],
-            )
+            previous_entities = [msg.searchEntities for msg in request.history if msg.searchEntities is not None]
+            previous_entities, chunk_ids, scores = entity_service.search_similar(qe_result.search_query, 
+                                                                                 dataset.id, previous_entities)
             text_chunks = entity_service.build_text(chunk_ids, scores)
+            all_text_chunks = [text_chunks] + [entity_service.build_text(entities) for entities in previous_entities]
+            all_entities = [chunk_ids] + previous_entities
             
             search_results_event = {
                 "event": "search_results",
@@ -190,7 +180,7 @@ async def sse_generator(request: ChatRequest, llm_api: DeepInfraApi, system_prom
 
             # new_message = f'<search-results>\n{text_chunks}\n</search-results>\n{last_query.content}'
             
-            try_insert_search_results(request, text_chunks)
+            try_insert_search_results(request, all_text_chunks, all_entities)
     except Exception as e:
         logger.error(f"Error in SSE chat stream while searching: {str(e)}", stack_info=True)
         yield "data: {\"event\": \"error\", \"data\":\""+str(e)+"\" }\n\n"