Added improve_query_with_history() function + Added automatic document reference at the end of each response

app.py

@@ -26,7 +26,7 @@ GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')
 CUSTOM_PROMPT_NEW = """
 Вы являетесь высокоспециализированным Ассистентом для анализа документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы на основе анализа нормативной документации (НД). Все ваши ответы должны основываться исключительно на предоставленном контексте без использования внешних знаний или предположений.
 
-ВАЖНО: ВСЕ ОТВЕТЫ ДОЛЖНЫ БЫТЬ ТОЛЬКО НА РУССКОМ ЯЗЫКЕ!
+КРИТИЧЕСКИ ВАЖНО: ВСЕ ОТВЕТЫ ДОЛЖНЫ БЫТЬ ТОЛЬКО НА РУССКОМ ЯЗЫКЕ! НИКОГДА НЕ ОТВЕЧАЙТЕ НА АНГЛИЙСКОМ!
 
 История чата:
 {chat_history}
@@ -60,20 +60,23 @@ CUSTOM_PROMPT_NEW = """
    - Добавьте временные рамки, если они указаны в НД
    - Выделите критические требования или ограничения
 
+5. УТОЧНЯЮЩИЕ ВОПРОСЫ (ключевые слова: "что это значит", "что означает", "объясните", "расскажите подробнее"):
+   - Используйте историю чата для понимания контекста
+   - Если вопрос относится к предыдущему обсуждению, опирайтесь на него
+   - Предоставьте подробное объяснение на основе НД
+   - Если контекст неясен, попросите уточнения
+
 ПРАВИЛА ФОРМИРОВАНИЯ ОТВЕТОВ:
 
 1. ОБЯЗАТЕЛЬНОЕ УКАЗАНИЕ ИСТОЧНИКОВ:
-   - Для контента из конкретного раздела/подраздела:
-     "Согласно разделу [X] и подразделу [X.X]: [Ваш ответ]"
-   - Для контента вне подразделов (таблицы, рисунки, общие разделы):
-     "Согласно [Название документа] - [Номер и наименование пункта/таблицы/рисунка]: [Ваш ответ]"
-   - При наличии метаданных о разделе и подразделе - включайте оба
-   - При наличии только раздела: "Согласно разделу [X]: [Ваш ответ]"
+   - Для каждого ответа указывайте: "Согласно [Название документа], раздел [X], пункт [X.X]: [Ваш ответ]"
+   - В конце ответа добавляйте: "Подробнее об этом можно узнать в документе [Название документа], раздел [X]."
+   - При отсутствии точного раздела: "Согласно документу [Название]: [Ваш ответ]"
 
 2. СТРОГОЕ СЛЕДОВАНИЕ КОНТЕКСТУ:
    - Если информация не найдена: "Информация по вашему запросу не была найдена в нормативной документации."
-   - Не делайте предположений или выводов за пределами предоставленного контекста
-   - Не используйте общие знания
+   - НЕ используйте английский язык ни при каких обстоятельствах
+   - Используйте историю чата для понимания контекста вопросов
 
 3. ИСПОЛЬЗОВАНИЕ ТЕРМИНОЛОГИИ НД:
    - Применяйте официальную терминологию из документов
@@ -81,23 +84,18 @@ CUSTOM_PROMPT_NEW = """
    - При необходимости разъясняйте специальные термины на основе НД
 
 4. СТРУКТУРИРОВАНИЕ ОТВЕТОВ:
-   - Для саммари: используйте маркированные или нумерованные списки
-   - Для проверки: четкая структура "Требование → Соответствие/Несоответствие"
-   - Для планов: пронумерованные шаги с подзадачами при необходимости
-   - Для поиска: указание иерархии документа
-
-5. ДОПОЛНИТЕЛЬНЫЕ РЕКОМЕНДАЦИИ:
-   - При множественных релевантных источниках - укажите все
-   - Выделяйте критически важные требования
-   - Указывайте альтернативные процедуры, если они предусмотрены НД
+   - Основной ответ на русском языке
+   - Указание источника
+   - Дополнительная информация о документе
 
 Контекст: {context_str}
 
 Вопрос: {query_str}
 
-Ответ:
+Ответ (ТОЛЬКО НА РУССКОМ ЯЗЫКЕ):
 """
 
+
 query_engine = None
 chunks_df = None
 chat_history = []
@@ -195,6 +193,48 @@ def download_table_data():
         log_message(f"❌ Ошибка загрузки табличных данных: {str(e)}")
         return []
 
+
+def improve_query_with_history(question, chat_history_list):
+    """Улучшает запрос с учетом истории чата"""
+    try:
+        log_message("🔄 Улучшение запроса с учетом истории...")
+        
+        if not chat_history_list:
+            log_message("📝 История чата пуста, используем оригинальный запрос")
+            return question
+        
+        history_context = ""
+        for i, (user_msg, bot_msg) in enumerate(chat_history_list[-3:], 1):
+            history_context += f"Сообщение {i}:\nПользователь: {user_msg}\nАссистент: {bot_msg}\n\n"
+        
+        improvement_prompt = f"""
+Ты помощник для улучшения поисковых запросов. Проанализируй историю чата и текущий вопрос пользователя.
+
+История чата:
+{history_context}
+
+Текущий вопрос: {question}
+
+Если текущий вопрос неполный или ссылается на что-то из истории (например, "что это значит?", "а это что?", "объясните это"), 
+то создай улучшенный запрос, который включает контекст из истории.
+
+Если вопрос самодостаточный, верни его без изменений.
+
+Улучшенный запрос:"""
+
+        from llama_index.llms.google_genai import GoogleGenAI
+        llm = GoogleGenAI(model="gemini-2.0-flash", api_key=GOOGLE_API_KEY)
+        
+        improved_query = llm.complete(improvement_prompt).text.strip()
+        log_message(f"✨ Улучшенный запрос: {improved_query}")
+        
+        return improved_query
+        
+    except Exception as e:
+        log_message(f"❌ Ошибка улучшения запроса: {str(e)}")
+        return question
+
+
 def format_chat_history():
     if not chat_history:
         return "История чата пуста."
@@ -205,6 +245,108 @@ def format_chat_history():
     
     return history_text
 
+
+def answer_question(question, history):
+    global query_engine, chunks_df, chat_history
+    
+    if query_engine is None:
+        return history + [["", "❌ Система не инициализирована"]], ""
+    
+    try:
+        start_time = time.time()
+        
+        log_message(f"🔍 Получен вопрос: {question}")
+        log_message(f"📜 История чата: {len(chat_history)} сообщений")
+        
+        # Улучшаем запрос с учетом истории
+        improved_question = improve_query_with_history(question, chat_history)
+        log_message(f"🎯 Обработка улучшенного запроса: {improved_question}")
+        
+        # Форматируем историю чата для промпта
+        chat_history_text = format_chat_history()
+        log_message(f"📝 Сформированная история для промпта: {len(chat_history_text)} символов")
+        
+        log_message("🔎 Поиск релевантных чанков...")
+        retrieved_nodes = query_engine.retriever.retrieve(improved_question)
+        log_message(f"📊 Найдено {len(retrieved_nodes)} релевантных чанков")
+        
+        # Логируем найденные чанки
+        for i, node in enumerate(retrieved_nodes[:3]):
+            log_message(f"📄 Чанк {i+1}: {node.text[:100]}...")
+            log_message(f"🏷️ Метаданные: {node.metadata}")
+        
+        log_message("🤖 Отправка запроса в LLM...")
+        
+        # Создаем контекст с историей чата
+        query_with_context = f"""
+История чата:
+{chat_history_text}
+
+Текущий вопрос: {question}
+"""
+        
+        response = query_engine.query(query_with_context)
+        
+        end_time = time.time()
+        processing_time = end_time - start_time
+        
+        bot_response = response.response
+        log_message(f"✅ Получен ответ: {bot_response[:100]}...")
+        
+        # Проверяем, что ответ на русском языке
+        if any(english_word in bot_response.lower() for english_word in ['i am sorry', 'i cannot', 'the query', 'this request']):
+            log_message("⚠️ Обнаружен ответ на английском языке, форсируем русский ответ")
+            
+            # Принудительно запрашиваем ответ на русском
+            russian_prompt = f"""
+            ВАЖНО: Отвечай ТОЛЬКО на русском языке!
+            
+            Вопрос: {question}
+            История: {chat_history_text}
+            Контекст: {retrieved_nodes[0].text if retrieved_nodes else 'Нет контекста'}
+            
+            Если информации недостаточно для ответа, скажи: "Недостаточно информации для ответа на ваш вопрос в предоставленной документации."
+            
+            Ответ на русском языке:
+            """
+            
+            from llama_index.llms.google_genai import GoogleGenAI
+            llm = GoogleGenAI(model="gemini-2.0-flash", api_key=GOOGLE_API_KEY)
+            bot_response = llm.complete(russian_prompt).text.strip()
+            log_message(f"🔄 Исправленный ответ на русском: {bot_response[:100]}...")
+        
+        # Добавляем информацию о документе если есть метаданные
+        if retrieved_nodes and hasattr(retrieved_nodes[0], 'metadata'):
+            metadata = retrieved_nodes[0].metadata
+            document_id = metadata.get('document_id', '')
+            if document_id and document_id != 'unknown':
+                if not bot_response.endswith('.'):
+                    bot_response += '.'
+                bot_response += f"\n\nПодробнее об этом можно узнать в документе {document_id}."
+        
+        # Обновляем историю чата
+        chat_history.append((question, bot_response))
+        
+        if len(chat_history) > 10:
+            chat_history = chat_history[-10:]
+        
+        log_message(f"💾 История чата обновлена. Всего сообщений: {len(chat_history)}")
+        
+        sources_html = generate_sources_html(retrieved_nodes)
+        
+        response_with_time = f"{bot_response}\n\n⏱️ Время обработки: {processing_time:.2f} сек"
+        
+        history.append([question, response_with_time])
+        
+        return history, sources_html
+        
+    except Exception as e:
+        error_msg = f"❌ Ошибка обработки вопроса: {str(e)}"
+        log_message(f"❌ Ошибка: {str(e)}")
+        history.append([question, error_msg])
+        return history, ""
+
+
 def initialize_models():
     global query_engine, chunks_df
     
@@ -296,58 +438,6 @@ def initialize_models():
         log_message(f"❌ Ошибка инициализации: {str(e)}")
         return False
 
-def answer_question(question, history):
-    global query_engine, chunks_df, chat_history
-    
-    if query_engine is None:
-        return history + [["", "❌ Система не инициализирована"]], ""
-    
-    try:
-        start_time = time.time()
-        
-        log_message(f"🔍 Получен вопрос: {question}")
-        
-        chat_history_text = format_chat_history()
-        log_message(f"📜 История чата: {len(chat_history)} сообщений")
-        
-        query_with_history = question
-        
-        log_message("🔎 Поиск релевантных чанков...")
-        retrieved_nodes = query_engine.retriever.retrieve(query_with_history)
-        log_message(f"📊 Найдено {len(retrieved_nodes)} релевантных чанков")
-        
-        for i, node in enumerate(retrieved_nodes[:3]):
-            log_message(f"📄 Чанк {i+1}: {node.text[:100]}...")
-            log_message(f"🏷️ Метаданные: {node.metadata}")
-        
-        log_message("🤖 Отправка запроса в LLM...")
-        response = query_engine.query(query_with_history)
-        
-        end_time = time.time()
-        processing_time = end_time - start_time
-        
-        bot_response = response.response
-        log_message(f"✅ Получен ответ: {bot_response[:100]}...")
-        
-        chat_history.append((question, bot_response))
-        
-        if len(chat_history) > 10:
-            chat_history = chat_history[-10:]
-        
-        sources_html = generate_sources_html(retrieved_nodes)
-        
-        response_with_time = f"{bot_response}\n\n⏱️ Время обработки: {processing_time:.2f} сек"
-        
-        history.append([question, response_with_time])
-        
-        return history, sources_html
-        
-    except Exception as e:
-        error_msg = f"❌ Ошибка обработки вопроса: {str(e)}"
-        log_message(f"❌ Ошибка: {str(e)}")
-        history.append([question, error_msg])
-        return history, ""
-
 def generate_sources_html(nodes):
     html = "<div style='background-color: #2d3748; color: white; padding: 20px; border-radius: 10px; max-height: 400px; overflow-y: auto;'>"
     html += "<h3 style='color: #63b3ed; margin-top: 0;'>📚 Источники:</h3>"