Update app.py

app.py

@@ -3,73 +3,105 @@ import os
 from langdetect import detect
 from sentence_transformers import SentenceTransformer
 import numpy as np
+import re
 
-# Загрузка текстовых файлов
-def load_text_files():
+# Загрузка и предварительная обработка текстовых файлов
+def load_and_preprocess_files():
     files = {
         "vampires": "vampires.txt",
         "werewolves": "werewolves.txt",
         "humans": "humans.txt"
     }
     
-    loaded_data = {}
-    for key, filename in files.items():
+    knowledge_base = {}
+    for category, filename in files.items():
         try:
             with open(filename, 'r', encoding='utf-8') as file:
-                loaded_data[key] = file.read()
+                content = file.read()
+                # Разбиваем на осмысленные блоки (абзацы)
+                paragraphs = [p.strip() for p in content.split('\n\n') if p.strip()]
+                knowledge_base[category] = paragraphs
         except FileNotFoundError:
             print(f"Файл {filename} не найден")
-            loaded_data[key] = ""
+            knowledge_base[category] = []
     
-    return loaded_data
+    return knowledge_base
 
-# Инициализация модели для поиска (легковесная)
+# Инициализация модели для семантического поиска
 def initialize_search_model():
     return SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
 
-# Поиск наиболее релевантных фрагментов
-def find_relevant_text(question, text_data, model, top_k=3):
-    # Разбиваем тексты на предложения
-    sentences = []
-    sources = []
-    for category, text in text_data.items():
-        if text:
-            for sentence in text.split('\n'):
-                if sentence.strip():
-                    sentences.append(sentence.strip())
-                    sources.append(category)
-    
-    if not sentences:
-        return "Нет данных для анализа"
-    
-    # Эмбеддинги для предложений и вопроса
-    sentence_embeddings = model.encode(sentences)
+# Поиск релевантной информации с улучшенным ранжированием
+def find_relevant_info(question, knowledge_base, model, top_k=3):
+    # Собираем все текстовые фрагменты с их категориями
+    all_fragments = []
+    for category, paragraphs in knowledge_base.items():
+        for para in paragraphs:
+            all_fragments.append((para, category))
+    
+    if not all_fragments:
+        return []
+    
+    # Эмбеддинги для всех фрагментов
+    texts = [f[0] for f in all_fragments]
+    embeddings = model.encode(texts)
     question_embedding = model.encode([question])
     
-    # Поиск наиболее похожих предложений
-    similarities = np.dot(sentence_embeddings, question_embedding.T).flatten()
+    # Вычисляем сходство и выбираем топ фрагментов
+    similarities = np.dot(embeddings, question_embedding.T).flatten()
     top_indices = similarities.argsort()[-top_k:][::-1]
     
-    # Формируем контекст
-    context = "Контекст:\n"
-    for idx in top_indices:
-        context += f"[Из {sources[idx]}]: {sentences[idx]}\n"
-    
-    return context
-
-# Генерация ответа (упрощенная)
-def generate_answer(question, context):
-    # Простейшая логика ответа без LLM
-    if not context.strip():
-        return "Извините, не могу найти информацию по вашему вопросу."
-    
-    return f"""На основе имеющейся информации:
+    return [all_fragments[i] for i in top_indices]
 
-{context}
+# Генерация естественного ответа
+def generate_natural_response(question, relevant_info):
+    if not relevant_info:
+        return "Извините, не нашел информации по вашему вопросу. Попробуйте переформулировать."
+    
+    # Определяем тему вопроса
+    question_type = "о них"
+    if "вампир" in question.lower():
+        question_type = "о вампирах"
+    elif "оборотн" in question.lower() or "волколак" in question.lower():
+        question_type = "об оборотнях"
+    elif "человек" in question.lower() or "люди" in question.lower():
+        question_type = "о людях"
+    
+    # Собираем уникальную информацию
+    unique_info = []
+    seen = set()
+    for para, category in relevant_info:
+        if para not in seen:
+            unique_info.append((para, category))
+            seen.add(para)
+    
+    # Формируем ответ
+    response = f"Вот чт�� мне известно {question_type}:\n\n"
+    
+    for i, (para, category) in enumerate(unique_info, 1):
+        # Упрощаем маркированные списки
+        if para.startswith("- "):
+            para = para.replace("\n- ", "\n• ").replace("- ", "• ")
+        
+        # Добавляем источник только если есть несколько категорий
+        if len(set(c for _, c in unique_info)) > 1:
+            response += f"{i}. ({category.capitalize()}) {para}\n\n"
+        else:
+            response += f"{i}. {para}\n\n"
+    
+    # Добавляем естественное завершение
+    endings = [
+        "Надеюсь, эта информация была полезной!",
+        "Если хотите узнать больше деталей, уточните вопрос.",
+        "Могу уточнить какие-то моменты, если нужно.",
+        "Это основные сведения, которые у меня есть."
+    ]
+    
+    response += np.random.choice(endings)
+    
+    return response
 
-Это все, что я могу сказать по данному вопросу. Если вам нужны более подробные сведения, уточните вопрос."""
-
-# Основная функция обработки
+# Обработка вопроса с улучшенной логикой
 def process_question(question, history):
     # Проверка языка
     try:
@@ -79,34 +111,64 @@ def process_question(question, history):
         pass
     
     # Ленивая загрузка данных и модели
-    if not hasattr(process_question, 'text_data'):
-        process_question.text_data = load_text_files()
+    if not hasattr(process_question, 'knowledge_base'):
+        process_question.knowledge_base = load_and_preprocess_files()
     
     if not hasattr(process_question, 'search_model'):
         process_question.search_model = initialize_search_model()
     
     # Поиск релевантной информации
-    context = find_relevant_text(question, process_question.text_data, process_question.search_model)
+    relevant_info = find_relevant_info(question, process_question.knowledge_base, process_question.search_model)
     
-    # Формирование ответа
-    answer = generate_answer(question, context)
+    # Генерация ответа
+    answer = generate_natural_response(question, relevant_info)
     
     # Обновление истории
     history.append((question, answer))
     
     return "", history
 
-# Создание интерфейса
-with gr.Blocks() as demo:
-    gr.Markdown("## 📚 Чат-бот с доступом к текстовым файлам")
-    gr.Markdown("Задавайте вопросы о вампирах, оборотнях или людях")
-    
-    chatbot = gr.Chatbot(label="Диалог", height=400)
-    msg = gr.Textbox(label="Ваш вопрос", placeholder="Введите вопрос на русском языке...")
-    clear = gr.Button("Очистить чат")
-    
+# Создание интерфейса с улучшенным дизайном
+with gr.Blocks(theme=gr.themes.Soft()) as demo:
+    gr.Markdown("""<h1 style='text-align: center'>🧛‍♂️ Мир сверхъестественного 🐺</h1>""")
+    gr.Markdown("""<div style='text-align: center'>Задавайте вопросы о вампирах, оборотнях и людях на русском языке</div>""")
+    
+    with gr.Row():
+        with gr.Column(scale=2):
+            chatbot = gr.Chatbot(
+                label="Диалог",
+                bubble_full_width=False,
+                avatar_images=(
+                    "https://i.imgur.com/7WqjWaz.png",  # User avatar
+                    "https://i.imgur.com/7uQWsZg.png"   # Bot avatar
+                ),
+                height=500
+            )
+        with gr.Column(scale=1):
+            gr.Markdown("**Примеры вопросов:**")
+            gr.Examples(
+                examples=[
+                    "Какие слабости у вампиров?",
+                    "Как защититься от оборотней?",
+                    "Чем люди отличаются от других существ?",
+                    "Расскажи подробнее о вампирах"
+                ],
+                inputs=[msg]
+            )
+    
+    msg = gr.Textbox(
+        label="Ваш вопрос",
+        placeholder="Введите вопрос и нажмите Enter...",
+        container=False
+    )
+    
+    with gr.Row():
+        submit = gr.Button("Отправить", variant="primary")
+        clear = gr.Button("Очистить историю")
+    
+    submit.click(process_question, [msg, chatbot], [msg, chatbot])
     msg.submit(process_question, [msg, chatbot], [msg, chatbot])
     clear.click(lambda: None, None, chatbot, queue=False)
 
-# Запуск приложения с ограничением ресурсов
-demo.launch(server_name="0.0.0.0", server_port=7860, show_error=True)
+# Запуск приложения
+demo.launch(server_name="0.0.0.0", server_port=7860)