web search ui parse bug fix

requirements.txt

@@ -7,4 +7,4 @@ python-multipart
 psutil
 pydantic-settings
 duckduckgo-search
-PyPDF2
+pypdf

src/ui/callbacks.py

@@ -2,11 +2,14 @@ import os
 import re
 
 import gradio as gr
-import PyPDF2
-from duckduckgo_search import DDGS
 
 from src.core.engine import engine
-from src.utils.helpers import get_clean_text
+from src.utils.helpers import (
+    extract_json_from_text,
+    extract_text_from_file,
+    get_clean_text,
+    web_search,
+)
 
 
 def user_input(user_message, history):
@@ -29,25 +32,6 @@ def set_interactive(is_interactive):
     )
 
 
-def web_search(query: str, max_results: int = 3) -> list:
-    try:
-        with DDGS() as ddgs:
-            results = list(ddgs.text(query, max_results=max_results))
-            formatted_results = []
-            for r in results:
-                formatted_results.append(
-                    {
-                        "title": r.get("title", ""),
-                        "url": r.get("href", ""),
-                        "snippet": r.get("body", ""),
-                    }
-                )
-            return formatted_results
-    except Exception as e:
-        print(f"Ошибка DDGS: {e}")
-        return []
-
-
 def bot_response(
     history, system_prompt, temperature, max_tokens, use_search, uploaded_file
 ):
@@ -60,47 +44,32 @@ def bot_response(
         size_kb = os.path.getsize(uploaded_file) / 1024
         file_info = f"📎 **Файл прочитан:** `{filename}` ({size_kb:.1f} KB)"
 
-        try:
-            if filename.lower().endswith(".pdf"):
-                with open(uploaded_file, "rb") as f:
-                    pdf_reader = PyPDF2.PdfReader(f)
-                    text_parts = [
-                        page.extract_text() or "" for page in pdf_reader.pages
-                    ]
-                    file_content = "\n".join(text_parts)[:40000]
-            else:
-                with open(uploaded_file, "r", encoding="utf-8", errors="ignore") as f:
-                    file_content = f.read(40000)
+        file_content = extract_text_from_file(uploaded_file)[:40000]
+        if len(file_content) >= 40000:
+            file_info += " *(загружен первый сегмент)*"
+        if "[Ошибка" in file_content:
+            file_info = f"❌ **Ошибка файла:** `{filename}`"
 
-            if len(file_content) >= 40000:
-                file_info += " *(загружен первый сегмент)*"
-        except Exception as e:
-            file_info = f"❌ **Ошибка файла:** `{filename}` ({e})"
-
-    # --- 2. ОЧИСТКА И ФОРМИРОВАНИЕ ИСТОРИИ (ИСПРАВЛЕН БАГ ГАЛЛЮЦИНАЦИЙ) ---
+    # --- 2. ОЧИСТКА И ФОРМИРОВАНИЕ ИСТОРИИ ---
     for msg in history[-7:]:
         content = str(msg["content"])
-
         if msg["role"] == "assistant":
-            # 1. Отрезаем UI-плашку статусов (всё, что до разделителя ---)
+            # Удаляем плашки статусов
             if "---\n\n" in content:
                 content = content.split("---\n\n", 1)[-1]
-
-            # 2. Полностью удаляем прошлые размышления модели из контекста,
-            # чтобы они не переполняли память и не путали модель
+            # Тотально вырезаем теги размышлений и HTML спойлеры из контекста!
             content = re.sub(r"<details.*?>.*?</details>", "", content, flags=re.DOTALL)
+            content = re.sub(r"<think>.*?</think>", "", content, flags=re.DOTALL)
             content = content.strip()
-
-            # Если после очистки пусто, ставим заглушку
             if not content:
-                content = "*(размышления скрыты)*"
+                content = "*(ответ скрыт)*"
 
         messages.append({"role": msg["role"], "content": get_clean_text(content)})
 
     history.append({"role": "assistant", "content": "⏳ Инициализация..."})
     yield history
 
-    # --- 3. АГЕНТ ПОИСКА ---
+    # --- 3. АГЕНТ ПОИСКА (ПЕРЕПИСАНО НА JSON) ---
     search_info = ""
     if use_search:
         history[-1]["content"] = (
@@ -108,17 +77,22 @@ def bot_response(
         ) + "🤔 Агент анализирует необходимость поиска..."
         yield history
 
+        # Просим модель отвечать ТОЛЬКО в JSON, запрещаем теги <think> для этой задачи
         agent_messages = [
             {
                 "role": "system",
                 "content": (
                     "Ты системный маршрутизатор. Оцени, нужен ли поиск в интернете для ответа на последний вопрос пользователя. "
-                    "ПРАВИЛО 1: Рассуждай максимально коротко.\n"
-                    "ПРАВИЛО 2: В самом конце, после своих мыслей, ОБЯЗАТЕЛЬНО выведи результат СТРОГО в формате [QUERY: твой поисковый запрос] или [QUERY: NO_SEARCH]."
+                    "Ответь СТРОГО в формате JSON. Никаких тегов <think>, никаких рассуждений. Только JSON.\n"
+                    "Формат:\n"
+                    '{"search_needed": true, "query": "твой поисковый запрос"}\n'
+                    "или\n"
+                    '{"search_needed": false, "query": null}'
                 ),
             }
         ]
 
+        # Добавляем последние сообщения пользователя для контекста
         for msg in history[-3:]:
             if msg["role"] == "user":
                 agent_messages.append({"role": "user", "content": msg["content"]})
@@ -126,25 +100,18 @@ def bot_response(
         try:
             eval_response = engine.generate(
                 messages=agent_messages,
-                max_tokens=800,  # Даем больше токенов для размышлений
-                temperature=0.1,
+                max_tokens=150,
+                temperature=0.0,  # Обязательно 0 для роутера, чтобы не фантазировал!
                 stream=False,
             )
 
-            raw_query = eval_response["choices"][0]["message"]["content"]
-
-            # Ищем строгий формат вывода, игнорируя весь остальной текст и теги
-            query_match = re.search(r"\[QUERY:\s*(.*?)\]", raw_query)
+            raw_response = eval_response["choices"][0]["message"]["content"]
+            parsed_json = extract_json_from_text(raw_response)
 
-            if query_match:
-                clean_query = (
-                    query_match.group(1).strip().replace('"', "").replace("'", "")
-                )
-            else:
-                # Фолбэк на случай сбоя модели
-                clean_query = "NO_SEARCH"
+            search_needed = parsed_json.get("search_needed", False)
+            clean_query = parsed_json.get("query", None)
 
-            if clean_query and clean_query.upper() != "NO_SEARCH":
+            if search_needed and clean_query:
                 search_info = f'🌐 Ищем: *"{clean_query}"*...'
                 history[-1]["content"] = (
                     f"{file_info + '\n' if file_info else ''}{search_info}"
@@ -161,7 +128,8 @@ def bot_response(
                     for i, r in enumerate(search_results, 1):
                         search_context += f"{i}. {r['title']} ({r['url']})\nСниппет: {r['snippet']}\n\n"
 
-                    messages.append({"role": "system", "content": search_context})
+                    # Инжектим результаты в системный промпт
+                    messages[0]["content"] += f"\n\n{search_context}"
                 else:
                     search_info = (
                         f'🌐 Поиск по запросу *"{clean_query}"* не дал результатов.'
@@ -171,14 +139,11 @@ def bot_response(
 
         except Exception as e:
             print(f"Ошибка при логике Агента: {e}")
-            pass
+            search_info = "⚡ Ошибка роутера. Отвечаю из базы знаний."
 
     if file_content:
-        messages.append(
-            {
-                "role": "system",
-                "content": f"Файл '{os.path.basename(uploaded_file)}':\n\n{file_content}",
-            }
+        messages[0]["content"] += (
+            f"\n\nСодержимое файла '{os.path.basename(uploaded_file)}':\n\n{file_content}"
         )
 
     status_header = (file_info + "\n" if file_info else "") + (
@@ -190,7 +155,7 @@ def bot_response(
     history[-1]["content"] = status_header + "⏳ Генерация ответа..."
     yield history
 
-    # --- 4. СТРИМИНГ И УМНЫЙ UI (UX как в ChatGPT o1) ---
+    # --- 4. СТРИМИНГ И УМНЫЙ UI ---
     try:
         stream = engine.generate(
             messages=messages,
@@ -203,10 +168,9 @@ def bot_response(
             delta = chunk["choices"][0].get("delta", {})
             if delta.get("content"):
                 partial_text += delta["content"]
-
                 display_text = partial_text
 
-                # Если модель начала думать, но еще не закончила (открываем спойлер)
+                # Обработка тегов <think> для UI
                 if "<think>" in partial_text and "</think>" not in partial_text:
                     display_text = (
                         partial_text.replace(
@@ -215,8 +179,6 @@ def bot_response(
                         )
                         + "\n\n</details>"
                     )
-
-                # Если модель закончила думать (закрываем спойлер автоматически!)
                 elif "</think>" in partial_text:
                     display_text = partial_text.replace(
                         "<think>",
@@ -227,5 +189,5 @@ def bot_response(
                 yield history
 
     except Exception as e:
-        history[-1]["content"] = status_header + f"\n\n❌ Ошибка: {str(e)}"
+        history[-1]["content"] = status_header + f"\n\n❌ Ошибка генерации: {str(e)}"
         yield history

src/utils/helpers.py

@@ -1,6 +1,8 @@
+import json
 import os
+import re
 
-import PyPDF2
+import pypdf
 from duckduckgo_search import DDGS
 
 
@@ -13,10 +15,12 @@ def get_clean_text(content):
     if isinstance(content, dict):
         return content.get("text", "")
     if isinstance(content, list):
-        text_parts = [
-            item if isinstance(item, str) else item.get("text", "") for item in content
-        ]
-        return "".join(text_parts)
+        return "".join(
+            [
+                item if isinstance(item, str) else item.get("text", "")
+                for item in content
+            ]
+        )
     return str(content)
 
 
@@ -24,57 +28,56 @@ def extract_text_from_file(file_path):
     """Читает текст из загруженного файла."""
     if not file_path or not os.path.exists(file_path):
         return ""
-
     ext = os.path.splitext(file_path)[1].lower()
     try:
         if ext == ".pdf":
             text = ""
             with open(file_path, "rb") as f:
-                reader = PyPDF2.PdfReader(f)
+                reader = pypdf.PdfReader(f)
                 for page in reader.pages:
-                    text += page.extract_text() + "\n"
+                    text += (page.extract_text() or "") + "\n"
             return text
         else:
-            # Для .txt, .py, .md, .json и др.
-            with open(file_path, "r", encoding="utf-8") as f:
+            with open(file_path, "r", encoding="utf-8", errors="ignore") as f:
                 return f.read()
     except Exception as e:
         return f"[Ошибка чтения файла: {e}]"
 
 
-def web_search(query: str) -> str:
-    """Выполняет поиск в интернете через DuckDuckGo."""
+def web_search(query: str, max_results: int = 3) -> list:
+    """Выполняет поиск в интернете через DuckDuckGo и возвращает список словарей."""
     try:
         with DDGS() as ddgs:
-            results = list(ddgs.text(query, max_results=3))
-        if not results:
-            return "Поиск не дал результатов."
+            results = list(ddgs.text(query, max_results=max_results))
+            if not results:
+                return []
 
-        formatted = []
-        for r in results:
-            formatted.append(
-                f"Title: {r['title']}\nContent: {r['body']}\nSource: {r['href']}"
-            )
-        return "\n\n".join(formatted)
+            formatted_results = []
+            for r in results:
+                formatted_results.append(
+                    {
+                        "title": r.get("title", ""),
+                        "url": r.get("href", ""),
+                        "snippet": r.get("body", ""),
+                    }
+                )
+            return formatted_results
     except Exception as e:
-        return f"[Ошибка поиска: {e}]"
+        print(f"Ошибка DDGS: {e}")
+        return []
 
 
-def get_tools_schema():
-    """Схема инструментов для llama-cpp-python (OpenAI формат)."""
-    return [
-        {
-            "type": "function",
-            "function": {
-                "name": "web_search",
-                "description": "Поиск актуальной информации, новостей или фактов в интернете.",
-                "parameters": {
-                    "type": "object",
-                    "properties": {
-                        "query": {"type": "string", "description": "Поисковый запрос"}
-                    },
-                    "required": ["query"],
-                },
-            },
-        }
-    ]
+def extract_json_from_text(text: str) -> dict:
+    """Безопасно извлекает JSON из ответа модели (даже если есть маркдаун)."""
+    try:
+        # Ищем блок ```json ... ```
+        json_match = re.search(r"```json\s*(.*?)\s*```", text, re.DOTALL)
+        if json_match:
+            return json.loads(json_match.group(1))
+        # Иначе пробуем найти просто фигурные скобки
+        json_match = re.search(r"\{.*\}", text, re.DOTALL)
+        if json_match:
+            return json.loads(json_match.group(0))
+        return {}
+    except Exception:
+        return {}