Update app.py

app.py

@@ -5,6 +5,7 @@ import requests
 import pytz
 import yaml
 import re
+from bs4 import BeautifulSoup
 from tools.final_answer import FinalAnswerTool
 web_search = DuckDuckGoSearchTool() 
 
@@ -30,40 +31,44 @@ def visit_webpage(url: str) -> str:
     """
     try:
         headers = {
-            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
+            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
+            'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
+            'Referer': 'https://www.google.com/'
         }
         response = requests.get(url, headers=headers, timeout=30)
         
-        # Извлечение заголовков с помощью регулярных выражений
+        # Сначала пытаемся найти заголовки напрямую
         headlines = []
         patterns = [
-            r'<h3[^>]*>(.*?)</h3>',
+            r'<h1[^>]*>(.*?)</h1>',
             r'<h2[^>]*>(.*?)</h2>',
-            r'class="[^"]*title[^"]*">(.*?)</h3>'
+            r'<h3[^>]*>(.*?)</h3>',
+            r'class="[^"]*headline[^"]*"[^>]*>(.*?)</',
+            r'class="[^"]*title[^"]*"[^>]*>(.*?)</'
         ]
         
         for pattern in patterns:
             found = re.findall(pattern, response.text, re.DOTALL | re.IGNORECASE)
             headlines.extend(found)
-            if len(headlines) >= 5:
-                break
         
-        # Очистка заголовков
+        # Очистка заголовков от HTML-тегов
         cleaned_headlines = []
         for headline in headlines:
             clean = re.sub(r'<[^>]+>', '', headline).strip()
-            if 10 < len(clean) < 200:
+            if 10 < len(clean) < 200 and not clean.startswith('{') and not clean.startswith('.'):
                 cleaned_headlines.append(clean)
         
-        # Возврат текста с заголовками
+        # Возврат заголовков
         if cleaned_headlines:
-            headlines_text = "Заголовки:\n" + "\n".join(cleaned_headlines[:5]) + "\n\n"
-            return headlines_text + response.text
+            return "Заголовки новостей:\n" + "\n".join(cleaned_headlines[:10])
         
-        return response.text
+        # Если не нашли заголовки, вернем часть текста страницы
+        text_content = re.sub(r'<[^>]+>', ' ', response.text)
+        text_content = re.sub(r'\s+', ' ', text_content).strip()
+        return "Содержимое страницы (фрагмент):\n" + text_content[:1000]
     
     except Exception as e:
-        return f"Error fetching webpage: {str(e)}"
+        return f"Ошибка при загрузке страницы: {str(e)}"
         
 final_answer = FinalAnswerTool()
 
@@ -87,14 +92,17 @@ with open("prompts.yaml", 'r') as stream:
     
 agent = CodeAgent(
     model=model,
-    tools=[web_search, visit_webpage, final_answer], ## add your tools here (don't remove final answer)
+    tools=[web_search, visit_webpage, final_answer],
     max_steps=5,
     verbosity_level=1,
     grammar=None,
     planning_interval=None,
     name=None,
     description=None,
-    prompt_templates=prompt_templates
+    prompt_templates=prompt_templates,
+    authorized_imports=['itertools', 're', 'queue', 'random', 'stat', 
+                        'datetime', 'collections', 'math', 'statistics', 
+                        'unicodedata', 'time', 'bs4']  
 )