Update src/streamlit_app.py

src/streamlit_app.py

@@ -1,327 +1,243 @@
+import streamlit as st
 import random
-import time
+from googlesearch import search
+from duckduckgo_search import DDGS
+from concurrent.futures import ThreadPoolExecutor
 from urllib.parse import urlparse
+from typing import List, Dict, Any
 
-import streamlit as st
-
-# Google search (неофициальная библиотека)
-try:
-    from googlesearch import search as google_search
-except ImportError:
-    google_search = None
-
-# DuckDuckGo search
-try:
-    from duckduckgo_search import DDGS
-except ImportError:
-    DDGS = None
-
-# ------------------ НАСТРОЙКИ UI ------------------
-
+# --- Конфигурация страницы Streamlit ---
+# Устанавливаем заголовок, иконку и макет страницы.
+# 'wide' макет использует всю ширину экрана.
 st.set_page_config(
-    page_title="Hybrid Search",
+    page_title="Meta-Поисковик",
     page_icon="🔎",
     layout="wide",
+    initial_sidebar_state="auto"
 )
 
-# Кастомные стили
-st.markdown(
+# --- Кастомный CSS для красивого оформления ---
+# Внедряем CSS для стилизации карточек результатов, чтобы они выглядели современно.
+def local_css():
+    st.markdown("""
+        <style>
+            /* Общий контейнер для карточки результата */
+            .result-card {
+                border: 1px solid #e1e4e8;
+                border-radius: 12px;
+                padding: 20px;
+                margin-bottom: 20px;
+                background-color: #ffffff;
+                box-shadow: 0 4px 8px rgba(0,0,0,0.05);
+                transition: box-shadow 0.3s ease-in-out, transform 0.3s ease-in-out;
+            }
+            .result-card:hover {
+                box-shadow: 0 8px 16px rgba(0,0,0,0.1);
+                transform: translateY(-3px);
+            }
+            /* Заголовок-ссылка */
+            .result-title a {
+                color: #0d6efd !important; /* Синий цвет для ссылок */
+                font-size: 1.25em;
+                font-weight: 600;
+                text-decoration: none;
+                display: block;
+                margin-bottom: 5px;
+            }
+            .result-title a:hover {
+                text-decoration: underline;
+            }
+            /* URL сайта */
+            .result-link {
+                color: #586069;
+                font-size: 0.9em;
+                margin-bottom: 10px;
+                word-break: break-all; /* Перенос длинных ссылок */
+            }
+            /* Описание/сниппет */
+            .result-description {
+                color: #24292e;
+                font-size: 1em;
+            }
+            /* Источник (Google/DuckDuckGo) */
+            .result-source {
+                font-size: 0.8em;
+                color: #6a737d;
+                text-align: right;
+                margin-top: 15px;
+                font-weight: 500;
+            }
+            /* Стиль для фавиконок */
+            .favicon {
+                width: 16px;
+                height: 16px;
+                margin-right: 8px;
+                vertical-align: middle;
+            }
+        </style>
+    """, unsafe_allow_html=True)
+
+# Применяем CSS стили
+local_css()
+
+# --- Функции для поиска ---
+
+def get_favicon_url(url: str) -> str:
     """
-    <style>
-    body {
-        background-color: #070B12;
-        color: #f5f5f5;
-        font-family: system-ui, -apple-system, BlinkMacSystemFont, "SF Pro Text", sans-serif;
-    }
-    .main {
-        padding-top: 2rem;
-    }
-    .search-title {
-        font-size: 2.4rem;
-        font-weight: 700;
-        background: linear-gradient(90deg, #7f5dff, #ff6bcb);
-        -webkit-background-clip: text;
-        color: transparent;
-        text-align: center;
-        margin-bottom: 0.3rem;
-    }
-    .search-subtitle {
-        text-align: center;
-        font-size: 0.95rem;
-        color: #9ca3af;
-        margin-bottom: 1.8rem;
-    }
-    .stTextInput>div>div>input {
-        background: radial-gradient(circle at top left, #111827, #020817);
-        border-radius: 999px;
-        border: 1px solid #374151;
-        padding: 0.8rem 1.1rem;
-        color: #e5e7eb;
-        font-size: 0.95rem;
-    }
-    .stTextInput>div>div>input:focus {
-        border-color: #7f5dff;
-        box-shadow: 0 0 0 1px #7f5dff44;
-    }
-    .stButton>button {
-        border-radius: 999px;
-        padding: 0.45rem 1.3rem;
-        background: linear-gradient(90deg, #7f5dff, #ff6bcb);
-        border: none;
-        color: white;
-        font-weight: 600;
-        font-size: 0.9rem;
-        cursor: pointer;
-    }
-    .stButton>button:hover {
-        opacity: 0.93;
-        box-shadow: 0 6px 18px rgba(127,93,255,0.25);
-    }
-    .pill {
-        display: inline-flex;
-        align-items: center;
-        gap: 0.22rem;
-        padding: 0.15rem 0.55rem;
-        border-radius: 999px;
-        font-size: 0.64rem;
-        background-color: #111827;
-        color: #9ca3af;
-        border: 1px solid #1f2937;
-        margin-right: 0.2rem;
-    }
-    .source-google { color: #22c55e; }
-    .source-duck { color: #f97316; }
-    .card {
-        border-radius: 16px;
-        padding: 0.75rem 0.9rem;
-        background: radial-gradient(circle at top left, #020817, #020817);
-        border: 1px solid #111827;
-        margin-bottom: 0.5rem;
-        transition: all 0.18s ease;
-    }
-    .card:hover {
-        border-color: #7f5dff55;
-        box-shadow: 0 5px 14px rgba(0,0,0,0.55);
-        transform: translateY(-1px);
-    }
-    .card-title {
-        font-size: 0.92rem;
-        font-weight: 600;
-        color: #e5e7eb;
-        margin-bottom: 0.15rem;
-    }
-    .card-url {
-        font-size: 0.7rem;
-        color: #64748b;
-        margin-bottom: 0.25rem;
-        word-break: break-all;
-    }
-    .card-snippet {
-        font-size: 0.78rem;
-        color: #9ca3af;
-    }
-    .provider-label {
-        font-size: 0.65rem;
-        font-weight: 500;
-        opacity: 0.9;
-    }
-    .tag-mixed {
-        font-size: 0.64rem;
-        color: #818cf8;
-    }
-    </style>
-    """,
-    unsafe_allow_html=True
-)
-
-# ------------------ ФУНКЦИИ ПОИСКА ------------------
-
+    Получает URL фавиконки для сайта, используя сервис Google.
+    Это делает результаты визуально более привлекательными.
+    """
+    try:
+        domain = urlparse(url).netloc
+        if domain:
+            return f"https://www.google.com/s2/favicons?sz=64&domain_url={domain}"
+    except Exception:
+        pass
+    # Возвращаем заглушку, если не удалось получить домен
+    return "https://i.imgur.com/t3oEtA2.png" # Иконка глобуса по умолчанию
 
-def search_google(query, num_results=10):
-    if google_search is None:
-        return []
+def search_google(query: str, num_results: int) -> List[Dict[str, str]]:
+    """
+    Выполняет поиск в Google и форматирует результаты.
+    Использует try-except для обработки возможных ошибок сети или блокировок.
+    """
+    st.write(f"🔍 Запускаю поиск в Google для '{query}'...")
+    results = []
     try:
-        urls = list(
-            google_search(
-                query,
-                num=num_results,
-                stop=num_results,
-                lang="en",
-            )
-        )
-        results = []
-        for u in urls:
-            results.append(
-                {
-                    "title": u,
-                    "url": u,
-                    "snippet": "",
-                    "source": "google",
-                }
-            )
-        return results
+        # Библиотека googlesearch является генератором, поэтому мы его итерируем
+        search_results = search(query, num_results=num_results, lang="ru")
+        for i, url in enumerate(search_results):
+            # В этой библиотеке нет готовых сниппетов, поэтому мы их пропускаем.
+            # Для более сложных решений потребовался бы скрейпинг, что выходит за рамки.
+            parsed_url = urlparse(url)
+            title = parsed_url.path.split('/')[-1].replace('-', ' ').replace('_', ' ') or parsed_url.netloc
+            results.append({
+                "title": title.capitalize(),
+                "link": url,
+                "description": f"Результат из Google. Для получения описания требуется дополнительный парсинг страницы.",
+                "source": "Google"
+            })
+            if i + 1 >= num_results:
+                break
     except Exception as e:
-        st.warning(f"Ошибка Google-поиска: {e}")
-        return []
+        st.error(f"⚠️ Ошибка при поиске в Google: {e}")
+    return results
 
-
-def search_duckduckgo(query, num_results=10):
-    if DDGS is None:
-        return []
+def search_duckduckgo(query: str, num_results: int) -> List[Dict[str, str]]:
+    """
+    Выполняет поиск в DuckDuckGo и форматирует результаты.
+    Эта библиотека возвращает более структурированные данные, включая описание.
+    """
+    st.write(f"🦆 Запускаю поиск в DuckDuckGo для '{query}'...")
+    results = []
     try:
-        results = []
         with DDGS() as ddgs:
-            for r in ddgs.text(query, max_results=num_results):
-                results.append(
-                    {
-                        "title": r.get("title") or r.get("href") or "",
-                        "url": r.get("href") or "",
-                        "snippet": r.get("body") or "",
-                        "source": "duckduckgo",
-                    }
-                )
-        return results
+            # max_results контролирует количество получаемых результатов
+            search_results = ddgs.text(query, region='ru-ru', max_results=num_results)
+            for r in search_results:
+                results.append({
+                    "title": r.get('title', ''),
+                    "link": r.get('href', ''),
+                    "description": r.get('body', ''),
+                    "source": "DuckDuckGo"
+                })
     except Exception as e:
-        st.warning(f"Ошибка DuckDuckGo-поиска: {e}")
-        return []
-
-
-def normalize_url(u: str) -> str:
-    if not u:
-        return ""
-    try:
-        p = urlparse(u)
-        return f"{p.scheme}://{p.netloc}{p.path}"
-    except Exception:
-        return u.strip()
-
+        st.error(f"⚠️ Ошибка при поиске в DuckDuckGo: {e}")
+    return results
 
-def merge_and_shuffle(google_results, duck_results, max_total=20):
-    # Убираем пустые и приводим URL
-    seen = set()
-    merged = []
-
-    def add_unique(item):
-        url_norm = normalize_url(item.get("url", ""))
-        if not url_norm:
-            return
-        key = url_norm.lower()
-        if key in seen:
-            return
-        seen.add(key)
-        clean_item = {
-            "title": item.get("title") or url_norm,
-            "url": url_norm,
-            "snippet": item.get("snippet", ""),
-            "source": item.get("source", ""),
-        }
-        merged.append(clean_item)
-
-    for r in google_results:
-        add_unique(r)
-    for r in duck_results:
-        add_unique(r)
-
-    random.shuffle(merged)
-
-    return merged[:max_total]
-
-
-# ------------------ UI ------------------
-
-st.markdown('<div class="search-title">Hybrid Search</div>', unsafe_allow_html=True)
-st.markdown(
-    '<div class="search-subtitle">Поиск по Google + DuckDuckGo с аккуратным смешиванием результатов.</div>',
-    unsafe_allow_html=True,
-)
-
-with st.container():
-    col1, col2 = st.columns([6, 1.7])
-    with col1:
-        query = st.text_input(
-            "",
-            value="",
-            placeholder="Введите запрос (например, \"latest AI research tools\" или \"новости ИИ\")",
-        )
-    with col2:
-        search_clicked = st.button("🔎 Найти", use_container_width=True)
-
-# Авто-запуск по Enter
-run_search = search_clicked or (query.strip() != "" and "auto_ran" not in st.session_state)
-if run_search and query.strip():
-    st.session_state["auto_ran"] = True
-
-if run_search and query.strip():
-    with st.spinner("Ищем в Google и DuckDuckGo..."):
-        start_time = time.time()
-        g_results = search_google(query, num_results=10)
-        d_results = search_duckduckgo(query, num_results=10)
-        combined = merge_and_shuffle(g_results, d_results, max_total=20)
-        elapsed = time.time() - start_time
-
-    # Инфо о состоянии
-    c1, c2, c3, c4 = st.columns([2, 2, 2, 3])
-    with c1:
-        st.markdown(
-            f'<div class="pill"><span class="provider-label">Google</span> <span class="source-google">{len(g_results)}</span></div>',
-            unsafe_allow_html=True,
-        )
-    with c2:
-        st.markdown(
-            f'<div class="pill"><span class="provider-label">DuckDuckGo</span> <span class="source-duck">{len(d_results)}</span></div>',
-            unsafe_allow_html=True,
-        )
-    with c3:
-        st.markdown(
-            f'<div class="pill"><span class="provider-label">Mixed total</span> <span class="tag-mixed">{len(combined)}</span></div>',
-            unsafe_allow_html=True,
-        )
-    with c4:
-        st.markdown(
-            f'<div class="pill"><span class="provider-label">Time</span> {elapsed:.2f}s</div>',
-            unsafe_allow_html=True,
-        )
-
-    st.markdown("---")
-
-    if not combined:
-        st.info("Ничего не смогли найти или возникла ошибка у обоих источников.")
-    else:
-        for item in combined:
-            src = item.get("source", "")
-            if src == "google":
-                src_label = '<span class="source-google">Google</span>'
-            elif src == "duckduckgo":
-                src_label = '<span class="source-duck">DuckDuckGo</span>'
-            else:
-                src_label = '<span class="tag-mixed">Unknown</span>'
-
-            title = item.get("title") or item["url"]
-            url = item["url"]
-            snippet = item.get("snippet") or ""
-
-            st.markdown(
-                f"""
-                <div class="card">
-                    <div class="card-title">
-                        <a href="{url}" target="_blank" style="color:#e5e7eb;text-decoration:none;">
-                            {title}
-                        </a>
-                    </div>
-                    <div class="card-url">{url}</div>
-                    <div class="card-snippet">{snippet}</div>
-                    <div class="provider-label">Источник: {src_label}</div>
-                </div>
-                """,
-                unsafe_allow_html=True,
-            )
-
-else:
-    st.markdown(
+def display_results(results: List[Dict[str, Any]]):
+    """
+    Отображает отформатированные и стилизованные результаты поиска.
+    """
+    if not results:
+        st.warning("Не удалось найти результаты по вашему запросу. Попробуйте изменить его.")
+        return
+
+    st.subheader(f"Найдено результатов: {len(results)}")
+    
+    # Разделяем на две колонки для более компактного вида на широких экранах
+    col1, col2 = st.columns(2)
+    
+    for i, res in enumerate(results):
+        favicon = get_favicon_url(res["link"])
+        # Отображаем карточку с результатом
+        card_html = f"""
+            <div class="result-card">
+                <h3 class="result-title">
+                    <img src="{favicon}" class="favicon">
+                    <a href="{res['link']}" target="_blank">{res['title']}</a>
+                </h3>
+                <div class="result-link">{res['link']}</div>
+                <p class="result-description">{res['description']}</p>
+                <div class="result-source">Источник: <strong>{res['source']}</strong></div>
+            </div>
         """
-        <div style="text-align:center; margin-top:1rem; color:#6b7280; font-size:0.8rem;">
-            Введите запрос и нажмите «Найти». Результаты будут рандомно перемешаны между Google и DuckDuckGo.
-        </div>
-        """,
-        unsafe_allow_html=True,
-    )
+        # Распределяем результаты по колонкам
+        if i % 2 == 0:
+            with col1:
+                st.markdown(card_html, unsafe_allow_html=True)
+        else:
+            with col2:
+                st.markdown(card_html, unsafe_allow_html=True)
+
+# --- Основная часть приложения ---
+
+# Заголовок и описание
+st.title("🔎 Meta-Поисковик")
+st.markdown("Этот поисковик объединяет и перемешивает результаты из **Google** и **DuckDuckGo**.")
+
+# Боковая панель с настройками
+with st.sidebar:
+    st.header("⚙️ Настройки поиска")
+    num_results_per_engine = st.slider(
+        "Количество результатов от каждого поисковика:",
+        min_value=5,
+        max_value=25,
+        value=10,
+        step=1,
+        help="Выберите, сколько ссылок запросить у Google и DuckDuckGo."
+    )
+
+# Форма для ввода поискового запроса
+with st.form(key="search_form"):
+    search_query = st.text_input(
+        "Введите ваш запрос",
+        placeholder="Например: лучшие фреймворки для Python",
+        key="search_input"
+    )
+    submit_button = st.form_submit_button(label="🚀 Найти!")
+
+# Логика обработки нажатия кнопки
+if submit_button and search_query:
+    # Используем `st.spinner` для отображения индикатора загрузки во время поиска
+    with st.spinner(f"Ищем '{search_query}'... Это может занять несколько секунд."):
+        all_results = []
+        # Запускаем поиск в двух потоках для ускорения процесса
+        with ThreadPoolExecutor(max_workers=2) as executor:
+            # Отправляем задачи на выполнение
+            google_future = executor.submit(search_google, search_query, num_results_per_engine)
+            ddg_future = executor.submit(search_duckduckgo, search_query, num_results_per_engine)
+
+            # Получаем результаты по мере их готовности
+            google_results = google_future.result()
+            ddg_results = ddg_future.result()
+
+        # Объединяем результаты из обоих источников
+        all_results.extend(google_results)
+        all_results.extend(ddg_results)
+
+        # Перемешиваем результаты для "честной" выдачи
+        random.shuffle(all_results)
+        
+        # Сохраняем результаты в состоянии сессии, чтобы они н�� пропадали при взаимодействии с другими элементами
+        st.session_state['search_results'] = all_results
+        st.session_state['last_query'] = search_query
+
+# Отображение результатов, если они есть в состоянии сессии
+if 'search_results' in st.session_state:
+    st.markdown("---") # Горизонтальная линия-разделитель
+    display_results(st.session_state['search_results'])
+
+# Начальная инструкция для пользователя
+else:
+    st.info("Введите поисковый запрос в поле выше и нажмите 'Найти!', чтобы начать.")