Update app.py

app.py

@@ -1,25 +1,38 @@
-import json
 import os
-import tempfile
+import io
+import json
 
 import numpy as np
 import pandas as pd
-import gradio as gr
+import streamlit as st
 from sentence_transformers import SentenceTransformer
+from huggingface_hub import hf_hub_download
+
+# ==========================
+# НАСТРОЙКИ ПРИЛОЖЕНИЯ
+# ==========================
 
-# ==== ФАЙЛЫ ВНУТРИ SPACE ====
-ALL_DATA_PATH = "ALL_data.xlsx"              # лежит в корне репозитория
-EMBEDDINGS_PATH = "embeddings_full.json"     # общий файл эмбеддингов
-# =============================
+st.set_page_config(
+    page_title="Поиск релевантных диссертаций",
+    layout="wide",
+)
 
-# ==== ЗАГРУЖАЕМ ДАННЫЕ ====
+# ---- Hugging Face ----
+# Секрет HF_TOKEN нужно задать в Settings → Variables and secrets вашего Space.
+HF_TOKEN = os.getenv("HF_TOKEN")
 
-print("Загружаю Excel с метаданными...")
-df_all = pd.read_excel(ALL_DATA_PATH)
+# repo_id приватного датасета с файлами ALL_data.xlsx и embeddings_full.json
+# Можешь зашить строкой или задать в переменной окружения HF_DATA_REPO.
+HF_DATA_REPO = os.getenv("HF_DATA_REPO", "username/dissertation-search-data")
 
-df_all["registration_number"] = df_all["registration_number"].astype(str)
-df_all = df_all.set_index("registration_number", drop=False)
+# Имена файлов в датасете
+ALL_DATA_FILENAME = "ALL_data.xlsx"
+EMBEDDINGS_FILENAME = "embeddings_full.json"
 
+# Модель для эмбеддингов
+MODEL_NAME = os.getenv("MODEL_NAME", "intfloat/multilingual-e5-base")
+
+# Порядок колонок в выдаче
 COLUMNS_ORDER = [
     "registration_number",
     "name",
@@ -32,22 +45,75 @@ COLUMNS_ORDER = [
     "abstract",
 ]
 
-print("Загружаю эмбеддинги...")
-with open(EMBEDDINGS_PATH, "r", encoding="utf-8") as f:
-    emb_data = json.load(f)
 
-reg_nums = [str(item["registration_number"]) for item in emb_data]
-emb_matrix = np.array([item["embedding"] for item in emb_data], dtype="float32")
+if HF_TOKEN is None:
+    st.error(
+        "Не найден секрет `HF_TOKEN`. "
+        "Задайте его в Settings → Variables and secrets вашего Space."
+    )
+    st.stop()
+
+
+# ==========================
+# ЗАГРУЗКА ДАННЫХ И МОДЕЛИ
+# ==========================
+
+@st.cache_data(show_spinner="Скачиваю и загружаю данные из приватного датасета...")
+def load_data():
+    # Скачиваем файлы из приватного датасета с помощью токена
+    all_data_path = hf_hub_download(
+        repo_id=HF_DATA_REPO,
+        filename=ALL_DATA_FILENAME,
+        repo_type="dataset",
+        token=HF_TOKEN,
+    )
+
+    embeddings_path = hf_hub_download(
+        repo_id=HF_DATA_REPO,
+        filename=EMBEDDINGS_FILENAME,
+        repo_type="dataset",
+        token=HF_TOKEN,
+    )
+
+    # Загружаем Excel с метаданными
+    df_all = pd.read_excel(all_data_path)
+    df_all["registration_number"] = df_all["registration_number"].astype(str)
+    df_all = df_all.set_index("registration_number", drop=False)
+
+    # Загружаем эмбеддинги
+    with open(embeddings_path, "r", encoding="utf-8") as f:
+        emb_data = json.load(f)
+
+    reg_nums = [str(item["registration_number"]) for item in emb_data]
+    emb_matrix = np.array(
+        [item["embedding"] for item in emb_data],
+        dtype="float32",
+    )
+
+    # Нормируем эмбеддинги
+    norms = np.linalg.norm(emb_matrix, axis=1, keepdims=True)
+    emb_matrix = emb_matrix / np.maximum(norms, 1e-8)
+
+    return df_all, reg_nums, emb_matrix
 
-norms = np.linalg.norm(emb_matrix, axis=1, keepdims=True)
-emb_matrix = emb_matrix / np.maximum(norms, 1e-8)
 
-MODEL_NAME = "intfloat/multilingual-e5-base"
-print(f"Загружаю модель {MODEL_NAME}...")
-model = SentenceTransformer(MODEL_NAME)
+@st.cache_resource(show_spinner="Загружаю модель для эмбеддингов...")
+def load_model():
+    model = SentenceTransformer(MODEL_NAME)
+    return model
 
 
-# ==== ЛОГИКА ПОИСКА ====
+try:
+    df_all, reg_nums, emb_matrix = load_data()
+    model = load_model()
+except Exception as e:
+    st.error(f"Ошибка при загрузке данных или модели: {e}")
+    st.stop()
+
+
+# ==========================
+# ЛОГИКА ПОИСКА
+# ==========================
 
 def search_core(query: str, top_k: int = 10):
     query = query.strip()
@@ -68,11 +134,13 @@ def search_core(query: str, top_k: int = 10):
 
     results = []
     for rank, idx in enumerate(top_idx, start=1):
-        results.append({
-            "rank": rank,
-            "registration_number": reg_nums[idx],
-            "score": float(scores[idx]),
-        })
+        results.append(
+            {
+                "rank": rank,
+                "registration_number": reg_nums[idx],
+                "score": float(scores[idx]),
+            }
+        )
 
     return results
 
@@ -95,10 +163,7 @@ def build_result_df(results):
         }
 
         for col in COLUMNS_ORDER:
-            if col in meta.index:
-                row[col] = meta[col]
-            else:
-                row[col] = None
+            row[col] = meta.get(col, None)
 
         rows.append(row)
 
@@ -111,11 +176,6 @@ def build_result_df(results):
 
 
 def run_search(query: str, top_k: int):
-    """
-    Возвращает:
-    - DataFrame с результатами
-    - путь к Excel-файлу с этими результатами
-    """
     query = query.strip()
     if not query:
         empty_df = pd.DataFrame(columns=["№", "score"] + COLUMNS_ORDER)
@@ -124,66 +184,94 @@ def run_search(query: str, top_k: int):
     results = search_core(query, top_k)
     df_res = build_result_df(results)
 
-    # Сохраняем во временный Excel
-    fd, excel_path = tempfile.mkstemp(suffix=".xlsx")
-    os.close(fd)
-    df_res.to_excel(excel_path, index=False)
-
-    return df_res, excel_path
-
+    # Формируем Excel в памяти
+    output = io.BytesIO()
+    with pd.ExcelWriter(output, engine="xlsxwriter") as writer:
+        df_res.to_excel(writer, index=False)
+    output.seek(0)
 
-def clear_all():
-    """
-    Очистка: пустой запрос, пустая таблица, отсутствие файла.
-    """
-    empty_df = pd.DataFrame(columns=["№", "score"] + COLUMNS_ORDER)
-    return "", empty_df, None
+    return df_res, output
 
 
-# ==== UI НА BLOCKS ====
+# ==========================
+# UI НА STREAMLIT
+# ==========================
 
-with gr.Blocks() as demo:
-    gr.Markdown("## Поиск релевантных диссертаций")
+st.title("Поиск релевантных диссертаций")
+st.caption(
+    "Введите текстовый запрос на естественном языке, например: "
+    "«пластификаторы для самоуплотняющихся бетонов»."
+)
 
-    with gr.Row():
-        query = gr.Textbox(
-            label="Запрос",
-            lines=3,
-            placeholder="Например: пластификаторы для самоуплотняющихся бетонов",
-        )
-
-    top_k = gr.Slider(
-        label="Сколько результатов показать",
-        minimum=1,
-        maximum=100,
-        step=1,
-        value=20,
+with st.sidebar:
+    st.subheader("Параметры поиска")
+    query = st.text_area(
+        "Запрос",
+        height=120,
+        placeholder="Например: пластификаторы для самоуплотняющихся бетонов",
     )
-
-    with gr.Row():
-        search_btn = gr.Button("Поиск")
-        clear_btn = gr.Button("Очистить")
-
-    # ТАБЛИЦА ПОД КНОПКАМИ
-    results_df = gr.Dataframe(
-        label="Результаты поиска",
-        interactive=True,  # можно выделять и копировать текст
-    )
-    excel_file = gr.File(label="Скачать таблицу (Excel)")
-
-    # Клик по "Поиск"
-    search_btn.click(
-        fn=run_search,
-        inputs=[query, top_k],
-        outputs=[results_df, excel_file],
-    )
-
-    # Клик по "Очистить"
-    clear_btn.click(
-        fn=clear_all,
-        inputs=[],
-        outputs=[query, results_df, excel_file],
+    top_k = st.slider(
+        "Сколько результатов показать",
+        min_value=1,
+        max_value=100,
+        value=20,
+        step=1,
     )
 
-if __name__ == "__main__":
-    demo.launch()
+    col_btn1, col_btn2 = st.columns(2)
+    with col_btn1:
+        do_search = st.button("🔍 Поиск", type="primary")
+    with col_btn2:
+        clear = st.button("🧹 Очистить")
+
+    if clear:
+        # Полный сброс состояния
+        st.session_state.clear()
+        st.experimental_rerun()
+
+# Основная область
+if do_search:
+    with st.spinner("Идёт поиск по базе диссертаций..."):
+        df_res, excel_bytes = run_search(query, top_k)
+
+    if df_res.empty:
+        st.warning("Ничего не найдено. Попробуйте изменить формулировку запроса.")
+    else:
+        st.success(f"Найдено записей: {len(df_res)}")
+
+        # Можно разделить на вкладки: таблица и детали по столбцам
+        tab_table, tab_info = st.tabs(["Таблица результатов", "Описание полей"])
+
+        with tab_table:
+            st.dataframe(
+                df_res,
+                use_container_width=True,
+            )
+
+            if excel_bytes is not None:
+                st.download_button(
+                    label="💾 Скачать результаты в Excel",
+                    data=excel_bytes,
+                    file_name="search_results.xlsx",
+                    mime=(
+                        "application/vnd.openxmlformats-officedocument."
+                        "spreadsheetml.sheet"
+                    ),
+                )
+
+        with tab_info:
+            st.markdown(
+                """
+**Пояснения к полям:**
+
+- `registration_number` — регистрационный номер диссертации  
+- `name` — название работы  
+- `author_surname`, `author_name`, `author_patronymic` — ФИО автора  
+- `author_organization__short_name` — организация автора  
+- `dissertation_type` — тип диссертации  
+- `created_date` — дата создания / регистрации  
+- `abstract` — аннотация
+                """
+            )
+else:
+    st.info("Введите запрос в левом сайдбаре и нажмите кнопку «Поиск».")