Update app.py

app.py

@@ -20,7 +20,9 @@ HF_MERGED_REPO = os.getenv("HF_MERGED_REPO")
 HF_EMB_REPO = os.getenv("HF_EMB_REPO")
 MODEL_NAME = os.getenv("MODEL_NAME")
 
-# Для Excel (полный набор + "Ссылка ВАК")
+SLIDER_MIN_YEAR = 2005  # фиксированный минимум
+
+# Для Excel (полный набор)
 COLUMN_LABELS_RU_EXCEL = {
     "№": "№",
     "score": "Сходство",
@@ -33,16 +35,6 @@ COLUMN_LABELS_RU_EXCEL = {
     "vak_link": "Ссылка ВАК",
 }
 
-# Для отображения (скрываем №, рег.номер, тип)
-COLUMN_LABELS_RU_UI = {
-    "score": "Сходство",
-    "fio": "ФИО",
-    "title": "Название диссертации",
-    "author_org_short": "Организация",
-    "protection_year": "Год",
-    "vak": "ВАК",
-}
-
 DISPLAY_COLUMNS_ALL = [
     "№",
     "score",
@@ -54,6 +46,10 @@ DISPLAY_COLUMNS_ALL = [
     "registration_number",
 ]
 
+# ==========================
+# ПРОВЕРКА СЕКРЕТОВ
+# ==========================
+
 if HF_TOKEN is None:
     st.error(
         "Не найден секрет `HF_TOKEN`. "
@@ -101,6 +97,7 @@ DEFAULT_SCIENCES = {
     "Биологические",
 }
 
+# Паттерны для сопоставления с degree_pursued (на случай разных формулировок)
 SCIENCE_PATTERNS = {
     "Архитектура": ["архитектур"],
     "Биологические": ["биолог"],
@@ -124,45 +121,48 @@ SCIENCE_PATTERNS = {
     "Юридические науки": ["юридич"],
 }
 
+
+def _keyify(label: str) -> str:
+    # стабильный ключ для streamlit
+    return "k_" + "".join(ch if ch.isalnum() else "_" for ch in label).strip("_")
+
+
 # ==========================
 # ЗАГРУЗКА ДАННЫХ И МОДЕЛИ
 # ==========================
 
 @st.cache_data(show_spinner="Загрузка данных...")
 def load_data():
+    # 1) META
     ds_meta = load_dataset(HF_MERGED_REPO, split="train")
     df_meta = ds_meta.to_pandas()
     df_meta["registration_number"] = df_meta["registration_number"].astype(str)
     df_meta = df_meta.set_index("registration_number", drop=False)
 
+    # 2) EMB
     ds_emb = load_dataset(HF_EMB_REPO, split="train")
     df_emb = ds_emb.to_pandas()
     df_emb["registration_number"] = df_emb["registration_number"].astype(str)
+
     reg_nums = df_emb["registration_number"].tolist()
 
     emb_matrix = np.vstack(df_emb["embedding"].to_list()).astype("float32")
     norms = np.linalg.norm(emb_matrix, axis=1, keepdims=True)
     emb_matrix = emb_matrix / np.maximum(norms, 1e-8)
 
+    # выравниваем meta под reg_nums
     meta_aligned = df_meta.reindex(reg_nums)
 
-    # dissertation_type
-    if "dissertation_type" in meta_aligned.columns:
-        type_s = meta_aligned["dissertation_type"].fillna("").astype(str)
-    else:
-        type_s = pd.Series([""] * len(reg_nums), index=meta_aligned.index)
-
+    # dissertation_type masks
+    type_s = meta_aligned.get("dissertation_type", pd.Series([""] * len(reg_nums))).fillna("").astype(str)
     is_candidate = type_s.str.contains("кандид", case=False, na=False).to_numpy()
     is_doctor = type_s.str.contains("доктор", case=False, na=False).to_numpy()
 
-    # degree_pursued
-    if "degree_pursued" in meta_aligned.columns:
-        degree_arr = meta_aligned["degree_pursued"].fillna("").astype(str).to_numpy()
-    else:
-        degree_arr = np.array([""] * len(reg_nums), dtype=object)
-    degree_lower = np.char.lower(degree_arr.astype(str))
+    # degree_pursued lower
+    deg_s = meta_aligned.get("degree_pursued", pd.Series([""] * len(reg_nums))).fillna("").astype(str)
+    degree_lower = np.char.lower(deg_s.to_numpy().astype(str))
 
-    # years
+    # year array
     if "protection_date" in meta_aligned.columns:
         dt = pd.to_datetime(meta_aligned["protection_date"], errors="coerce")
         year_arr = dt.dt.year.astype("float").to_numpy()
@@ -208,15 +208,15 @@ def build_filter_mask(
 ) -> np.ndarray:
     mask = np.ones(len(reg_nums), dtype=bool)
 
-    # Тип диссертации
+    # 1) Тип диссертации
     type_mask = np.zeros(len(reg_nums), dtype=bool)
     if candidate_selected:
         type_mask |= is_candidate
     if doctor_selected:
         type_mask |= is_doctor
-    mask &= type_mask
+    mask &= type_mask  # если оба выключены -> всё False
 
-    # Науки
+    # 2) Науки
     if science_selected:
         sci_mask = np.zeros(len(reg_nums), dtype=bool)
         for label in science_selected:
@@ -224,12 +224,11 @@ def build_filter_mask(
             sci_mask |= _contains_any(degree_lower, patterns)
         mask &= sci_mask
 
-    # Годы защиты (не выкидываем NaN)
+    # 3) Годы (NaN пропускаем)
     if year_range is not None:
         y0, y1 = int(year_range[0]), int(year_range[1])
         yr = year_arr
-        year_mask = np.isnan(yr) | ((yr >= y0) & (yr <= y1))
-        mask &= year_mask
+        mask &= (np.isnan(yr) | ((yr >= y0) & (yr <= y1)))
 
     return mask
 
@@ -258,20 +257,23 @@ def search_core(query: str, top_k: int = 10, mask=None):
     ]
 
 
-def extract_year(value):
+def extract_year_int(value) -> Optional[int]:
     if value is None:
         return None
     try:
         if not isinstance(value, str):
             if pd.isna(value):
                 return None
-            dt = pd.to_datetime(value)
-            return str(dt.year)
+            dt = pd.to_datetime(value, errors="coerce")
+            if pd.isna(dt):
+                return None
+            return int(dt.year)
     except Exception:
         pass
+
     s = str(value).strip()
     if len(s) >= 4 and s[:4].isdigit():
-        return s[:4]
+        return int(s[:4])
     return None
 
 
@@ -288,7 +290,7 @@ def build_result_df(results):
         else:
             meta = pd.Series({}, index=df_all.columns)
 
-        protection_year = extract_year(meta.get("protection_date", None))
+        protection_year = extract_year_int(meta.get("protection_date", None))
 
         rows.append(
             {
@@ -321,7 +323,7 @@ def run_search(
 ):
     query = query.strip()
     if not query:
-        return pd.DataFrame(), None, None  # ui_df, excel_bytes, raw_df
+        return pd.DataFrame(), None, pd.DataFrame()
 
     mask = build_filter_mask(candidate_selected, doctor_selected, science_selected, year_range)
     results = search_core(query, top_k, mask=mask)
@@ -330,23 +332,24 @@ def run_search(
     if df_raw.empty:
         return pd.DataFrame(), None, df_raw
 
-    # --- UI dataframe: скрываем №, рег.номер, тип; добавляем кликабельный ВАК ---
+    # --- UI dataframe (скрываем №, рег.номер, тип) ---
     df_ui = df_raw.copy()
+    df_ui = df_ui.rename(
+        columns={
+            "score": "Сходство",
+            "fio": "ФИО",
+            "title": "Название диссертации",
+            "author_org_short": "Организация",
+            "protection_year": "Год",
+            "vak_link": "ВАК",
+        }
+    )
 
-    def make_vak_cell(url: str):
-        url = (url or "").strip()
-        if not url:
-            return ""
-        return f'<a href="{url}" target="_blank">открыть</a>'
-
-    df_ui["vak"] = df_ui["vak_link"].astype(str).map(make_vak_cell)
-
-    df_ui = df_ui.drop(columns=["№", "registration_number", "dissertation_type", "vak_link"])
-    df_ui = df_ui.rename(columns=COLUMN_LABELS_RU_UI)
+    # Убираем не нужные колонки (как вы просили)
+    df_ui = df_ui.drop(columns=["№", "registration_number", "dissertation_type"])
 
     # --- Excel: полный набор ---
     df_excel_ru = df_raw.rename(columns=COLUMN_LABELS_RU_EXCEL)
-
     output = io.BytesIO()
     with pd.ExcelWriter(output, engine="xlsxwriter") as writer:
         df_excel_ru.to_excel(writer, index=False)
@@ -355,29 +358,8 @@ def run_search(
     return df_ui, output, df_raw
 
 
-def sort_ui_df(df_ui: pd.DataFrame, sort_key_ru: str, ascending: bool) -> pd.DataFrame:
-    if df_ui.empty:
-        return df_ui
-
-    df = df_ui.copy()
-
-    # Для корректной сортировки по числам
-    if sort_key_ru == "Сходство":
-        df["_sort"] = pd.to_numeric(df["Сходство"], errors="coerce")
-        df = df.sort_values("_sort", ascending=ascending, kind="mergesort").drop(columns=["_sort"])
-        return df
-
-    if sort_key_ru == "Год":
-        df["_sort"] = pd.to_numeric(df["Год"], errors="coerce")
-        # NaN в конец
-        df = df.sort_values("_sort", ascending=ascending, kind="mergesort", na_position="last").drop(columns=["_sort"])
-        return df
-
-    return df.sort_values(sort_key_ru, ascending=ascending, kind="mergesort")
-
-
 # ==========================
-# UI НА STREAMLIT
+# UI
 # ==========================
 
 st.markdown(
@@ -385,8 +367,6 @@ st.markdown(
     unsafe_allow_html=True,
 )
 
-# Границы лет: нижняя граница фиксирована 2005
-SLIDER_MIN_YEAR = 2005
 data_has_years = np.isfinite(year_arr).any()
 year_max = int(np.nanmax(year_arr)) if data_has_years else None
 
@@ -414,7 +394,7 @@ with st.form("search_form"):
         for i, label in enumerate(SCIENCE_LABELS):
             default_val = label in DEFAULT_SCIENCES
             with cols[i % 3]:
-                if st.checkbox(label, value=default_val, key=f"sci_{label}"):
+                if st.checkbox(label, value=default_val, key=_keyify("sci_" + label)):
                     science_selected.append(label)
 
         st.markdown("**Годы защиты:**")
@@ -443,7 +423,7 @@ if do_search:
         st.stop()
 
     with st.spinner("Идёт поиск по базе диссертаций..."):
-        df_ui, excel_bytes, _df_raw = run_search(
+        df_ui, excel_bytes, df_raw = run_search(
             query=query,
             top_k=top_k,
             candidate_selected=candidate_selected,
@@ -457,63 +437,43 @@ if do_search:
     else:
         st.success(f"Найдено записей: {len(df_ui)}")
 
-        # ---- СОРТИРОВКА (без горизонтального скролла, таблица HTML с переносом) ----
-        sort_cols = ["Сходство", "ФИО", "Название диссертации", "Организация", "Год"]
-        s1, s2, s3 = st.columns([2, 1, 2])
-        with s1:
-            sort_by = st.selectbox("Сортировать по", options=sort_cols, index=0)
-        with s2:
-            order = st.selectbox("Порядок", options=["убывание", "возрастание"], index=0)
-        with s3:
-            st.write("")
-
-        ascending = (order == "возрастание")
-        df_sorted = sort_ui_df(df_ui, sort_by, ascending=ascending)
-
-        # HTML-таблица: перенос текста, table-layout fixed, ширина 100% без горизонтальных скроллов
-        table_html = df_sorted.to_html(
-            escape=False,
-            index=False,
-            classes="result-table",
-        )
-
-        st.markdown(
-            """
-            <style>
-            table.result-table {
-                width: 100%;
-                table-layout: fixed;          /* ключевое: фиксирует ширину таблицы под контейнер */
-                border-collapse: collapse;
-            }
-            table.result-table th, table.result-table td {
-                border: 1px solid rgba(0,0,0,0.08);
-                padding: 8px 10px;
-                vertical-align: top;
-                white-space: normal;          /* перенос строк */
-                word-break: break-word;       /* перенос длинных слов */
-                overflow-wrap: anywhere;
-            }
-            table.result-table th {
-                text-align: center !important;
-                vertical-align: middle;
-            }
-
-            /* Примерные ширины колонок (подгоните при желании) */
-            table.result-table th:nth-child(1), table.result-table td:nth-child(1) { width: 8%;  text-align: center; }  /* Сходство */
-            table.result-table th:nth-child(2), table.result-table td:nth-child(2) { width: 16%; }                      /* ФИО */
-            table.result-table th:nth-child(3), table.result-table td:nth-child(3) { width: 44%; }                      /* Название */
-            table.result-table th:nth-child(4), table.result-table td:nth-child(4) { width: 20%; }                      /* Организация */
-            table.result-table th:nth-child(5), table.result-table td:nth-child(5) { width: 6%;  text-align: center; }  /* Год */
-            table.result-table th:nth-child(6), table.result-table td:nth-child(6) { width: 6%;  text-align: center; }  /* ВАК */
-
-            /* чтобы таблица не вылезала за контейнер */
-            div[data-testid="stMarkdownContainer"] { overflow-x: hidden; }
-            </style>
-            """,
-            unsafe_allow_html=True,
+        # ВАЖНО:
+        # st.dataframe даёт сортировку по клику, но перенос текста в ячейках не поддерживает.
+        # Чтобы читать длинные названия без горизонтального скролла — ниже блок "Детали по выбранной строке".
+        df_ui_show = df_ui[["Сходство", "ФИО", "Название диссертации", "Организация", "Год", "ВАК"]].copy()
+
+        event = st.dataframe(
+            df_ui_show,
+            use_container_width=True,
+            hide_index=True,
+            column_order=["Сходство", "ФИО", "Название диссертации", "Организация", "Год", "ВАК"],
+            column_config={
+                "Сходство": st.column_config.NumberColumn("Сходство", format="%.4f", width="small"),
+                "ФИО": st.column_config.TextColumn("ФИО", width="medium"),
+                "Название диссертации": st.column_config.TextColumn("Название диссертации", width="large"),
+                "Организация": st.column_config.TextColumn("Организация", width="medium"),
+                "Год": st.column_config.NumberColumn("Год", width="small"),
+                "ВАК": st.column_config.LinkColumn("ВАК", display_text="открыть", width="small"),
+            },
+            on_select="rerun",
+            selection_mode="single-row",
         )
 
-        st.markdown(table_html, unsafe_allow_html=True)
+        # Детали с переносом строк (без горизонтального скролла)
+        sel = getattr(event, "selection", None)
+        sel_rows = sel.rows if sel is not None else []
+        if sel_rows:
+            i = sel_rows[0]
+            row = df_ui_show.iloc[i].to_dict()
+            st.markdown("### Детали по выбранной записи")
+            st.markdown(f"**ФИО:** {row.get('ФИО', '')}")
+            st.markdown(f"**Организация:** {row.get('Организация', '')}")
+            st.markdown(f"**Год:** {row.get('Год', '')}")
+            st.markdown(f"**Сходство:** {row.get('Сходство', '')}")
+            st.markdown("**Название диссертации:**")
+            st.write(row.get("Название диссертации", ""))  # переносится естественно
+            if row.get("ВАК"):
+                st.markdown(f"**ВАК:** {row.get('ВАК')}")
 
         if excel_bytes is not None:
             st.download_button(