Update app.py

app.py

@@ -63,6 +63,29 @@ DISPLAY_COLUMNS_ALL = [
     "registration_number",
 ]
 
+# ==========================
+# UI: КОЛОНКИ ТАБЛИЦЫ + НАСТРОЙКИ ОТОБРАЖЕНИЯ
+# ==========================
+
+UI_TABLE_COLUMNS = [
+    "Сходство",
+    "ФИО",
+    "ORCID",
+    "Название диссертации",
+    "ВАК",
+    "Организация",
+    "Тип",
+    "Год",
+    "Регистрационный номер",
+    "OpenAlex",
+    "h-index",
+    "i10-index",
+    "Работ",
+    "Цитат",
+]
+
+DEFAULT_VISIBLE_UI = {c: (c != "Организация") for c in UI_TABLE_COLUMNS}
+
 
 # ==========================
 # ПРОВЕРКА СЕКРЕТОВ
@@ -88,13 +111,14 @@ except Exception:
 st.markdown(
     """
     <style>
-    /* уменьшение шрифта вокруг dataframes */
     div[data-testid="stDataFrame"] { font-size: 80% !important; }
     div[data-testid="stDataFrame"] * { font-size: 80% !important; }
-
-    /* попытка зацепить внутренние классы грида (зависит от версии Streamlit) */
     .stDataFrame { font-size: 80% !important; }
     .gdg-w, .gdg-canvas { font-size: 80% !important; }
+
+    /* data_editor */
+    div[data-testid="stDataEditor"] { font-size: 80% !important; }
+    div[data-testid="stDataEditor"] * { font-size: 80% !important; }
     </style>
     """,
     unsafe_allow_html=True,
@@ -152,6 +176,10 @@ def _keyify(label: str) -> str:
     return "k_" + "".join(ch if ch.isalnum() else "_" for ch in label).strip("_")
 
 
+def _show_col_key(col: str) -> str:
+    return _keyify("show_" + col)
+
+
 # ==========================
 # ФИЛЬТРЫ (UI)
 # ==========================
@@ -460,14 +488,32 @@ def run_search(
     doctor_selected: bool,
     science_selected: List[str],
     year_range: Optional[Tuple[int, int]],
+    only_openalex: bool,
+    only_orcid: bool,
 ):
     mask = build_filter_mask(candidate_selected, doctor_selected, science_selected, year_range)
-    results = search_core(query, top_k, mask=mask)
+
+    # Берём с запасом, чтобы после фильтров (OA/ORCID) всё равно получить до top_k
+    prefetch_k = min(max(int(top_k) * 5, int(top_k)), 500)
+    results = search_core(query, prefetch_k, mask=mask)
+
     df_raw = build_result_df(results)
 
-    if not df_raw.empty and not oa_enrich.empty:
-        regs_norm = df_raw["registration_number"].map(_norm_regnum)
-        en = oa_enrich.reindex(regs_norm).reset_index(drop=True)
+    if df_raw.empty:
+        empty_ui = pd.DataFrame(columns=["Выбрать"] + UI_TABLE_COLUMNS)
+        empty_ui.index.name = "reg_norm"
+        out = io.BytesIO()
+        with pd.ExcelWriter(out, engine="xlsxwriter") as writer:
+            pd.DataFrame().to_excel(writer, index=False)
+        out.seek(0)
+        return empty_ui, out, df_raw
+
+    # reg_norm — стабильный идентификатор строки для сохранения выбранных чекбоксов
+    df_raw["reg_norm"] = df_raw["registration_number"].map(_norm_regnum)
+
+    # OA/ORCID enrichment
+    if not oa_enrich.empty:
+        en = oa_enrich.reindex(df_raw["reg_norm"]).reset_index(drop=True)
 
         def _get(col: str, default):
             if col in en.columns:
@@ -489,6 +535,27 @@ def run_search(
         df_raw["works_count"] = np.nan
         df_raw["cited_by_count"] = np.nan
 
+    # Фильтры "только с OpenAlex/ORCID"
+    if only_openalex:
+        df_raw = df_raw[df_raw["openalex_url"].map(_safe_text) != ""]
+    if only_orcid:
+        df_raw = df_raw[df_raw["orcid_url"].map(_safe_text) != ""]
+
+    df_raw = df_raw.reset_index(drop=True)
+
+    # Ограничиваем top_k уже после фильтрации
+    if len(df_raw) > int(top_k):
+        df_raw = df_raw.iloc[: int(top_k)].copy()
+
+    # Перенумеруем "№"
+    if "№" in df_raw.columns:
+        df_raw["№"] = np.arange(1, len(df_raw) + 1)
+
+    # Установим индекс как стабильный id
+    df_raw["reg_norm"] = df_raw["registration_number"].map(_norm_regnum)
+    df_raw = df_raw.drop_duplicates(subset=["reg_norm"]).set_index("reg_norm", drop=True)
+
+    # UI-таблица
     fio_txt = df_raw["fio"].map(_safe_text)
     orcid_url = df_raw["orcid_url"].map(_safe_text)
     fio_cell = np.where(orcid_url != "", orcid_url + "#" + fio_txt.map(_safe_fragment), fio_txt)
@@ -499,22 +566,27 @@ def run_search(
 
     df_ui = pd.DataFrame(
         {
-            "_rid": np.arange(len(df_raw)),
             "Сходство": pd.to_numeric(df_raw["score"], errors="coerce").astype("float64"),
             "ФИО": fio_cell,
+            "ORCID": df_raw["orcid_url"].map(_safe_text),
             "Название диссертации": title_cell,
-            # ВАЖНО: отображаем author_org_short
+            "ВАК": df_raw["vak_link"].map(_safe_text),
             "Организация": df_raw["author_org_short"].map(_safe_text),
+            "Тип": df_raw["dissertation_type"].map(_safe_text),
             "Год": pd.to_numeric(df_raw["protection_year"], errors="coerce").astype("float64"),
+            "Регистрационный номер": df_raw["registration_number"].map(_safe_text),
             "OpenAlex": df_raw["openalex_url"].map(_safe_text),
             "h-index": df_raw["h_index"],
             "i10-index": df_raw["i10_index"],
             "Работ": df_raw["works_count"],
             "Цитат": df_raw["cited_by_count"],
-        }
-    ).set_index("_rid", drop=True)
+        },
+        index=df_raw.index,
+    )
+    df_ui.index.name = "reg_norm"
 
-    df_excel_ru = df_raw.rename(columns=COLUMN_LABELS_RU_EXCEL)
+    # Excel (как раньше)
+    df_excel_ru = df_raw.reset_index(drop=False).rename(columns=COLUMN_LABELS_RU_EXCEL)
     output = io.BytesIO()
     with pd.ExcelWriter(output, engine="xlsxwriter") as writer:
         df_excel_ru.to_excel(writer, index=False)
@@ -523,10 +595,12 @@ def run_search(
     return df_ui, output, df_raw
 
 
-def format_selected_list_from_raw(df_raw: pd.DataFrame, selected_rids: List[int]) -> str:
+def format_selected_list_from_raw(df_raw: pd.DataFrame, selected_regnorms: List[str]) -> str:
     lines = []
-    for rid in selected_rids:
-        raw = df_raw.iloc[int(rid)]
+    for reg_norm in selected_regnorms:
+        if reg_norm not in df_raw.index:
+            continue
+        raw = df_raw.loc[reg_norm]
         fio = _safe_text(raw.get("fio"))
         title = _safe_text(raw.get("title"))
         year = _safe_text(raw.get("protection_year"))
@@ -549,8 +623,8 @@ if "last_df_raw" not in st.session_state:
     st.session_state.last_df_raw = None
 if "last_excel" not in st.session_state:
     st.session_state.last_excel = None
-if "selected_rids" not in st.session_state:
-    st.session_state.selected_rids = []
+if "selected_regnorms" not in st.session_state:
+    st.session_state.selected_regnorms = set()
 if "search_id" not in st.session_state:
     st.session_state.search_id = 0
 
@@ -600,10 +674,29 @@ with st.form("search_form"):
                 step=1,
             )
 
+        st.markdown("**Фильтрация по профилям:**")
+        only_openalex = st.checkbox("Отображать только с OpenAlex", value=False, key="only_openalex")
+        only_orcid = st.checkbox("Отображать только с ORCID", value=False, key="only_orcid")
+
+        st.markdown("**Настройки отображения:**")
+        disp_cols = st.columns(3)
+        for i, col in enumerate(UI_TABLE_COLUMNS):
+            with disp_cols[i % 3]:
+                st.checkbox(
+                    col,
+                    value=DEFAULT_VISIBLE_UI.get(col, True),
+                    key=_show_col_key(col),
+                )
+
     c1, c2, c3 = st.columns([1, 1, 1])
     with c2:
         do_search = st.form_submit_button("🔍 Поиск", type="primary", use_container_width=True)
 
+# Выбранные для отображения колонки (после формы)
+visible_ui_cols = [c for c in UI_TABLE_COLUMNS if st.session_state.get(_show_col_key(c), True)]
+if not visible_ui_cols:
+    visible_ui_cols = [c for c in UI_TABLE_COLUMNS if c != "Организация"]
+
 if do_search:
     if not candidate_selected and not doctor_selected:
         st.warning("Выключены оба типа диссертаций. Включите «Кандидатские» и/или «Докторские».")
@@ -616,12 +709,20 @@ if do_search:
                 doctor_selected=doctor_selected,
                 science_selected=science_selected,
                 year_range=year_range,
+                only_openalex=only_openalex,
+                only_orcid=only_orcid,
             )
 
         st.session_state.last_df_ui = df_ui
         st.session_state.last_df_raw = df_raw
         st.session_state.last_excel = excel_bytes
-        st.session_state.selected_rids = []
+
+        # Важно: НЕ сбрасываем выбор полностью; оставляем только те, что есть в новых результатах
+        if isinstance(df_ui, pd.DataFrame) and not df_ui.empty:
+            st.session_state.selected_regnorms = set(st.session_state.selected_regnorms) & set(df_ui.index)
+        else:
+            st.session_state.selected_regnorms = set()
+
         st.session_state.search_id += 1
 
 df_ui_saved = st.session_state.last_df_ui
@@ -631,61 +732,83 @@ excel_saved = st.session_state.last_excel
 if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
     st.success(f"Найдено записей: {len(df_ui_saved)}")
 
-    event = st.dataframe(
-        df_ui_saved,
-        use_container_width=True,
-        hide_index=True,
-        on_select="rerun",
-        selection_mode="multi-row",
-        column_order=[
-            "Сходство",
+    # Соберём отображаемую таблицу + колонку выбора
+    selected_set = set(st.session_state.selected_regnorms) & set(df_ui_saved.index)
+    st.session_state.selected_regnorms = selected_set
+
+    df_display = df_ui_saved.copy()
+    df_display.insert(0, "Выбрать", df_display.index.map(lambda x: x in selected_set))
+
+    show_cols = [c for c in visible_ui_cols if c in df_display.columns]
+    df_edit = df_display[["Выбрать"] + show_cols].copy()
+
+    full_column_config = {
+        "Выбрать": st.column_config.CheckboxColumn("Выбрать", width="small"),
+        "Сходство": st.column_config.NumberColumn("Сходство", format="%.4f", width="small"),
+        "ФИО": st.column_config.LinkColumn(
             "ФИО",
+            display_text=r"(?:.*#)?(.*)$",
+            width="medium",
+            help="Если для автора найден ORCID — ФИО кликабельно и ведёт на ORCID.",
+        ),
+        "ORCID": st.column_config.LinkColumn(
+            "ORCID",
+            display_text=r"https://orcid\.org/(0000-[0-9X]{4}-[0-9X]{4}-[0-9X]{4})",
+            width="small",
+            help="Профиль автора в ORCID (если найден).",
+        ),
+        "Название диссертации": st.column_config.LinkColumn(
             "Название диссертации",
-            "Организация",
-            "Год",
+            display_text=r"(?:.*#)?(.*)$",
+            width="large",
+            help="Если есть ссылка ВАК — название кликабельно и ведёт на ВАК.",
+        ),
+        "ВАК": st.column_config.LinkColumn(
+            "ВАК",
+            display_text=r".+",
+            width="small",
+            help="Прямая ссылка на карточку/страницу ВАК (если есть).",
+        ),
+        "Организация": st.column_config.TextColumn("Организация", width="large"),
+        "Тип": st.column_config.TextColumn("Тип", width="small"),
+        "Год": st.column_config.NumberColumn("Год", format="%.0f", width="small"),
+        "Регистрационный номер": st.column_config.TextColumn("Регистрационный номер", width="small"),
+        "OpenAlex": st.column_config.LinkColumn(
             "OpenAlex",
-            "h-index",
-            "i10-index",
-            "Работ",
-            "Цитат",
-        ],
-        column_config={
-            "Сходство": st.column_config.NumberColumn("Сходство", format="%.4f", width="small"),
-            "ФИО": st.column_config.LinkColumn(
-                "ФИО",
-                display_text=r"(?:.*#)?(.*)$",
-                width="medium",
-                help="Если для автора найден ORCID — ФИО кликабельно и ведёт на ORCID.",
-            ),
-            "Название диссертации": st.column_config.LinkColumn(
-                "Название диссертации",
-                display_text=r"(?:.*#)?(.*)$",
-                width="large",
-                help="Если есть ссылка ВАК — название кликабельно и ведёт на ВАК.",
-            ),
-            "Организация": st.column_config.TextColumn("Организация", width="large"),
-            "Год": st.column_config.NumberColumn("Год", format="%.0f", width="small"),
-            "OpenAlex": st.column_config.LinkColumn(
-                "OpenAlex",
-                display_text=r"https://openalex\.org/(A\d+)",
-                width="small",
-                help="Профиль автора в OpenAlex (если найден).",
-            ),
-            "h-index": st.column_config.NumberColumn("h-index", format="%.0f", width="small"),
-            "i10-index": st.column_config.NumberColumn("i10-index", format="%.0f", width="small"),
-            "Работ": st.column_config.NumberColumn("Работ", format="%.0f", width="small"),
-            "Цитат": st.column_config.NumberColumn("Цитат", format="%.0f", width="small"),
-        },
+            display_text=r"https://openalex\.org/(A\d+)",
+            width="small",
+            help="Профиль автора в OpenAlex (если найден).",
+        ),
+        "h-index": st.column_config.NumberColumn("h-index", format="%.0f", width="small"),
+        "i10-index": st.column_config.NumberColumn("i10-index", format="%.0f", width="small"),
+        "Работ": st.column_config.NumberColumn("Работ", format="%.0f", width="small"),
+        "Цитат": st.column_config.NumberColumn("Цитат", format="%.0f", width="small"),
+    }
+
+    column_config_filtered = {k: v for k, v in full_column_config.items() if k in df_edit.columns}
+
+    edited = st.data_editor(
+        df_edit,
+        use_container_width=True,
+        hide_index=True,
+        num_rows="fixed",
+        column_config=column_config_filtered,
+        disabled=[c for c in df_edit.columns if c != "Выбрать"],
+        key=f"editor_{st.session_state.search_id}",
     )
 
-    sel = getattr(event, "selection", None)
-    if sel is not None and sel.rows is not None:
-        st.session_state.selected_rids = list(sel.rows)
+    # Обновим выбранные reg_norm из чекбоксов — это не будет "сбрасываться" при фильтрах
+    if isinstance(edited, pd.DataFrame) and "Выбрать" in edited.columns:
+        st.session_state.selected_regnorms = set(edited.index[edited["Выбрать"] == True].tolist())
 
-    if st.session_state.selected_rids:
+    selected_regnorms = sorted(list(st.session_state.selected_regnorms))
+
+    if selected_regnorms:
         with st.expander("Полный текст (для выбранных строк)", expanded=False):
-            for rid in st.session_state.selected_rids[:50]:
-                raw = df_raw_saved.iloc[int(rid)]
+            for reg_norm in selected_regnorms[:50]:
+                if df_raw_saved is None or reg_norm not in df_raw_saved.index:
+                    continue
+                raw = df_raw_saved.loc[reg_norm]
                 st.markdown(
                     f"- **{_safe_text(raw.get('fio'))}** — {_safe_text(raw.get('title'))}\n"
                     f"  \n  {_safe_text(raw.get('author_org_short'))} ({_safe_text(raw.get('protection_year'))})"
@@ -702,17 +825,15 @@ if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
     st.markdown("---")
     st.subheader("Запрос расширенной информации")
 
-    selected_rids = st.session_state.selected_rids or []
-
     with st.form("request_form"):
         requester_fio = st.text_input("Ваше ФИО", placeholder="Иванов Иван Иванович")
         requester_email = st.text_input("Email", placeholder="name@example.com")
 
         st.markdown("**Перечень диссертаций:**")
-        if selected_rids:
-            st.markdown(format_selected_list_from_raw(df_raw_saved, selected_rids))
+        if selected_regnorms:
+            st.markdown(format_selected_list_from_raw(df_raw_saved, selected_regnorms))
         else:
-            st.info("Отметьте диссертации чекбоксами слева в таблице — здесь появится перечень.")
+            st.info("Отметьте диссертации чекбоксом «Выбрать» — здесь появится перечень.")
 
         comment = st.text_area(
             "Комментарий",
@@ -728,12 +849,14 @@ if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
     if send_request:
         if not requester_fio.strip() or not requester_email.strip():
             st.warning("Поля «Ваше ФИО» и «Email» обязательны. Заполните их, чтобы отправить запрос.")
-        elif len(selected_rids) == 0:
-            st.warning("Выберите хотя бы одну диссертацию (чекбоксы слева в таблице).")
+        elif len(selected_regnorms) == 0:
+            st.warning("Выберите хотя бы одну диссертацию (чекбокс «Выбрать»).")
         else:
             items = []
-            for rid in selected_rids:
-                raw = df_raw_saved.iloc[int(rid)].to_dict()
+            for reg_norm in selected_regnorms:
+                if df_raw_saved is None or reg_norm not in df_raw_saved.index:
+                    continue
+                raw = df_raw_saved.loc[reg_norm].to_dict()
                 items.append(
                     {
                         "author_fio": raw.get("fio"),