Update app.py

app.py

@@ -57,6 +57,66 @@ try:
 except Exception:
     pass
 
+# ==========================
+# СПРАВОЧНИКИ ФИЛЬТРОВ (UI)
+# ==========================
+
+SCIENCE_LABELS = [
+    "Архитектура",
+    "Биологические",
+    "Ветеринарные",
+    "Географические",
+    "Геолого-минералогические",
+    "Искусствоведение",
+    "Исторические",
+    "Культурология",
+    "Медицинские",
+    "Педагогические",
+    "Политические",
+    "Сельскохозяйственные",
+    "Технические",
+    "Фармацевтические",
+    "Физико-математические",
+    "Филологические",
+    "Философские",
+    "Химические",
+    "Экономические",
+    "Юридические науки",
+]
+
+SCIENCE_LABELS = sorted(list(dict.fromkeys(SCIENCE_LABELS)), key=lambda s: s.casefold())
+
+DEFAULT_SCIENCES = {
+    "Технические",
+    "Физико-математические",
+    "Химические",
+    "Биологические",
+}
+
+# Паттерны для сопоставления с degree_pursued (на случай разной формулировки в базе)
+SCIENCE_PATTERNS = {
+    "Архитектура": ["архитектур"],
+    "Биологические": ["биолог"],
+    "Ветеринарные": ["ветеринар"],
+    "Географические": ["географ"],
+    "Геолого-минералогические": ["геолого-минералог", "геол.-минералог", "геолого минералог"],
+    "Искусствоведение": ["искусствовед"],
+    "Исторические": ["историч"],
+    "Культурология": ["культуролог"],
+    "Медицинские": ["медицин"],
+    "Педагогические": ["педагог"],
+    "Политические": ["политич"],
+    "Сельскохозяйственные": ["сельскохозяй"],
+    "Технические": ["технич"],
+    "Фармацевтические": ["фармацевт"],
+    "Физико-математические": ["физико-математ", "физ-мат", "физмат"],
+    "Филологические": ["филолог"],
+    "Философские": ["философ"],
+    "Химические": ["химич"],
+    "Экономические": ["экономич"],
+    "Юридические науки": ["юридич"],
+}
+
 # ==========================
 # ЗАГРУЗКА ДАННЫХ И МОДЕЛИ
 # ==========================
@@ -79,7 +139,7 @@ def load_data():
     norms = np.linalg.norm(emb_matrix, axis=1, keepdims=True)
     emb_matrix = emb_matrix / np.maximum(norms, 1e-8)
 
-    # --- Выравниваем мета-инфо под порядок reg_nums ---
+    # --- ВЫРАВНИВАЕМ МЕТА-ИНФУ ПОД ПОРЯДОК reg_nums ---
     meta_aligned = df_meta.reindex(reg_nums)
 
     # dissertation_type -> маски кандидат/доктор
@@ -91,13 +151,15 @@ def load_data():
     is_candidate = type_s.str.contains("кандид", case=False, na=False).to_numpy()
     is_doctor = type_s.str.contains("доктор", case=False, na=False).to_numpy()
 
-    # degree_pursued -> массив строк
+    # degree_pursued -> массив строк (и lower-версия для быстрых contains)
     if "degree_pursued" in meta_aligned.columns:
         degree_arr = meta_aligned["degree_pursued"].fillna("").astype(str).to_numpy()
     else:
         degree_arr = np.array([""] * len(reg_nums), dtype=object)
 
-    return df_meta, reg_nums, emb_matrix, is_candidate, is_doctor, degree_arr
+    degree_lower = np.char.lower(degree_arr.astype(str))
+
+    return df_meta, reg_nums, emb_matrix, is_candidate, is_doctor, degree_arr, degree_lower
 
 
 @st.cache_resource(show_spinner="Загрузка модели...")
@@ -106,7 +168,7 @@ def load_model():
 
 
 try:
-    df_all, reg_nums, emb_matrix, is_candidate, is_doctor, degree_arr = load_data()
+    df_all, reg_nums, emb_matrix, is_candidate, is_doctor, degree_arr, degree_lower = load_data()
     model = load_model()
 except Exception as e:
     st.error(f"Ошибка при загрузке данных или модели: {e}")
@@ -116,23 +178,40 @@ except Exception as e:
 # ЛОГИКА ФИЛЬТРОВ И ПОИСКА
 # ==========================
 
-def build_filter_mask(degree_selected, include_doctors: bool):
-    """
-    По умолчанию: только кандидатские.
-    Если include_doctors=True: кандидатские + докторские.
-    Плюс фильтр по degree_pursued (Науки), если выбран.
-    """
+def _contains_any(deg_lower_arr: np.ndarray, patterns: list[str]) -> np.ndarray:
+    """deg_lower_arr: np.ndarray of lowercased strings"""
+    m = np.zeros(len(deg_lower_arr), dtype=bool)
+    for p in patterns:
+        p = (p or "").strip().lower()
+        if not p:
+            continue
+        m |= (np.char.find(deg_lower_arr, p) >= 0)
+    return m
+
+
+def build_filter_mask(
+    candidate_selected: bool,
+    doctor_selected: bool,
+    science_selected: list[str],
+) -> np.ndarray:
     mask = np.ones(len(reg_nums), dtype=bool)
 
-    # Тип диссертации
-    type_mask = is_candidate.copy()
-    if include_doctors:
+    # 1) Тип диссертации
+    type_mask = np.zeros(len(reg_nums), dtype=bool)
+    if candidate_selected:
+        type_mask |= is_candidate
+    if doctor_selected:
         type_mask |= is_doctor
-    mask &= type_mask
+    mask &= type_mask  # если оба выключены -> всё False
 
-    # Науки (degree_pursued)
-    if degree_selected:
-        mask &= np.isin(degree_arr, degree_selected)
+    # 2) Науки (degree_pursued)
+    # Если ничего не выбрано — не ограничиваем по наукам (только по типу диссертаций).
+    if science_selected:
+        sci_mask = np.zeros(len(reg_nums), dtype=bool)
+        for label in science_selected:
+            patterns = SCIENCE_PATTERNS.get(label, [label])
+            sci_mask |= _contains_any(degree_lower, patterns)
+        mask &= sci_mask
 
     return mask
 
@@ -221,14 +300,19 @@ def build_result_df(results):
     return df_res[DISPLAY_COLUMNS + ["vak_link"]]
 
 
-def run_search(query: str, top_k: int, degree_selected, include_doctors: bool):
+def run_search(
+    query: str,
+    top_k: int,
+    candidate_selected: bool,
+    doctor_selected: bool,
+    science_selected: list[str],
+):
     query = query.strip()
     if not query:
         empty_df = pd.DataFrame(columns=DISPLAY_COLUMNS + ["vak_link"])
         return empty_df.rename(columns=COLUMN_LABELS_RU), None
 
-    mask = build_filter_mask(degree_selected, include_doctors)
-
+    mask = build_filter_mask(candidate_selected, doctor_selected, science_selected)
     results = search_core(query, top_k, mask=mask)
     df_res = build_result_df(results)
 
@@ -268,43 +352,6 @@ st.markdown(
     unsafe_allow_html=True,
 )
 
-def _pick_default_sciences(options):
-    """
-    Требуемые по умолчанию: технические, физмат, химические, биологические.
-    Подбираем по подстрокам (на случай отличий в формулировках).
-    """
-    want = [
-        ("технич",),
-        ("физ", "мат"),          # физ-мат/физмат/физико-математические
-        ("хим",),
-        ("биолог",),
-    ]
-    opts_l = [o.lower() for o in options]
-
-    picked = []
-    for keys in want:
-        found = None
-        for o, ol in zip(options, opts_l):
-            if all(k in ol for k in keys):
-                found = o
-                break
-        if found:
-            picked.append(found)
-
-    # если по каким-то причинам не нашли ничего — оставим первые 4 (чтобы фильтр не был пустым)
-    if not picked and options:
-        picked = options[: min(4, len(options))]
-
-    # убираем дубли, сохраняя порядок
-    seen = set()
-    uniq = []
-    for x in picked:
-        if x not in seen:
-            seen.add(x)
-            uniq.append(x)
-    return uniq
-
-
 with st.form("search_form"):
     top_k = st.slider(
         "Сколько результатов показать",
@@ -322,34 +369,23 @@ with st.form("search_form"):
     )
 
     with st.expander("Точные настройки", expanded=False):
-        # Науки (degree_pursued)
-        if "degree_pursued" in df_all.columns:
-            degree_options = (
-                df_all["degree_pursued"]
-                .dropna()
-                .astype(str)
-                .map(lambda x: x.strip())
-                .loc[lambda s: s != ""]
-                .unique()
-                .tolist()
-            )
-            degree_options = sorted(degree_options)
-        else:
-            degree_options = []
-
-        default_sciences = _pick_default_sciences(degree_options)
-
-        degree_selected = st.multiselect(
-            "Науки",
-            options=degree_options,
-            default=default_sciences,
-        )
-
-        # По умолчанию: только кандидатские (чекбокс выключен)
-        include_doctors = st.checkbox(
-            "Включать докторские диссертации",
-            value=False,
-        )
+        st.markdown("**Диссертации:**")
+        c1, c2 = st.columns(2)
+        with c1:
+            candidate_selected = st.checkbox("Кандидатские", value=True, key="dtype_candidate")
+        with c2:
+            doctor_selected = st.checkbox("Докторские", value=False, key="dtype_doctor")
+
+        st.markdown("**Науки:**")
+
+        # Чекбоксы наук в 3 колонки, строго в алфавитном порядке
+        cols = st.columns(3)
+        science_selected = []
+        for i, label in enumerate(SCIENCE_LABELS):
+            default_val = label in DEFAULT_SCIENCES
+            with cols[i % 3]:
+                if st.checkbox(label, value=default_val, key=f"sci_{label}"):
+                    science_selected.append(label)
 
     c1, c2, c3 = st.columns([1, 1, 1])
     with c1:
@@ -360,45 +396,55 @@ with st.form("search_form"):
         st.write("")
 
 if do_search:
-    with st.spinner("Идёт поиск по базе диссертаций..."):
-        df_res_ru, excel_bytes = run_search(query, top_k, degree_selected, include_doctors)
-
-    if df_res_ru.empty:
-        st.warning("Ничего не найдено. Проверьте запрос и/или ослабьте фильтры в «Точных настройках».")
+    # Быстрая валидация: если оба типа диссертаций выключены — смысла искать нет
+    if not candidate_selected and not doctor_selected:
+        st.warning("Выключены оба типа диссертаций (кандидатские и докторские). Включите хотя бы один тип.")
     else:
-        st.success(f"Найдено записей: {len(df_res_ru)}")
-
-        table_html = df_res_ru.to_html(
-            escape=False,
-            index=False,
-            classes="result-table",
-        )
+        with st.spinner("Идёт поиск по базе диссертаций..."):
+            df_res_ru, excel_bytes = run_search(
+                query=query,
+                top_k=top_k,
+                candidate_selected=candidate_selected,
+                doctor_selected=doctor_selected,
+                science_selected=science_selected,
+            )
 
-        st.markdown(
-            """
-            <style>
-            table.result-table {
-                width: 100%;
-                border-collapse: collapse;
-            }
-            table.result-table th {
-                text-align: center !important;
-                vertical-align: middle;
-            }
-            </style>
-            """,
-            unsafe_allow_html=True,
-        )
+        if df_res_ru.empty:
+            st.warning("Ничего не найдено. Попробуйте изменить запрос и/или ослабьте фильтры.")
+        else:
+            st.success(f"Найдено записей: {len(df_res_ru)}")
 
-        st.markdown(table_html, unsafe_allow_html=True)
+            table_html = df_res_ru.to_html(
+                escape=False,
+                index=False,
+                classes="result-table",
+            )
 
-        if excel_bytes is not None:
-            st.download_button(
-                label="💾 Скачать результаты в Excel",
-                data=excel_bytes,
-                file_name="search_results.xlsx",
-                mime="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet",
+            st.markdown(
+                """
+                <style>
+                table.result-table {
+                    width: 100%;
+                    border-collapse: collapse;
+                }
+                table.result-table th {
+                    text-align: center !important;
+                    vertical-align: middle;
+                }
+                </style>
+                """,
+                unsafe_allow_html=True,
             )
+
+            st.markdown(table_html, unsafe_allow_html=True)
+
+            if excel_bytes is not None:
+                st.download_button(
+                    label="💾 Скачать результаты в Excel",
+                    data=excel_bytes,
+                    file_name="search_results.xlsx",
+                    mime="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet",
+                )
 else:
     st.info(
         "Введите запрос выше и нажмите кнопку «Поиск» "