Update app.py

app.py

@@ -2,7 +2,8 @@ import os
 import io
 import json
 import uuid
-from typing import Optional, Tuple, List
+import re
+from typing import Optional, Tuple, List, Dict, Any
 from datetime import datetime, timezone
 
 import numpy as np
@@ -24,10 +25,13 @@ HF_MERGED_REPO = os.getenv("HF_MERGED_REPO")
 HF_EMB_REPO = os.getenv("HF_EMB_REPO")
 MODEL_NAME = os.getenv("MODEL_NAME")
 
-# Репозиторий для заявок (вы создали его вручную)
+# Репозиторий для заявок
 HF_REQUESTS_REPO = os.getenv("HF_REQUESTS_REPO", "PlanetExpress2125/PostDocRequests")
 HF_REQUESTS_REPO_TYPE = os.getenv("HF_REQUESTS_REPO_TYPE", "dataset")  # dataset | model
-HF_WRITE_TOKEN = os.getenv("HF_WRITE_TOKEN")  # должен быть write; если не задан — попробуем HF_TOKEN
+HF_WRITE_TOKEN = os.getenv("HF_WRITE_TOKEN")  # write token (рекомендуется)
+
+# OpenAlex index dataset
+OA_INDEX_REPO = os.getenv("OA_INDEX_REPO", "yogl/diss_authors_with_oa_index")
 
 SLIDER_MIN_YEAR = 2005  # нижняя граница диапазона лет
 
@@ -41,6 +45,7 @@ COLUMN_LABELS_RU_EXCEL = {
     "protection_year": "Год",
     "registration_number": "Регистрационный номер",
     "vak_link": "Ссылка ВАК",
+    "openalex_url": "OpenAlex",
 }
 
 DISPLAY_COLUMNS_ALL = [
@@ -144,11 +149,11 @@ def _keyify(label: str) -> str:
 def save_request_to_hub(payload: dict) -> str:
     """
     Сохраняем каждую заявку отдельным JSON-файлом в:
-      PlanetExpress2125/PostDocRequests/requests/<timestamp>_<uuid>.json
+      <HF_REQUESTS_REPO>/requests/<timestamp>_<uuid>.json
 
     Требуется токен с правами write:
       - HF_WRITE_TOKEN (рекомендуется)
-      - если не задан, будет использован HF_TOKEN
+      - если не задан, будет использован HF_TOKEN (если он write)
     """
     token = HF_WRITE_TOKEN or HF_TOKEN
     if not token:
@@ -172,6 +177,109 @@ def save_request_to_hub(payload: dict) -> str:
     return path_in_repo
 
 
+# ==========================
+# OPENALEX INDEX
+# ==========================
+
+def _normalize_regnum(x: Any) -> Optional[str]:
+    if x is None:
+        return None
+    s = str(x).strip()
+    if not s or s.lower() == "nan":
+        return None
+    return s
+
+
+def _iter_registration_numbers(value: Any) -> List[str]:
+    """
+    registration_numbers может быть:
+      - list/tuple
+      - строкой (один номер или несколько через , ; пробел)
+      - строкой вида "['123','456']"
+    """
+    if value is None:
+        return []
+    if isinstance(value, (list, tuple, np.ndarray)):
+        out = []
+        for v in value:
+            r = _normalize_regnum(v)
+            if r:
+                out.append(r)
+        return out
+
+    s = str(value).strip()
+    if not s or s.lower() == "nan":
+        return []
+
+    # попытка распарсить список
+    if (s.startswith("[") and s.endswith("]")) or (s.startswith("(") and s.endswith(")")):
+        try:
+            parsed = json.loads(s)
+            if isinstance(parsed, list):
+                return [r for r in (_normalize_regnum(v) for v in parsed) if r]
+        except Exception:
+            pass
+
+    # fallback: split
+    parts = re.split(r"[,\s;]+", s)
+    return [r for r in (_normalize_regnum(p) for p in parts) if r]
+
+
+def _normalize_oa_url(value: Any) -> str:
+    if value is None:
+        return ""
+    s = str(value).strip()
+    if not s or s.lower() == "nan":
+        return ""
+    # если уже URL
+    if s.startswith("http://") or s.startswith("https://"):
+        # нормализуем домен/слеши
+        m = re.search(r"(A\d+)", s)
+        if m:
+            return f"https://openalex.org/{m.group(1)}"
+        return s
+    # если только ID
+    m = re.match(r"^A\d+$", s)
+    if m:
+        return f"https://openalex.org/{s}"
+    # если вдруг мусор — попробуем вытащить A...
+    m = re.search(r"(A\d+)", s)
+    if m:
+        return f"https://openalex.org/{m.group(1)}"
+    return ""
+
+
+@st.cache_data(show_spinner="Загрузка индекса OpenAlex...")
+def load_openalex_map() -> Dict[str, str]:
+    """
+    Строим маппинг: registration_number -> openalex_url
+    из yogl/diss_authors_with_oa_index (поле registration_numbers + oa_author_id).
+    """
+    try:
+        ds = load_dataset(OA_INDEX_REPO, split="train")
+        df = ds.to_pandas()
+    except Exception:
+        return {}
+
+    if "registration_numbers" not in df.columns or "oa_author_id" not in df.columns:
+        return {}
+
+    mapping: Dict[str, str] = {}
+    for _, row in df.iterrows():
+        regs = row.get("registration_numbers", None)
+        oa = row.get("oa_author_id", None)
+        url = _normalize_oa_url(oa)
+        if not url:
+            continue
+        for reg in _iter_registration_numbers(regs):
+            if reg and reg not in mapping:
+                mapping[reg] = url
+    return mapping
+
+
+OA_MAP = load_openalex_map()
+
+
 # ==========================
 # ЗАГРУЗКА ДАННЫХ И МОДЕЛИ
 # ==========================
@@ -355,7 +463,7 @@ def build_result_df(results):
     if not rows:
         return pd.DataFrame(columns=DISPLAY_COLUMNS_ALL + ["vak_link"])
 
-    df_res = pd.DataFrame(rows)
+    df_res = pd.DataFrame(rows).reset_index(drop=True)
     return df_res[DISPLAY_COLUMNS_ALL + ["vak_link"]]
 
 
@@ -371,8 +479,14 @@ def run_search(
     results = search_core(query, top_k, mask=mask)
     df_raw = build_result_df(results)
 
+    # OpenAlex URL по registration_number
+    if not df_raw.empty and OA_MAP:
+        df_raw["openalex_url"] = df_raw["registration_number"].astype(str).map(OA_MAP).fillna("")
+    else:
+        df_raw["openalex_url"] = ""
+
     # UI: скрываем №, reg номер, тип
-    df_ui = df_raw.copy()
+    df_ui = df_raw.copy().reset_index(drop=True)
     df_ui = df_ui.rename(
         columns={
             "score": "Сходство",
@@ -381,12 +495,15 @@ def run_search(
             "author_org_short": "Организация",
             "protection_year": "Год",
             "vak_link": "ВАК",
+            "openalex_url": "OpenAlex",
         }
     )
     df_ui = df_ui.drop(columns=["№", "registration_number", "dissertation_type"])
 
-    # Excel: полный набор
-    df_excel_ru = df_raw.rename(columns=COLUMN_LABELS_RU_EXCEL)
+    # Excel: полный набор + OpenAlex
+    df_excel = df_raw.copy()
+    df_excel_ru = df_excel.rename(columns=COLUMN_LABELS_RU_EXCEL)
+
     output = io.BytesIO()
     with pd.ExcelWriter(output, engine="xlsxwriter") as writer:
         df_excel_ru.to_excel(writer, index=False)
@@ -398,7 +515,7 @@ def run_search(
 def format_selected_list_for_ui(df_ui_show: pd.DataFrame, selected_idx: List[int]) -> str:
     lines = []
     for i in selected_idx:
-        r = df_ui_show.loc[i]
+        r = df_ui_show.iloc[i]
         fio = str(r.get("ФИО", "")).strip()
         title = str(r.get("Название диссертации", "")).strip()
         year = r.get("Год", "")
@@ -501,15 +618,16 @@ excel_saved = st.session_state.last_excel
 if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
     st.success(f"Найдено записей: {len(df_ui_saved)}")
 
-    # Важно: сохраняем индекс, чтобы выбор строк корректно мапился обратно в df_raw_saved через .loc
-    df_ui_show = df_ui_saved[["Сходство", "ФИО", "Название диссертации", "Организация", "Год", "ВАК"]].copy()
+    df_ui_show = df_ui_saved[
+        ["Сходство", "ФИО", "Название диссертации", "Организация", "Год", "ВАК", "OpenAlex"]
+    ].copy()
 
     # Таблица: сортировка по клику по заголовку + мультивыбор строк (чекбоксы)
     event = st.dataframe(
         df_ui_show,
         use_container_width=True,
         hide_index=True,
-        column_order=["Сходство", "ФИО", "Название диссертации", "Организация", "Год", "ВАК"],
+        column_order=["Сходство", "ФИО", "Название диссертации", "Организация", "Год", "ВАК", "OpenAlex"],
         column_config={
             "Сходство": st.column_config.NumberColumn("Сходство", format="%.4f", width="small"),
             "ФИО": st.column_config.TextColumn("ФИО", width="medium"),
@@ -517,15 +635,21 @@ if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
             "Организация": st.column_config.TextColumn("Организация", width="medium"),
             "Год": st.column_config.NumberColumn("Год", width="small"),
             "ВАК": st.column_config.LinkColumn("ВАК", display_text="открыть", width="small"),
+            # Отображаем ID (A123...) из URL через regex capture group
+            "OpenAlex": st.column_config.LinkColumn(
+                "OpenAlex",
+                display_text=r"https://openalex\.org/(A\d+)",
+                width="small",
+                help="Профиль автора в OpenAlex (если найден)",
+            ),
         },
         on_select="rerun",
         selection_mode="multi-row",
     )
 
-    # сохраняем выбранные индексы
+    # сохраняем выбранные строки (позиции 0..N-1 исходного df_ui_show)
     sel = getattr(event, "selection", None)
     if sel is not None and sel.rows is not None:
-        # sel.rows — индексы строк (не обязательно 0..N после сортировки в UI)
         st.session_state.selected_rows = list(sel.rows)
 
     if excel_saved is not None:
@@ -536,7 +660,7 @@ if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
             mime="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet",
         )
 
-    # ======= ЗАПРОС РАСШИРЕННОЙ ИНФОРМАЦИИ (ЗАГЛУШКА: сохраняем в PostDocRequests) =======
+    # ======= ЗАПРОС РАСШИРЕННОЙ ИНФОРМАЦИИ (ЗАПИСЬ В PostDocRequests) =======
     st.markdown("---")
     st.subheader("Запрос расширенной информации")
 
@@ -554,8 +678,11 @@ if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
 
         comment = st.text_area(
             "Комментарий",
-            height=120,
-            placeholder="Что именно вы хотите уточнить/получить по выбранным диссертациям?",
+            height=140,
+            placeholder=(
+                "Какую дополнительную информацию по авторам диссертаций вы хотите получить?\n"
+                "Какие замечания/пожелания по функционалу системы?"
+            ),
         )
 
         send_request = st.form_submit_button("📨 Отправить запрос", type="primary", use_container_width=True)
@@ -566,10 +693,10 @@ if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
         elif len(selected_rows) == 0:
             st.warning("Выберите хотя бы одну диссертацию в таблице (чекбоксами слева).")
         else:
-            # Собираем items по выбранным индексам через df_raw_saved.loc
+            # items по выбранным строкам
             items = []
-            for idx in selected_rows:
-                raw = df_raw_saved.loc[idx].to_dict()
+            for i in selected_rows:
+                raw = df_raw_saved.iloc[i].to_dict()
                 items.append(
                     {
                         "author_fio": raw.get("fio"),
@@ -579,6 +706,7 @@ if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
                         "vak_link": raw.get("vak_link"),
                         "registration_number": raw.get("registration_number"),
                         "score": raw.get("score"),
+                        "openalex_url": raw.get("openalex_url", ""),
                     }
                 )
 
@@ -595,12 +723,7 @@ if isinstance(df_ui_saved, pd.DataFrame) and not df_ui_saved.empty:
 
             try:
                 path = save_request_to_hub(payload)
-                st.success(f"Запрос сохранён в {HF_REQUESTS_REPO}: {path}")
-
-                # При желании можно показать, что ушло (на время отладки)
-                with st.expander("Показать содержимое заявки (для проверки)", expanded=False):
-                    st.json(payload)
-
+                st.success(f"Запрос {path} сохранен")
             except Exception as e:
                 st.error(
                     "Не удалось сохранить запрос в репозиторий PostDocRequests.\n\n"