Update src/streamlit_app.py

src/streamlit_app.py

@@ -5,7 +5,11 @@ import gzip
 import tempfile
 import datetime as dt
 import math
+import hashlib
+import base64
+import hmac
 from typing import List, Dict, Any, Optional, Tuple, Set
+from pathlib import Path
 
 import pandas as pd
 import streamlit as st
@@ -20,6 +24,15 @@ HF_TOKEN = os.environ.get("HF_TOKEN") or os.environ.get("HF_API_TOKEN")
 ALLOW_CREATE_REVIEWS_REPO = (os.environ.get("ALLOW_CREATE_REVIEWS_REPO", "0").strip().lower() in ("1","true","yes","y","on"))
 REVIEWS_PRIVATE = (os.environ.get("REVIEWS_PRIVATE", "1").strip().lower() in ("1","true","yes","y","on"))
 
+# =========================
+# AUTH (простая роль/логин)
+# =========================
+USERS_REPO = os.environ.get("USERS_REPO", "").strip()  # приватный dataset с users.json
+USERS_FILE_PATH = os.environ.get("USERS_FILE_PATH", "users.json").strip()
+DEMO_LOGIN = os.environ.get("DEMO_LOGIN", "demo").strip()
+DEMO_PASSWORD = os.environ.get("DEMO_PASSWORD", "demo")
+
+
 # Надёжность по умолчанию: сразу пишем каждый review
 BATCH_SIZE = int(os.environ.get("BATCH_SIZE", "1"))
 
@@ -41,6 +54,23 @@ api = HfApi(token=HF_TOKEN)
 st.set_page_config(page_title="Скоринг публикаций", layout="wide")
 
 
+st.markdown(
+    """
+<style>
+/* Global typography tuning (Streamlit) */
+h1 { font-size: 1.75rem; margin-bottom: 0.4rem; }
+h2 { font-size: 1.35rem; margin-top: 1.0rem; margin-bottom: 0.35rem; }
+h3 { font-size: 1.1rem; margin-top: 0.9rem; margin-bottom: 0.25rem; }
+.small-meta { font-size: 0.85rem; opacity: 0.85; }
+.dir-card { padding: 0.75rem 0.9rem; border: 1px solid rgba(49,51,63,0.2); border-radius: 12px; background: rgba(49,51,63,0.04); }
+.kpi-line { font-size: 0.9rem; opacity: 0.9; }
+.kpi-line b { opacity: 1.0; }
+</style>
+    """,
+    unsafe_allow_html=True,
+)
+
+
 # =========================
 # Helpers
 # =========================
@@ -178,10 +208,111 @@ def topics_line(topics: Any) -> str:
             out.append(str(t))
     return "; ".join(out) if out else "—"
 
-def get_reviewer() -> str:
-    default = os.environ.get("REVIEWER", "")
-    v = st.sidebar.text_input("Рецензент (имя/ник)", value=default).strip()
-    return v or "anonymous"
+def _b64u(b: bytes) -> str:
+    return base64.urlsafe_b64encode(b).decode("utf-8").rstrip("=")
+
+def _b64u_dec(s: str) -> bytes:
+    pad = "=" * (-len(s) % 4)
+    return base64.urlsafe_b64decode((s + pad).encode("utf-8"))
+
+def hash_password_pbkdf2(password: str, *, iterations: int = 200_000) -> str:
+    salt = os.urandom(16)
+    dk = hashlib.pbkdf2_hmac("sha256", password.encode("utf-8"), salt, iterations)
+    return f"pbkdf2_sha256${iterations}${_b64u(salt)}${_b64u(dk)}"
+
+def verify_password(record: Dict[str, Any], password: str) -> bool:
+    # 1) PBKDF2 string
+    ph = record.get("password_hash")
+    if isinstance(ph, str) and ph.startswith("pbkdf2_sha256$"):
+        try:
+            _, it_s, salt_s, hash_s = ph.split("$", 3)
+            it = int(it_s)
+            salt = _b64u_dec(salt_s)
+            expected = _b64u_dec(hash_s)
+            got = hashlib.pbkdf2_hmac("sha256", password.encode("utf-8"), salt, it)
+            return hmac.compare_digest(got, expected)
+        except Exception:
+            return False
+
+    # 2) structured hash
+    if isinstance(ph, dict) and ph.get("algo") == "pbkdf2_sha256":
+        try:
+            it = int(ph.get("iterations") or 200_000)
+            salt = _b64u_dec(str(ph.get("salt") or ""))
+            expected = _b64u_dec(str(ph.get("hash") or ""))
+            got = hashlib.pbkdf2_hmac("sha256", password.encode("utf-8"), salt, it)
+            return hmac.compare_digest(got, expected)
+        except Exception:
+            return False
+
+    # 3) plaintext (не рекомендуется, но поддерживаем для простого старта)
+    pw = record.get("password")
+    if isinstance(pw, str):
+        return hmac.compare_digest(pw, password)
+
+    return False
+
+@st.cache_data(show_spinner=False)
+def load_users(repo_id: str, relpath: str) -> Dict[str, Dict[str, Any]]:
+    if not repo_id:
+        return {}
+    try:
+        path = hf_hub_download(repo_id=repo_id, filename=relpath, repo_type="dataset", token=HF_TOKEN)
+        data = json.loads(Path(path).read_text(encoding="utf-8"))
+    except Exception:
+        return {}
+    users: Dict[str, Dict[str, Any]] = {}
+    items = data.get("users") if isinstance(data, dict) else None
+    if isinstance(items, list):
+        for u in items:
+            if not isinstance(u, dict):
+                continue
+            login = str(u.get("login") or "").strip()
+            if login:
+                users[login] = u
+    return users
+
+def ensure_auth() -> Dict[str, str]:
+    """
+    Возвращает dict {login, role}. Если не авторизован — показывает форму входа и останавливает выполнение.
+    """
+    if isinstance(st.session_state.get("auth"), dict):
+        return st.session_state["auth"]
+
+    users = load_users(USERS_REPO, USERS_FILE_PATH)
+    st.markdown("### Вход")
+
+    col1, col2 = st.columns([2,1])
+    with col1:
+        with st.form("login_form", clear_on_submit=False):
+            login = st.text_input("Логин").strip()
+            password = st.text_input("Пароль", type="password")
+            ok = st.form_submit_button("Войти")
+        if ok:
+            if login == DEMO_LOGIN and hmac.compare_digest(password, str(DEMO_PASSWORD)):
+                st.session_state["auth"] = {"login": DEMO_LOGIN, "role": "demo"}
+                st.rerun()
+            rec = users.get(login)
+            if rec and verify_password(rec, password):
+                role = str(rec.get("role") or "reviewer").strip().lower()
+                if role not in ("admin", "reviewer", "demo"):
+                    role = "reviewer"
+                st.session_state["auth"] = {"login": login, "role": role}
+                st.rerun()
+            st.error("Неверный логин или пароль.")
+    with col2:
+        st.write("")
+        st.write("")
+        if st.button("Войти в Demo", use_container_width=True):
+            st.session_state["auth"] = {"login": DEMO_LOGIN, "role": "demo"}
+            st.rerun()
+
+    st.info(
+        "Админу: задайте USERS_REPO (приватный dataset) и USERS_FILE_PATH (users.json) в настройках Space. "
+        "Для быстрого теста доступен Demo."
+    )
+    st.stop()
+
 
 def decode_abstract(abstract_inverted_index: Optional[dict]) -> str:
     if not abstract_inverted_index or not isinstance(abstract_inverted_index, dict):
@@ -419,7 +550,7 @@ def list_review_files(repo_id: str, dir_id: str, prefix: str) -> List[str]:
     return out
 
 @st.cache_data(show_spinner=False)
-def load_reviewed_keys(repo_id: str, dir_id: str, prefix: str) -> Set[str]:
+def load_reviewed_keys(repo_id: str, dir_id: str, prefix: str, reviewer: Optional[str] = None) -> Set[str]:
     """
     Поддержка миграции:
     - старые review содержали только work_id -> помечаем как W::<id>
@@ -441,6 +572,9 @@ def load_reviewed_keys(repo_id: str, dir_id: str, prefix: str) -> Set[str]:
                         continue
                     obj = json.loads(line)
 
+                    if reviewer and str(obj.get('reviewer') or '').strip() != reviewer:
+                        continue
+
                     sid = obj.get("source_id")
                     if isinstance(sid, str) and sid.strip():
                         reviewed.add(f"SRC::{sid.strip()}")
@@ -450,25 +584,30 @@ def load_reviewed_keys(repo_id: str, dir_id: str, prefix: str) -> Set[str]:
                         reviewed.add(f"W::{wid.strip()}")
         except Exception:
             continue
-    return reviewed
-
-
+    
 @st.cache_data(show_spinner=False)
-def load_review_index(repo_id: str, dir_id: str, prefix: str) -> Dict[str, Dict[str, Any]]:
+def load_review_index(repo_id: str, dir_id: str, prefix: str, reviewer: Optional[str] = None) -> Dict[str, Dict[str, Any]]:
     """
-    Индекс последних оценок по ключам публикаций (тихо, офлайн).
-    Возвращает mapping:
-      key (SRC::<source_id> / W::<work_id>) -> review_obj (последняя по ts_utc/ts)
-
-    Нужен для автоподстановки score/comment при навигации.
+    Индекс последних оценок по публикации (для предзаполнения score/comment).
+    Возвращает mapping: key -> last_review_obj, где key — SRC::<source_id> или W::<work_id>.
+    Если reviewer задан — берём только его записи (для разделения прав).
     """
     try:
         files = list_review_files(repo_id, dir_id, prefix)
     except Exception:
         return {}
 
-    idx: Dict[str, Dict[str, Any]] = {}
-    ts_by_key: Dict[str, str] = {}
+    index: Dict[str, Dict[str, Any]] = {}
+    ts_index: Dict[str, str] = {}
+
+    def pick_key(obj: Dict[str, Any]) -> Optional[str]:
+        sid = obj.get("source_id")
+        if isinstance(sid, str) and sid.strip():
+            return f"SRC::{sid.strip()}"
+        wid = obj.get("work_id")
+        if isinstance(wid, str) and wid.strip():
+            return f"W::{wid.strip()}"
+        return None
 
     for relpath in files:
         try:
@@ -479,26 +618,19 @@ def load_review_index(repo_id: str, dir_id: str, prefix: str) -> Dict[str, Dict[
                     if not line:
                         continue
                     obj = json.loads(line)
-                    ts = str(obj.get("ts_utc") or obj.get("ts") or "")
-
-                    sid = obj.get("source_id")
-                    if isinstance(sid, str) and sid.strip():
-                        k = f"SRC::{sid.strip()}"
-                        if (k not in ts_by_key) or (ts and ts > ts_by_key.get(k, "")):
-                            ts_by_key[k] = ts
-                            idx[k] = obj
-
-                    wid = obj.get("work_id")
-                    if isinstance(wid, str) and wid.strip():
-                        k = f"W::{wid.strip()}"
-                        if (k not in ts_by_key) or (ts and ts > ts_by_key.get(k, "")):
-                            ts_by_key[k] = ts
-                            idx[k] = obj
+                    if reviewer and str(obj.get("reviewer") or "").strip() != reviewer:
+                        continue
+                    k = pick_key(obj)
+                    if not k:
+                        continue
+                    t = str(obj.get("ts_utc") or obj.get("ts") or "")
+                    if t >= ts_index.get(k, ""):
+                        ts_index[k] = t
+                        index[k] = obj
         except Exception:
             continue
-
-    return idx
-
+    return index
+return reviewed
 
 
 # =========================
@@ -531,52 +663,66 @@ def push_batch_to_reviews_repo(repo_id: str, dir_id: str, prefix: str, batch: Li
 
 
 # =========================
-# Sidebar
-# =========================
-
 # =========================
 # MAIN APP (offline-first)
 # =========================
+auth = ensure_auth()
+login = auth.get("login", "anonymous")
+role = auth.get("role", "reviewer")
+
+# Sidebar: только пользователь/админ-инструменты
+flush_now = False
+clear_cache = False
 
 with st.sidebar:
-    st.title("Скоринг публикаций")
+    st.markdown(f"**Пользователь:** {login}  \\n**Роль:** {role}")
+    if st.button("Выйти", use_container_width=True):
+        if "auth" in st.session_state:
+            del st.session_state["auth"]
+        st.rerun()
+
+
+    if role != "demo":
+        with st.expander("Сервис", expanded=False):
+            if st.session_state.get("batch"):
+                flush_now = st.button("⬆️ Синхронизировать pending", use_container_width=True)
+    if role == "admin":
+        with st.expander("Админ", expanded=False):
+            clear_cache = st.button("🧹 Сбросить кэш", use_container_width=True)
 
-    require_env("PUBLICATIONS_REPO", PUBLICATIONS_REPO)
+# Preflight: окружение/доступ к репозиториям
+require_env("PUBLICATIONS_REPO", PUBLICATIONS_REPO)
+if role != "demo":
     require_env("REVIEWS_REPO", REVIEWS_REPO)
 
-    # Проверяем наличие репозиториев (чтобы не ловить 404 при сохранении)
-    pub_ok, pub_msg = check_dataset_repo(PUBLICATIONS_REPO, HF_TOKEN)
-    if not pub_ok:
-        st.error("PUBLICATIONS_REPO недоступен как dataset repo. Проверь repo_id и доступ.\n\n" + pub_msg)
-        st.stop()
+pub_ok, pub_msg = check_dataset_repo(PUBLICATIONS_REPO, HF_TOKEN)
+if not pub_ok:
+    st.error("PUBLICATIONS_REPO недоступен как dataset repo. Проверь repo_id и доступ.\n\n" + pub_msg)
+    st.stop()
 
+if role != "demo":
     rev_ok, rev_msg = check_dataset_repo(REVIEWS_REPO, HF_TOKEN)
     if not rev_ok:
-        created, cmsg = maybe_create_reviews_repo(REVIEWS_REPO)
-        if created:
-            rev_ok2, rev_msg2 = check_dataset_repo(REVIEWS_REPO, HF_TOKEN)
-            if not rev_ok2:
-                st.error("REVIEWS_REPO недоступен после create_repo.\n\n" + rev_msg2)
-                st.stop()
+        # создание допускаем только администратору и только если явно разрешено
+        if role == "admin":
+            created, _ = maybe_create_reviews_repo(REVIEWS_REPO)
+            if created:
+                rev_ok2, rev_msg2 = check_dataset_repo(REVIEWS_REPO, HF_TOKEN)
+                if not rev_ok2:
+                    st.error("REVIEWS_REPO недоступен после create_repo.\n\n" + rev_msg2)
+                    st.stop()
+                else:
+                    st.success("REVIEWS_REPO создан/доступен.")
             else:
-                st.success("REVIEWS_REPO создан/доступен.")
+                st.error("REVIEWS_REPO недоступен (404/нет доступа).\n\n" + rev_msg)
+                st.stop()
         else:
-            st.error(
-                "REVIEWS_REPO недоступен (404/нет доступа).\n\n"
-                "Что проверить:\n"
-                "1) В Space Variables: REVIEWS_REPO = <owner>/<dataset_name> (именно dataset).\n"
-                "2) Репозиторий реально существует на Hub.\n"
-                "3) Если repo приватный — в Secrets должен быть HF_TOKEN с правами write на этот dataset.\n"
-                "4) Если repo ещё не создан — включи ALLOW_CREATE_REVIEWS_REPO=1 (опционально) или создай вручную.\n\n"
-                + rev_msg
-            )
+            st.error("REVIEWS_REPO недоступен (404/нет доступа).\n\n" + rev_msg)
             st.stop()
 
-# =========================
-
-# =========================
-# Load DIR registry + UI (offline-first)
-# =========================
+# reviewer берём из учётной записи
+reviewer = login
+reviewer_filter = None if role == 'admin' else reviewer
 dirs = load_dir_registry(PUBLICATIONS_REPO, PUB_DIR_REGISTRY_PATH)
 dir_ids = [d.get("dir_id") for d in dirs if d.get("dir_id")]
 if not dir_ids:
@@ -590,21 +736,13 @@ def _fmt_dir(did: str) -> str:
     name = meta.get("dir_name") or "—"
     return f"DIR-{str(dir_no(did)).zfill(2)} — {name}"
 
+st.title("Скоринг публикаций")
 
 # Выбор DIR — в основном интерфейсе (не в сайдбаре)
-selected_dir = st.selectbox("Направление исследований", dir_ids, index=0, format_func=_fmt_dir)
+selected_dir = st.selectbox("DIR", dir_ids, index=0, format_func=_fmt_dir)
 dir_meta = dir_map.get(selected_dir) or {}
 
 # =========================
-# Sidebar (минимум)
-# =========================
-with st.sidebar:
-    reviewer = get_reviewer()
-    st.caption(f"BATCH_SIZE={BATCH_SIZE} (настройка через переменную окружения)")
-    st.divider()
-    flush_now = st.button("⬆️ Синхронизировать сейчас", use_container_width=True)
-    clear_cache = st.button("🧹 Сбросить кэш", use_container_width=True)
-
 if clear_cache:
     load_dir_registry.clear()
     load_candidates.clear()
@@ -645,21 +783,20 @@ dir_desc = dir_meta.get("dir_description", "—")
 
 st.markdown(
     f"""
-<div style="padding: 14px 16px; border: 1px solid rgba(49,51,63,0.2); border-radius: 12px; background: rgba(49,51,63,0.04);">
-  <div style="margin-top: 0px;">
-    <div style="font-size: 12px; font-weight: 700; text-transform: uppercase; opacity: 0.7;">{dir_desc}</div>
-  </div>
+<div class="dir-card">
+  <div class="small-meta"><b>Краткое описание</b></div>
+  <div>{dir_desc}</div>
 </div>
 """,
     unsafe_allow_html=True,
 )
 
-with st.expander("Параметры поиска", expanded=True):
+with st.expander("Детали DIR", expanded=True):
     st.markdown(f"**Временной интервал:** {year_from} – {year_to}")
     st.markdown(f"**Якоря:** {anchor_str}")
     st.markdown(f"**Поддержка:** {support_str}")
     st.markdown(f"**Шум:** {noise_str}")
-    st.markdown(f"**Topics:** {topics_str}")
+    st.markdown(f"**Topics поиска:** {topics_str}")
 
 st.divider()
 
@@ -732,9 +869,13 @@ canonical_dir = normalize_dir_id(selected_dir, pad2=False)
 # Загрузка сохранённых оценок (тихо; remote-статусы не показываем)
 need_reload = (st.session_state["reviewed_remote_dir"] != canonical_dir)
 if need_reload:
-    # Без спиннера и без UI-вывода: просто подготавливаем пропуск/предзаполнение
-    st.session_state["reviewed_remote"] = load_reviewed_keys(REVIEWS_REPO, selected_dir, REVIEWS_LOG_PREFIX)
-    st.session_state["review_index_remote"] = load_review_index(REVIEWS_REPO, selected_dir, REVIEWS_LOG_PREFIX)
+    if role != "demo":
+        # Тихо подгружаем только оценки текущего пользователя (или все, если admin)
+        st.session_state["reviewed_remote"] = load_reviewed_keys(REVIEWS_REPO, selected_dir, REVIEWS_LOG_PREFIX, reviewer=reviewer_filter)
+        st.session_state["review_index_remote"] = load_review_index(REVIEWS_REPO, selected_dir, REVIEWS_LOG_PREFIX, reviewer=reviewer_filter)
+    else:
+        st.session_state["reviewed_remote"] = set()
+        st.session_state["review_index_remote"] = {}
     st.session_state["reviewed_remote_dir"] = canonical_dir
 
 reviewed_committed = set(st.session_state["reviewed_remote"]) | set(st.session_state["reviewed_local_committed"])
@@ -806,20 +947,6 @@ committed_pub_count = int(mask_committed.sum())
 pending_pub_count = int(mask_pending.sum())
 unreviewed_pub_count = int((~mask_reviewed).sum())
 
-with st.sidebar:
-    with st.expander("Статусы", expanded=False):
-        st.write(f"✅ сохранено: {committed_pub_count} публикаций")
-        st.write(f"🕓 pending: {pending_pub_count} публикаций")
-
-    if st.session_state.get("batch"):
-        pending_jsonl = "".join(json.dumps(x, ensure_ascii=False) + "\n" for x in st.session_state["batch"])
-        st.download_button(
-            "⬇️ Скачать pending reviews (.jsonl)",
-            data=pending_jsonl,
-            file_name=f"pending_{canonical_dir}_{dt.datetime.utcnow().strftime('%Y%m%d_%H%M%S')}.jsonl",
-            mime="application/jsonl",
-            use_container_width=True,
-        )
 
 # =========================
 # Commit helper
@@ -875,7 +1002,7 @@ current_idx = int(st.session_state[idx_key])
 current_idx = max(0, min(total - 1, current_idx))
 st.session_state[idx_key] = current_idx
 
-window_size = 50  # фиксированный размер окна списка (��астройка убрана из UI)
+window_size = 50
 window_start = int(current_idx // window_size) * int(window_size)
 window_end = min(window_start + int(window_size), total)
 page_indices = list(range(window_start, window_end))
@@ -969,7 +1096,7 @@ with col_left:
             st.rerun()
 
     with b2:
-        if st.button("✅ Сохранить и далее", use_container_width=True):
+        if st.button("✅ Сохранить и далее", use_container_width=True, disabled=(role=="demo")):
             # собираем мета для review
             authors, abstract = get_authors_and_abstract(row)
 
@@ -1035,7 +1162,33 @@ with col_left:
             st.session_state[idx_key] = min(total - 1, current_idx + 1)
             st.rerun()
 
-    st.caption(f"Pending: {len(st.session_state.get('batch') or [])}")
+    
+
+    # --- Статусы/прогресс (внизу левого блока) ---
+    total_pub = int(total)
+    prog_eval = int(committed_pub_count + pending_pub_count)
+    prog_pct = int(round(100.0 * prog_eval / total_pub)) if total_pub > 0 else 0
+    st.markdown(
+        f'<div class="kpi-line">'
+        f'<b>Всего</b>: {total_pub} • '
+        f'<b>Оценено</b>: {committed_pub_count} • '
+        f'<b>Pending</b>: {pending_pub_count} • '
+        f'<b>Осталось</b>: {unreviewed_pub_count} • '
+        f'<b>{prog_pct}%</b> • '
+        f'<b>#{int(current_idx)+1}/{total_pub}</b>'
+        f'</div>',
+        unsafe_allow_html=True,
+    )
+
+    if role != "demo" and (st.session_state.get("batch") or []):
+        pending_jsonl = "".join(json.dumps(x, ensure_ascii=False) + "\\n" for x in (st.session_state.get("batch") or []))
+        st.download_button(
+            "⬇️ Скачать pending (.jsonl)",
+            data=pending_jsonl,
+            file_name=f"pending_{canonical_dir}_{dt.datetime.utcnow().strftime('%Y%m%d_%H%M%S')}.jsonl",
+            mime="application/jsonl",
+            use_container_width=True,
+        )
 
 with col_right:
     # карточка публикации занимает максимум пространства справа
@@ -1143,4 +1296,4 @@ with col_right:
         expl = row.get("dir_score_explanation")
         if expl:
             st.markdown("**dir_score_explanation:**")
-            st.write(expl)
+            st.write(expl)