Optimizer: SSE log panel + static app.js (SES-safe nv), no global loader; HF_SES doc

app.py

@@ -1,7 +1,13 @@
 # app.py - Hugging Face Spaces entry point
 
+import json
+import threading
+import uuid
+from queue import Empty, Queue
+
 from fastapi import FastAPI, Request
-from fastapi.responses import HTMLResponse
+from fastapi.responses import HTMLResponse, StreamingResponse
+from fastapi.staticfiles import StaticFiles
 from fastapi.templating import Jinja2Templates
 import uvicorn
 import torch
@@ -19,6 +25,7 @@ from models import (
     UserAgentsResponse,
     OptimizerRequest,
     OptimizerResponse,
+    OptimizerCancelRequest,
 )
 import logic
 import nlp_processor
@@ -31,6 +38,13 @@ import optimizer
 
 app = FastAPI(title="SEO AI Editor MVP")
 
+_static_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), "static")
+if os.path.isdir(_static_dir):
+    app.mount("/static", StaticFiles(directory=_static_dir), name="static")
+
+_OPTIMIZER_JOBS_LOCK = threading.Lock()
+_OPTIMIZER_CANCEL_EVENTS: dict = {}
+
 # Подключаем папку с шаблонами
 templates = Jinja2Templates(directory="templates")
 
@@ -258,6 +272,75 @@ async def run_optimizer(request: OptimizerRequest):
     except Exception as e:
         return OptimizerResponse(ok=False, error=str(e))
 
+
+@app.post("/api/v1/optimizer/cancel")
+async def optimizer_cancel(body: OptimizerCancelRequest):
+    with _OPTIMIZER_JOBS_LOCK:
+        ev = _OPTIMIZER_CANCEL_EVENTS.get(body.job_id)
+    if ev is not None:
+        ev.set()
+    return {"ok": True}
+
+
+@app.post("/api/v1/optimizer/run-stream")
+async def run_optimizer_stream(request: OptimizerRequest):
+    """SSE: события прогресса + финальный JSON. Клиент ведёт локальный лог, без глобального лоадера."""
+    job_id = str(uuid.uuid4())
+    cancel_ev = threading.Event()
+    payload = request.model_dump()
+    q: Queue = Queue()
+
+    with _OPTIMIZER_JOBS_LOCK:
+        _OPTIMIZER_CANCEL_EVENTS[job_id] = cancel_ev
+
+    def worker():
+        try:
+            def progress_cb(data):
+                q.put(("progress", data))
+
+            result = optimizer.optimize_text(
+                payload,
+                progress_callback=progress_cb,
+                cancel_event=cancel_ev,
+            )
+            q.put(("done", result))
+        except Exception as e:
+            q.put(("error", str(e)))
+
+    threading.Thread(target=worker, daemon=True).start()
+
+    def gen():
+        try:
+            yield f"data: {json.dumps({'event': 'job', 'job_id': job_id})}\n\n"
+            while True:
+                try:
+                    kind, data = q.get(timeout=0.3)
+                except Empty:
+                    yield ": ping\n\n"
+                    continue
+                if kind == "progress":
+                    yield f"data: {json.dumps(data)}\n\n"
+                elif kind == "done":
+                    yield f"data: {json.dumps({'event': 'complete', 'result': data})}\n\n"
+                    break
+                elif kind == "error":
+                    yield f"data: {json.dumps({'event': 'error', 'error': data})}\n\n"
+                    break
+        finally:
+            with _OPTIMIZER_JOBS_LOCK:
+                _OPTIMIZER_CANCEL_EVENTS.pop(job_id, None)
+
+    return StreamingResponse(
+        gen(),
+        media_type="text/event-stream",
+        headers={
+            "Cache-Control": "no-cache",
+            "Connection": "keep-alive",
+            "X-Accel-Buffering": "no",
+        },
+    )
+
+
 # Hugging Face Spaces использует порт 7860
 if __name__ == "__main__":
     port = int(os.environ.get("PORT", 7860))

docs/FULL_FUNCTIONAL_DOCUMENTATION.md

@@ -24,7 +24,7 @@
    - смысловой поиск по словам и фразам
    - сравнение с конкурентами (включая таблицу мощных терминов)
 
-3. **LLM Optimizer** (`POST /api/v1/optimizer/run`)
+3. **LLM Optimizer** (`POST /api/v1/optimizer/run` или в UI — SSE `run-stream`)
    - итеративная локальная оптимизация текста
    - многокритериальный скоринг с защитой от деградации
    - каскад уровней правок (от минимальных к более широким)
@@ -45,7 +45,8 @@
 - `url_fetcher.py` — извлечение текста/title из URL с выбором user-agent.
 - `optimizer.py` — LLM-оптимизация с обратной связью от метрик.
 - `docs/TEXT_OPTIMIZER_PRINCIPLES.md` — живой регламент принципов оптимизатора (stage-пайплайн, допуски, guardrails).
-- `templates/index.html` — frontend (UI + клиентская логика JS).
+- `templates/index.html` — разметка UI.
+- `static/js/app.js` — вся клиентская логика (подключается как `/static/js/app.js`; без гигантского inline-скрипта — см. `docs/HF_SES_AND_UI.md`).
 
 ---
 
@@ -178,8 +179,18 @@
 - `optimization_mode`
 - `phrase_strategy_mode`
 - `bert_stage_target`
+- `stopped_early`, `stop_reason` — при ручной остановке (частичный результат)
 - `error` (если есть)
 
+### `POST /api/v1/optimizer/run-stream` (SSE)
+Тело как у `run`. Поток `text/event-stream`, события `job` (с `job_id`), `preparing`, `started`, `step_start`, `llm_call`, затем `complete` с полем `result` или `error`.
+
+### `POST /api/v1/optimizer/cancel`
+Тело: `{"job_id": "..."}`. Только флаг отмены; клиент дочитывает SSE до `complete`.
+
+### UI и HF/SES
+Клиентский код: **`static/js/app.js`** + `GET /static/js/app.js`. Прогресс оптимизатора — **локальная панель с текстовым логом** (и тонкая полоса), **без** `#loader`. Подробности про SES и «мёртвые кнопки»: `docs/HF_SES_AND_UI.md`.
+
 ---
 
 ## 5) Подробная алгоритмика по модулям
@@ -502,7 +513,7 @@ HTML extraction pipeline:
 
 ---
 
-## 6) Frontend (`templates/index.html`) — сценарии и функции
+## 6) Frontend (`templates/index.html` + `static/js/app.js`)
 
 ## 6.1 Ввод данных и URL import
 - `loadUserAgentOptions` — загрузка пресетов UA.
@@ -531,9 +542,12 @@ API-ключ оптимизатора в persist-состояние не сох
 
 ## 6.4 Сводка и оптимизатор
 - `renderActionSummary` — агрегирует рекомендации BERT/BM25/N-grams/Title/Semantic в табличный формат.
-- `runLlmOptimization` — запуск оптимизации.
-- `renderOptimizerResults` — итог и debug-лог по шагам/кандидатам.
+- `runLlmOptimization` — `POST /api/v1/optimizer/run-stream` (SSE); локальная панель **лога** + тонкий progress bar; **без** `#loader`.
+- `requestStopOptimizer` — `POST /api/v1/optimizer/cancel`; поток дочитывается до `complete` (частичный результат).
+- `optimizerLogAppend` / `applyOptimizerStreamEvent` — текстовый ход работы.
+- `renderOptimizerResults` — итог и debug-лог; баннер при `stopped_early`.
 - `applyOptimizedText` — перенос optimized текста в `target_text`.
+- `nv(v, d)` — nullish-fallback без операторов `??` (SES на HF).
 
 ## 6.5 Сортировка таблицы мощных терминов
 - `setSemanticTermSortBy`

docs/HF_SES_AND_UI.md

@@ -0,0 +1,28 @@
+# Почему на Hugging Face «умирали» все кнопки (версии с прогресс-баром)
+
+По **фактам из консоли** (не гипотезы):
+
+## 1. `SES_UNCAUGHT_EXCEPTION: SyntaxError: missing : in conditional expression`
+
+На странице Space подключается **SES lockdown** (`lockdown-install.js`). Его парсер/конвейер для кода страницы **не эквивалентен** последнему движку Firefox/Chrome в части синтаксиса ES2020+.
+
+- Операторы **`??` (nullish coalescing)** и **`?.` (optional chaining)** в **одном исходнике** с большим inline-`<script>` давали ошибку разбора, интерпретируемую как **сломанный тернарный `? … :`** → *missing ':'*.
+- После этой ошибки **весь** клиентский скрипт приложения **не выполняется** → не регистрируются **ни** `onclick`, **ни** делегирование `data-app-action` → кажется, что «сломались все кнопки».
+
+**Исправление:** не использовать `??` / `?.` в коде приложения; вместо них — функция `nv(v, d)` и проверки `obj && obj.prop`.
+
+## 2. Глобальный `#loader`
+
+Если на время оптимизатора включать полноэкранный оверлей и по какой-то причине не снять `display` в `finally`, **все клики** уходят в оверлей. Это уже не SES, а логика UI.
+
+**Исправление:** во время LLM-оптимизации **не** трогать `#loader`; прогресс только в **локальной панели** под кнопками.
+
+## 3. Строки CSP про `inpage.js`, Stripe, `content.js`
+
+В логе часто идут **расширения браузера** и iframe HF, а не ваш `index.html`. На диагностику кнопок приложения они обычно не влияют.
+
+## Текущая схема (после правок)
+
+- Логика UI в **`/static/js/app.js`** (отдельный файл, не гигантский inline).
+- Прогресс оптимизатора: **панель с `<pre>`-логом** + тонкая полоса; **без** блокировки всего экрана.
+- Поток **`/api/v1/optimizer/run-stream`** (SSE) + **`/api/v1/optimizer/cancel`** для остановки с частичным результатом.

models.py

@@ -105,4 +105,10 @@ class OptimizerResponse(BaseModel):
     optimization_mode: str = "balanced"
     phrase_strategy_mode: str = "auto"
     bert_stage_target: float = 0.70
-    error: str = ""
+    error: str = ""
+    stopped_early: bool = False
+    stop_reason: str = ""
+
+
+class OptimizerCancelRequest(BaseModel):
+    job_id: str = Field(..., min_length=8)

optimizer.py

@@ -1287,7 +1287,11 @@ def _is_candidate_valid(
     return (len(reasons) == 0), reasons, improved
 
 
-def optimize_text(request_data: Dict[str, Any]) -> Dict[str, Any]:
+def optimize_text(
+    request_data: Dict[str, Any],
+    progress_callback: Optional[Any] = None,
+    cancel_event: Optional[Any] = None,
+) -> Dict[str, Any]:
     target_text = str(request_data.get("target_text", "")).strip()
     competitors = [str(x) for x in (request_data.get("competitors") or []) if str(x).strip()]
     keywords = [str(x) for x in (request_data.get("keywords") or []) if str(x).strip()]
@@ -1326,12 +1330,47 @@ def optimize_text(request_data: Dict[str, Any]) -> Dict[str, Any]:
     ngram_step_addon = min(56, max(0, ngram_row_count) * NGRAM_ATTEMPTS_PER_TERM)
     total_loop_steps = min(80, max_iterations + ngram_step_addon)
 
+    _emit("preparing", message="Подготовка", phase="baseline")
+    _emit(
+        "started",
+        total_steps=total_loop_steps,
+        max_iterations_setting=max_iterations,
+        ngram_targets=ngram_row_count,
+        stages_order=list(STAGE_ORDER),
+    )
+
     current_text = target_text
     current_analysis = baseline_analysis
     current_semantic = baseline_semantic
     current_metrics = baseline_metrics
     logs: List[Dict[str, Any]] = []
     applied_changes = 0
+
+    def _emit(ev: str, **kwargs: Any) -> None:
+        if progress_callback:
+            try:
+                progress_callback({"event": ev, **kwargs})
+            except Exception:
+                pass
+
+    def _cancelled() -> bool:
+        return cancel_event is not None and getattr(cancel_event, "is_set", lambda: False)()
+
+    def _pack_result(stopped_early: bool = False, stop_reason: str = "") -> Dict[str, Any]:
+        return {
+            "ok": True,
+            "optimized_text": current_text,
+            "baseline_metrics": baseline_metrics,
+            "final_metrics": current_metrics,
+            "iterations": logs,
+            "applied_changes": applied_changes,
+            "optimization_mode": optimization_mode,
+            "phrase_strategy_mode": phrase_strategy_mode,
+            "bert_stage_target": round(bert_stage_target, 4),
+            "stopped_early": stopped_early,
+            "stop_reason": stop_reason,
+        }
+
     seen_candidate_rewrites = set()
     cascade_level = 1
     consecutive_failures = 0
@@ -1343,6 +1382,16 @@ def optimize_text(request_data: Dict[str, Any]) -> Dict[str, Any]:
     stage_goal_cursor: Dict[str, Dict[str, int]] = {}
 
     for step in range(total_loop_steps):
+        if _cancelled():
+            logs.append(
+                {
+                    "step": step + 1,
+                    "status": "stopped",
+                    "reason": "Остановка пользователем (сохранён текущий текст и метрики).",
+                }
+            )
+            return _pack_result(stopped_early=True, stop_reason="user_cancelled")
+
         while stage_idx < len(STAGE_ORDER) and _is_stage_complete(
             STAGE_ORDER[stage_idx], current_metrics, bert_stage_target=bert_stage_target
         ):
@@ -1380,6 +1429,16 @@ def optimize_text(request_data: Dict[str, Any]) -> Dict[str, Any]:
             logs.append({"step": step + 1, "status": "stopped", "reason": "No sentences available for editing."})
             break
 
+        _emit(
+            "step_start",
+            step=step + 1,
+            total_steps=total_loop_steps,
+            active_stage=active_stage,
+            goal_type=goal.get("type"),
+            goal_label=goal.get("label"),
+            score=current_metrics.get("score"),
+        )
+
         goal_key = f"{goal.get('type', '')}:{goal.get('label', '')}".strip().lower()
         base_attempt_cursor = int(goal_attempt_cursor.get(goal_key, 0))
         span_trials = 2 if cascade_level <= 2 else 3
@@ -1430,6 +1489,22 @@ def optimize_text(request_data: Dict[str, Any]) -> Dict[str, Any]:
             for strategy_variant in strategy_plan:
                 candidate_idx += 1
                 temp = min(1.1, max(0.0, temperature + (candidate_idx - 1) * 0.07))
+                if _cancelled():
+                    logs.append(
+                        {
+                            "step": step + 1,
+                            "status": "stopped",
+                            "reason": "Остановка пользователем перед запросом к LLM.",
+                        }
+                    )
+                    return _pack_result(stopped_early=True, stop_reason="user_cancelled")
+                _emit(
+                    "llm_call",
+                    candidate_index=candidate_idx,
+                    span_trial=st + 1,
+                    span_trials=span_trials,
+                    strategy=strategy_variant,
+                )
                 try:
                     llm_result = _llm_edit_chunk(
                         api_key=api_key,
@@ -2044,14 +2119,4 @@ def optimize_text(request_data: Dict[str, Any]) -> Dict[str, Any]:
         cascade_level = 1
         goal_attempt_cursor[goal_key] = 0
 
-    return {
-        "ok": True,
-        "optimized_text": current_text,
-        "baseline_metrics": baseline_metrics,
-        "final_metrics": current_metrics,
-        "iterations": logs,
-        "applied_changes": applied_changes,
-        "optimization_mode": optimization_mode,
-        "phrase_strategy_mode": phrase_strategy_mode,
-        "bert_stage_target": round(bert_stage_target, 4),
-    }
+    return _pack_result()