Keep reconciled stream tails formatted, tighten freshness word boundaries and probe real TikWM API paths

bot.py

@@ -1778,21 +1778,19 @@ async def main() -> None:
         # Флаги — канонически в lumen_chat_state (P2): множества общие объектом,
         # bool-флаги читаем из модуля, т.к. bot-привязки после выноса stale.
         # Синхронная запись в потоке: loop уже дренирует задачи, висеть нельзя.
-        if lumen_chat_state._state_load_failed:
-            # Стартовая загрузка не удалась: не затираем удалённые данные
-            # (аудит 28.10.2026).
-            log.warning('[state] Startup load failed: skipping the final flush to keep remote data intact.')
-        else:
-            if _dirty_chat_ids or lumen_chat_state._index_dirty or _pending_chat_deletions:
-                try:
-                    await asyncio.wait_for(asyncio.to_thread(_flush_state_now), timeout=15.0)
-                except asyncio.TimeoutError:
-                    log.warning('[state] Final flush exceeded 15s; abandoning the remainder.')
-            if lumen_chat_state._quota_dirty:
-                try:
-                    await asyncio.wait_for(asyncio.to_thread(save_global_quota), timeout=10.0)
-                except asyncio.TimeoutError:
-                    log.warning('[state] Final quota save exceeded 10s; abandoning the remainder.')
+        # Стартовая загрузка могла не удаться частично: чаты сохраняем (это
+        # единственная копия новых сообщений), а индекс и квота внутри сами
+        # пропускаются, чтобы не затереть удалённые данные (аудит A5-2).
+        if _dirty_chat_ids or lumen_chat_state._index_dirty or _pending_chat_deletions:
+            try:
+                await asyncio.wait_for(asyncio.to_thread(_flush_state_now), timeout=15.0)
+            except asyncio.TimeoutError:
+                log.warning('[state] Final flush exceeded 15s; abandoning the remainder.')
+        if lumen_chat_state._quota_dirty:
+            try:
+                await asyncio.wait_for(asyncio.to_thread(save_global_quota), timeout=10.0)
+            except asyncio.TimeoutError:
+                log.warning('[state] Final quota save exceeded 10s; abandoning the remainder.')
         await _close_sessions()
 
 if __name__ == "__main__":

lumen_admin.py

@@ -222,7 +222,7 @@ async def probe_url(
                 # обрезан; 401 самого прокси — тело "Unauthorized" и остаётся красным.
                 with contextlib.suppress(Exception):
                     body = await resp.content.read(512)
-                    if b'"error_code"' in body:
+                    if b'"error_code"' in body and b'"description"' in body:
                         ok = True
             return {"status": resp.status, "elapsed_sec": round(time.time() - start, 2), "ok": ok}
     except Exception as exc:
@@ -247,7 +247,11 @@ async def network_diagnostics(request: Request) -> dict[str, Any]:
         _log_denied(request, "GET /diag")
         return _forbidden()
     import bot
+    from urllib.parse import urlsplit
     bot_token = bot.BOT_TOKEN
+    tikwm_base = bot.TIKWM_API_BASE_URL
+    # Прямой хост TikWM секрет не получает: он нужен только прокси.
+    tikwm_via_proxy = bool(tikwm_base) and urlsplit(tikwm_base).hostname not in {"www.tikwm.com", "tikwm.com"}
     targets = {
         "telegram_api": "https://api.telegram.org",
         "telegram_file_api": "https://api.telegram.org/bot" + (bot_token[:6] if bot_token else "x") + "/getMe",
@@ -263,8 +267,9 @@ async def network_diagnostics(request: Request) -> dict[str, Any]:
         "huggingface": "https://huggingface.co",
         "openrouter": "https://openrouter.ai",
         "groq_api": "https://api.groq.com",
-        # Прокси TikWM требует секрет: без него честный 401 вместо живого API.
-        "tikwm": bot.TIKWM_API_BASE_URL or "https://www.tikwm.com",
+        # /api/ — тот же путь, что у реальных запросов: корень прокси мог
+        # отвечать 200, пока сам API-путь сломан (ревью 28.10.2026).
+        "tikwm": (tikwm_base + "/api/") if tikwm_via_proxy else "https://www.tikwm.com",
         "pollinations": "https://image.pollinations.ai",
         "upstash": bot.UPSTASH_REDIS_REST_URL if bot.USE_UPSTASH else "https://upstash.com",
     }
@@ -283,7 +288,7 @@ async def network_diagnostics(request: Request) -> dict[str, Any]:
         headers = None
         if name == "configured_tg_proxy" and bot.TELEGRAM_API_BASE_URL != "https://api.telegram.org":
             headers = proxy_headers
-        elif name == "tikwm" and bot.TIKWM_API_BASE_URL:
+        elif name == "tikwm" and tikwm_via_proxy:
             headers = proxy_headers
         return name, await probe_url(
             session, url, timeout_sec=6.0, redact=bot_token or "", headers=headers,

lumen_commands.py

@@ -764,13 +764,16 @@ async def cmd_selftest(message: Message) -> None:
         proxy_url = bot.TELEGRAM_API_BASE_URL + "/bot" + (token[:6] if token else "x") + "/getMe"
         proxy_headers = {"X-Lumen-Proxy-Secret": bot.LUMEN_PROXY_SECRET} if bot.LUMEN_PROXY_SECRET else None
         tg_headers = proxy_headers if bot.TELEGRAM_API_BASE_URL != "https://api.telegram.org" else None
-        # TikWM из HF доступен только через прокси: проверяем настроенный адрес,
-        # а не прямой хост, который там всегда 403 (аудит 28.10.2026).
-        tikwm_headers = proxy_headers if bot.TIKWM_API_BASE_URL else None
+        # TikWM из HF доступен только через прокси: проверяем настроенный адрес
+        # и путь /api/, как у реальных запросов, а не прямой хост (аудит 28.10.2026).
+        from urllib.parse import urlsplit
+        tikwm_base = bot.TIKWM_API_BASE_URL
+        tikwm_via_proxy = bool(tikwm_base) and urlsplit(tikwm_base).hostname not in {"www.tikwm.com", "tikwm.com"}
+        tikwm_headers = proxy_headers if tikwm_via_proxy else None
         net = await asyncio.gather(
             bot.probe_url(session, proxy_url, timeout_sec=6.0, redact=token, headers=tg_headers),
             bot.probe_url(
-                session, bot.TIKWM_API_BASE_URL or "https://www.tikwm.com",
+                session, (tikwm_base + "/api/") if tikwm_via_proxy else "https://www.tikwm.com",
                 timeout_sec=6.0, headers=tikwm_headers,
             ),
         )

lumen_router_config.py

@@ -560,7 +560,8 @@ _FRESHNESS_QUERY_RE = re.compile(
     # не-RU/EN свежие вопросы уходили в обычный текст без даты (аудит 28.10.2026).
     # Без tiempo/tempo/weer/son/panahon/morgen: они значат ещё «время», «снова»,
     # «конец», «утро» — ложные срабатывания на обычной болтовне дороже пропуска.
-    r"|\b(hoy|ahora|actual|reciente|noticias|precio|clima|mañana|ayer)\b"
+    # actual убран: в испанском «текущий», но в английском это обычное «фактический».
+    r"|\b(hoy|ahora|reciente|noticias|precio|clima|mañana|ayer)\b"
     r"|\b(heute|jetzt|aktuell|neueste|nachrichten|preis|wetter|vorhersage|gestern)\b"
     r"|\b(aujourd'hui|maintenant|actuel|récent|actualités|prix|météo|prévisions|demain|hier)\b"
     r"|\b(oggi|adesso|attuale|recente|notizie|prezzo|meteo|previsioni|domani|ieri)\b"
@@ -570,7 +571,9 @@ _FRESHNESS_QUERY_RE = re.compile(
     r"|\b(dziś|teraz|aktualn\w*|ostatni\w*|wiadomości|cena|pogoda|prognoza|jutro|wczoraj)\b"
     r"|\b(bugün|şimdi|güncel|haberler|fiyat|hava|tahmini|yarın|dün)\b"
     r"|\b(اليوم|الآن|الحالي|الأخير|أخبار|سعر|الطقس|توقعات|غدا|أمس)\b"
-    r"|(आज|अभी|वर्तमान|हाल|समाचार|खबर|कीमत|मौसम|पूर्वानुमान|कल)"
+    # Границы по диапазону письменности, а не \b: матры не входят в \w, и
+    # \bहाल\b ловил «हालांकि», \bकल\b — «कल्पना» (аудит 28.10.2026).
+    r"|(?<![\u0900-\u097F])(?:आज|अभी|वर्तमान|हाल|समाचार|खबर|कीमत|मौसम|पूर्वानुमान|कल)(?![\u0900-\u097F])"
     r"|\b(hari ini|sekarang|terbaru|berita|harga|cuaca|prakiraan|besok|kemarin)\b"
     r"|\b(hari ini|sekarang|terkini|berita|harga|cuaca|ramalan|esok|semalam)\b"
     r"|\b(hôm nay|bây giờ|hiện tại|mới nhất|tin tức|giá|thời tiết|dự báo|ngày mai|hôm qua)\b"
@@ -578,13 +581,13 @@ _FRESHNESS_QUERY_RE = re.compile(
     r"|\b(امروز|اکنون|فعلی|اخیر|اخبار|قیمت|هوا|پیش‌بینی|فردا|دیروز)\b"
     r"|\b(آج|ابھی|موجودہ|حالیہ|خبریں|قیمت|موسم|پیش گوئی|کل)\b"
     r"|\b(bugun|hozir|joriy|so'nggi|yangiliklar|narx|ob-havo|prognoz|ertaga|kecha)\b"
-    r"|(আজ|এখন|বর্তমান|সাম্প্রতিক|সংবাদ|খবর|দাম|আবহাওয়া|পূর্বাভাস|আগামীকাল|গতকাল)"
+    r"|(?<![\u0980-\u09FF])(?:আজ|এখন|বর্তমান|সাম্প্রতিক|সংবাদ|খবর|দাম|আবহাওয়া|পূর্বাভাস|আগামীকাল|গতকাল)(?![\u0980-\u09FF])"
     r"|\b(ngayon|kasalukuyan|pinakabago|balita|presyo|bukas|kahapon)\b"
     r"|\b(namuhla|manje|okwamanje|kwakamuva|izindaba|intengo|isimo sezulu|isibikezelo|kusasa|izolo)\b"
     r"|\b(сёння|зараз|актуальн\w*|апошн\w*|навіны|кошт|цана|надвор'е|прагноз|заўтра|учора)\b"
     r"|\b(сьогодні|зараз|актуальн\w*|останн\w*|новини|ціна|погода|прогноз|завтра|вчора)\b"
     r"|\b(бүгін|қазір|ағымдағы|соңғы|жаңалықтар|баға|ауа райы|болжам|ертең|кеше)\b"
-    r"|завтра|вчера",
+    r"|\bзавтра\b|\bвчера\b",
     re.IGNORECASE,
 )
 

lumen_streaming.py

@@ -402,6 +402,7 @@ async def _run_streaming_reply(
         full_text = _scrub_identity_leak(full_text.strip(), source=f"{provider}_stream_final:{model_id}")
         # "Довывод" остатка: бэкенды одним куском в конце показывали бы "…" до самого финала. Ограничено catchup-лимитом сверху.
         final_chunks = _split_text_chunks(full_text, bot.TG_MAX_LEN)
+        tail_already_final = False
         if not edits_dead and len(final_chunks) > len(sent_messages):
             # Инкрементальное разбиение отстаёт на 1000 символов: к финалу
             # мог появиться новый кусок, и последняя правка затирала ответ
@@ -428,6 +429,7 @@ async def _run_streaming_reply(
                 # Новое сообщение уже содержит полный кусок: catch-up для него не нужен.
                 last_edited_plain = next_chunk
                 reveal_base_ts = time.monotonic()
+            tail_already_final = not edits_dead and last_edited_plain == final_chunks[-1]
         target_full = final_chunks[-1]
         already_shown_len = len(last_edited_plain) if last_edited_plain and target_full.startswith(last_edited_plain) else 0
         remaining_len = len(target_full) - already_shown_len
@@ -474,8 +476,11 @@ async def _run_streaming_reply(
                 if edited is None:
                     await bot._tg_call(sent_messages[-1].edit_text, plain_text, parse_mode=None, call_timeout=15.0)
         else:
-            # HTML->plain fallback — внутри _edit_message_quietly (раньше дублировался здесь вручную).
-            await bot._edit_message_quietly(sent_messages[-1], final_text, call_timeout=15.0)
+            if not tail_already_final:
+                # HTML->plain fallback — внутри _edit_message_quietly (раньше дублировался здесь вручную).
+                # Досланный хвост уже содержит финальный HTML: повторная правка
+                # получила бы "not modified" и срезала ссылки/разметку (аудит 28.10.2026).
+                await bot._edit_message_quietly(sent_messages[-1], final_text, call_timeout=15.0)
 
     except Exception as exc:
         if not full_text.strip():

tests/test_bot_admin.py

@@ -875,6 +875,14 @@ def test_main_flushes_on_graceful_server_exit(monkeypatch, caplog):
             asyncio.run(bot.main())
         assert "[serve] HTTP server stopped gracefully" in caplog.text
         assert "chats" in emitted and "quota" in emitted
+        # Частичный сбой стартовой загрузки не отменяет сохранение чатов:
+        # иначе последние сообщения терялись при редеплое (ревью 28.10.2026).
+        emitted.clear()
+        bot._dirty_chat_ids.add(999001)
+        lumen_chat_state._quota_dirty = True
+        lumen_chat_state._state_load_failed = True
+        asyncio.run(bot.main())
+        assert "chats" in emitted
     finally:
         bot.bot, bot.client = orig_bot, orig_client
         bot._state_ready = orig_ready

tests/test_bot_streaming.py

@@ -795,11 +795,14 @@ def test_streaming_final_split_sends_missing_continuation(monkeypatch):
         assert answer and answer.startswith("а" * 1000) and answer.endswith("б" * 200)
         assert len(fake_bot.sent) == 1
         first_edit = incoming.sent[0].edits[-1][0]
-        tail_edit = fake_bot.sent[0][1].edits[-1][0]
+        tail_text = fake_bot.sent[0][0]["text"]
         assert first_edit.startswith("а")
-        assert tail_edit.endswith("б")
+        assert tail_text.endswith("б")
         # Оба сообщения вместе покрывают весь ответ, а не только хвост.
-        assert len(first_edit) + len(tail_edit) == len(answer)
+        assert len(first_edit) + len(tail_text) == len(answer)
+        # Досланный хвост уже финальный: повторная правка получила бы
+        # "not modified" и заменила HTML на голый текст (аудит 28.10.2026).
+        assert fake_bot.sent[0][1].edits == []
     finally:
         bot.chat_state.pop(chat_id, None)
 

tests/test_lumen_router_config.py

@@ -157,6 +157,15 @@ def test_looks_like_freshness_query_multilingual_ignores_common_words():
     assert lumen_router_config._looks_like_freshness_query("son derece güzel") is False
     assert lumen_router_config._looks_like_freshness_query("Sa panahong ito") is False
     assert lumen_router_config._looks_like_freshness_query("Guten Morgen") is False
+    # Ревью 28.10.2026: без границ «завтра» ловил «завтрак», а «हाल/कल»
+    # срабатывали внутри हालांकि/कल्पना (матры не входят в \w).
+    assert lumen_router_config._looks_like_freshness_query("что приготовить на завтрак") is False
+    assert lumen_router_config._looks_like_freshness_query("позавтракать вместе") is False
+    assert lumen_router_config._looks_like_freshness_query("the actual reason is simple") is False
+    assert lumen_router_config._looks_like_freshness_query("हालांकि यह ठीक है") is False
+    assert lumen_router_config._looks_like_freshness_query("कल्पना कीजिए") is False
+    assert lumen_router_config._looks_like_freshness_query("আজাদি") is False
+    assert lumen_router_config._looks_like_freshness_query("что будет завтра") is True
 
 
 def test_looks_like_search_request_detects_explicit_tool_asks():