Isolate tests from live provider keys, requeue cancelled state flushes and trim redundant latency in search, draw, rich conversion and TikTok metadata

lumen_chat_state.py

@@ -663,10 +663,16 @@ async def _flush_dirty_state_once() -> None:
         if _pending_chat_deletions:
             to_delete = list(_pending_chat_deletions)
             _pending_chat_deletions.clear()
-            del_results = await asyncio.gather(
-                *(bot._delete_chat_storage_limited(cid) for cid in to_delete),
-                return_exceptions=True,
-            )
+            try:
+                del_results = await asyncio.gather(
+                    *(bot._delete_chat_storage_limited(cid) for cid in to_delete),
+                    return_exceptions=True,
+                )
+            except asyncio.CancelledError:
+                # Отмена флаша не должна терять очередь удалений: id уже сняты
+                # с набора, вернуть их до выхода (аудит 29.10.2026).
+                _pending_chat_deletions.update(to_delete)
+                raise
             # Неудавшиеся id возвращаются в очередь для повтора, а не теряются при 5xx/429 Upstash.
             failed_deletes = {cid for cid, res in zip(to_delete, del_results) if res is not True}
             if failed_deletes:
@@ -686,10 +692,16 @@ async def _flush_dirty_state_once() -> None:
             # Каждый чат — свой независимый write; если один упадёт, это не
             # заденет сохранение остальных чатов из этой же пачки.
             attempted_ids = [cid for cid in to_save if cid in chat_state]
-            save_results = await asyncio.gather(
-                *(bot._save_chat_to_storage_limited(cid, chat_state[cid]) for cid in attempted_ids),
-                return_exceptions=True,
-            )
+            try:
+                save_results = await asyncio.gather(
+                    *(bot._save_chat_to_storage_limited(cid, chat_state[cid]) for cid in attempted_ids),
+                    return_exceptions=True,
+                )
+            except asyncio.CancelledError:
+                # Отмена (shutdown/рестарт) не должна терять грязные чаты:
+                # id уже сняты с набора — возвращаем до выхода (аудит 29.10.2026).
+                _dirty_chat_ids.update(attempted_ids)
+                raise
             # Неудавшиеся id возвращаются в грязные для повтора, а не теряются при 5xx/429 Upstash.
             failed_ids = {cid for cid, res in zip(attempted_ids, save_results) if res is not True}
             if failed_ids:

lumen_commands.py

@@ -112,9 +112,10 @@ async def inline_draw(message: Message, prompt: str) -> None:
                         await status_obj.set_action_key("status_taking_longer")
                     else:
                         await bot._edit_message_quietly(status, bot._t(message.chat.id, "status_taking_longer"))
-                # Таймаут попытки — остаток общего бюджета: зависшая модель не
-                # переживает дедлайн цепочки.
-                attempt_timeout = max(1.0, deadline - time.monotonic())
+                # Таймаут попытки — не больше остатка бюджета и не больше 40 с:
+                # одна зависшая модель не должна съедать все 120 с и лишать
+                # шанса резервные (аудит 29.10.2026).
+                attempt_timeout = max(1.0, min(40.0, deadline - time.monotonic()))
                 image_bytes = await bot._pollinations_text_to_image(session, attempt_model, prompt, timeout_sec=attempt_timeout)
                 break
             except Exception as exc:

lumen_formatting.py

@@ -33,6 +33,8 @@ _TABLE_SEP_MAX_LEN = 500
 
 def _is_table_separator(line: str) -> bool:
     """Строка-разделитель markdown-таблицы с bounded match."""
+    if "-" not in line:
+        return False
     return _TABLE_SEP_RE.match(line[:_TABLE_SEP_MAX_LEN]) is not None
 
 def _split_table_cells(line: str) -> list[str]:

lumen_message_core.py

@@ -901,7 +901,7 @@ async def _handle_message_core(
                 retry_budget = web_search_timeout_sec()
                 if route_deadline is not None:
                     retry_budget = min(retry_budget, max(0.0, route_deadline - time.monotonic()))
-                if retry_budget > 0:
+                if retry_budget > 0 and web_search_is_enabled():
                     retry_snippets = await fetch_web_snippets(
                         clean_prompt, timeout_sec=retry_budget, max_results=web_search_max_results(),
                     )

lumen_rich.py

@@ -129,9 +129,10 @@ async def _send_text(message: Message, text: str, parse_html: bool = True, **kwa
         if i > 0:
             # Пауза между кусками — против флуд-контроля за серию подряд.
             await bot._typing_sleep(bot.STREAM_TYPING_TICK_SEC)
-        if parse_html:
+        if parse_html and bot.RICH_MESSAGES_ENABLED:
             # Сначала рич (таблицы/заголовки/математика), при любом неуспехе —
             # обычный HTML-путь ниже. Reply threading — только у первого чанка.
+            # При выключенном риче не тратим время на конвертацию (0.3-0.7 мс/чанк).
             rich_res = await bot._try_send_rich(message, _md_to_rich_html(chunk), is_first_chunk=(i == 0), **chunk_kwargs)
             if rich_res is not None:
                 continue
@@ -182,7 +183,7 @@ async def _edit_message_quietly(msg: Message | None, text: str, **kwargs: Any) -
         return False
     try:
         # Порядок: рич → HTML → голый текст; таблицы видны только через рич.
-        if await bot._try_edit_rich(msg, _md_to_rich_html(text), **kwargs):
+        if bot.RICH_MESSAGES_ENABLED and await bot._try_edit_rich(msg, _md_to_rich_html(text), **kwargs):
             return True
         kwargs.setdefault("parse_mode", ParseMode.HTML)
         res = await bot._tg_call(msg.edit_text, _md_to_html(text), **kwargs)

lumen_tiktok.py

@@ -733,6 +733,7 @@ async def _tiktok_dsp_song_id(session: aiohttp.ClientSession, video_id: str, uni
     if not video_id or not unique_id or time.monotonic() < _DSP_DISABLED_UNTIL:
         return None
     url = f"https://www.tiktok.com/@{urllib.parse.quote(unique_id.lstrip('@'))}/video/{video_id}?lang=en"
+    hydration_seen = False
     for ua in _DSP_PAGE_UAS:
         try:
             async with session.get(
@@ -743,11 +744,18 @@ async def _tiktok_dsp_song_id(session: aiohttp.ClientSession, video_id: str, uni
                 if resp.status != 200:
                     continue
                 html = await resp.text(errors="ignore")
+            if '<script id="__UNIVERSAL_DATA_FOR_REHYDRATION__"' in html:
+                hydration_seen = True
             song_id = _extract_tt2dsp_song_id(html)
             if song_id:
                 return song_id
         except Exception as exc:
             log.info("[tiktok-music] DSP page fetch failed (%s), trying next UA/fallback: %s", type(exc).__name__, exc)
+    if hydration_seen:
+        # Страница TikTok валидна, но DSP-трека в ней нет: это оригинальный
+        # звук. Не выключаем DSP на 5 минут для следующих лицензированных
+        # треков (аудит 29.10.2026); этот sound_id уже закэширован как None.
+        return None
     # TikTok не отдал разметку (антибот/сеть): не долбим его на каждой загрузке.
     _DSP_DISABLED_UNTIL = time.monotonic() + 300.0
     log.warning("[tiktok-music] DSP metadata unavailable for 5 minutes (TikTok page unreachable), using TikWM fields.")

lumen_tiktok_flow.py

@@ -4,6 +4,7 @@ lumen_tiktok_flow.py — оркестрация TikTok-загрузок (муз
 from __future__ import annotations
 
 import asyncio
+import contextlib
 import logging
 import os
 import re
@@ -111,6 +112,9 @@ async def _send_tiktok_music(session, media_data: dict, message: Message, author
     if not music_url:
          return
 
+    # DSP-метаданные (TikTok → iTunes) не зависят от mp3: запускаем параллельно
+    # со скачиванием, чтобы не добавлять 1-6 с после него (аудит 29.10.2026).
+    dsp_task = asyncio.create_task(_fetch_dsp_track_metadata(session, media_data))
     try:
          async with bot._media_download_slot():
               music_bytes = await bot._download_url_bin(session, music_url, headers=headers)
@@ -191,7 +195,7 @@ async def _send_tiktok_music(session, media_data: dict, message: Message, author
          # и аватарку вместо настоящего названия/исполнителя/обложки.
          dsp_track = None
          try:
-              dsp_track = await _fetch_dsp_track_metadata(session, media_data)
+              dsp_track = await dsp_task
          except Exception as dsp_exc:
               log.info("[tiktok-music] DSP metadata lookup skipped: %s", dsp_exc)
          if dsp_track:
@@ -271,6 +275,12 @@ async def _send_tiktok_music(session, media_data: dict, message: Message, author
                    raise RuntimeError("Telegram send_audio failed: connection timeout or proxy unavailable")
     except Exception as e:
          log.warning("[tiktok] failed to send music: %s", e)
+    finally:
+         # Ранний выход/исключение не должны оставлять DSP-запрос в фоне.
+         with contextlib.suppress(asyncio.CancelledError, Exception):
+              if not dsp_task.done():
+                   dsp_task.cancel()
+              await dsp_task
 
 async def handle_tiktok_sound(message: Message, status: Message | None) -> None:
     """Ссылка на страницу звука TikTok (не видео) — см. комментарий выше по файлу:

tests/conftest.py

@@ -16,6 +16,10 @@ import tempfile
 os.environ.setdefault("BOT_LOG_PATH", os.path.join(tempfile.gettempdir(), "lumen_test_bot.log"))
 os.environ.setdefault("BOT_TOKEN", "test-token-not-real")
 os.environ.setdefault("GEMINI_API_KEY", "test-key-not-real")
+# Провайдерские ключи — только пустые: иначе bot.py ниже подхватит .env
+# разработчика и тест сходит в живой API (сеть, чужая квота, нестабильность).
+for _provider_key in ("GROQ_API_KEY", "OPENROUTER_API_KEY", "OPENROUTER_KEY", "SENTRY_DSN"):
+    os.environ[_provider_key] = ""
 
 import copy
 import pytest

tests/test_bot_commands.py

@@ -636,6 +636,32 @@ def test_inline_draw_picks_model_from_prompt_without_touching_chat_state():
         bot.chat_state.pop(chat_id, None)
 
 
+def test_inline_draw_caps_single_attempt_timeout(monkeypatch):
+    # Аудит 29.10.2026: одна зависшая модель получала все 120 с бюджета и
+    # лишала шанса резервные. Таймаут одной попытки ограничен 40 с.
+    captured = {}
+
+    async def fake_image(session, model_id, prompt, timeout_sec=None):
+        captured["timeout"] = timeout_sec
+        return b"\x89PNG fake bytes"
+
+    class _FakePhotoBot:
+        async def send_photo(self, **kwargs):
+            return SimpleNamespace()
+
+    monkeypatch.setattr(bot, "_pollinations_text_to_image", fake_image)
+    monkeypatch.setattr(bot, "DRAW_TOTAL_BUDGET_SEC", 120)
+    monkeypatch.setattr(bot, "bot", _FakePhotoBot())
+    incoming = _FakeIncomingMessage(999431)
+    incoming.message_id = 1
+    try:
+        asyncio.run(bot.inline_draw(incoming, "нарисуй кота"))
+        assert captured["timeout"] is not None
+        assert captured["timeout"] <= 40
+    finally:
+        bot.chat_state.pop(999431, None)
+
+
 def test_inline_draw_refuses_when_user_total_limit_exhausted(monkeypatch):
     # /draw без дневного лимита обходился: исчерпанный total — отказ до генерации.
     from types import SimpleNamespace

tests/test_bot_state.py

@@ -459,6 +459,39 @@ def test_flush_keeps_dirty_flag_when_mutated_during_write():
     _run_with_blocking_save("_quota_dirty", "_save_quota_payload", lumen_chat_state.mark_quota_dirty)
 
 
+def test_flush_cancel_requeues_dirty_chats():
+    # Аудит 29.10.2026: флаш снимал чаты с очереди до await; отмена (shutdown)
+    # теряла их без записи. Теперь id возвращаются в очередь.
+    import lumen_chat_state as lcs
+    cid = 999712
+    bot._dirty_chat_ids.clear()
+    bot._pending_chat_deletions.clear()
+    lcs._state_load_failed = False
+    bot.get_state(cid)
+    lcs._dirty_chat_ids.add(cid)
+    gate = asyncio.Event()
+
+    async def hanging_save(_cid, _state):
+        await gate.wait()
+        return True
+
+    async def scenario():
+        task = asyncio.create_task(lcs._flush_dirty_state_once())
+        await asyncio.sleep(0.05)
+        task.cancel()
+        with pytest.raises(asyncio.CancelledError):
+            await task
+        assert cid in lcs._dirty_chat_ids
+
+    try:
+        with patch("bot._save_chat_to_storage_limited", hanging_save):
+            asyncio.run(scenario())
+    finally:
+        gate.set()
+        bot.chat_state.pop(cid, None)
+        lcs._dirty_chat_ids.discard(cid)
+
+
 def test_load_state_falls_back_to_legacy_blob_on_corrupt_index():
     # Внешний аудит: битый индекс обнулял восстановление, хотя per-chat файлы целы.
     import json

tests/test_bot_tiktok.py

@@ -466,6 +466,50 @@ def test_send_tiktok_music_prefers_dsp_track_metadata(monkeypatch):
         bot.chat_state.pop(999601, None)
 
 
+def test_tiktok_dsp_no_song_id_does_not_disable_future_lookups():
+    # Прод 29.10.2026: валидная страница без tt2dsp (оригинальный звук) ставила
+    # общий пятиминутный кулдаун и лишала следующие лицензированные треки
+    # метаданных. Кулдаун — только когда страницу вообще не отдали.
+    import lumen_tiktok as lt
+
+    class _Resp:
+        status = 200
+
+        def __init__(self, body):
+            self._body = body
+
+        async def __aenter__(self):
+            return self
+
+        async def __aexit__(self, *args):
+            return False
+
+        async def text(self, errors=None):
+            return self._body
+
+    class _Session:
+        def __init__(self, body):
+            self._body = body
+
+        def get(self, url, **kwargs):
+            return _Resp(self._body)
+
+    valid_no_song = (
+        '<script id="__UNIVERSAL_DATA_FOR_REHYDRATION__" type="application/json">'
+        '{"music":{}}</script>'
+    )
+    old_disabled = lt._DSP_DISABLED_UNTIL
+    lt._DSP_DISABLED_UNTIL = 0.0
+    try:
+        assert asyncio.run(lt._tiktok_dsp_song_id(_Session(valid_no_song), "1", "user")) is None
+        assert lt._DSP_DISABLED_UNTIL == 0.0
+        # Антибот-заглушка без hydration — вот это настоящий сбой, кулдаун уместен.
+        assert asyncio.run(lt._tiktok_dsp_song_id(_Session("<html>challenge</html>"), "2", "user")) is None
+        assert lt._DSP_DISABLED_UNTIL > 0.0
+    finally:
+        lt._DSP_DISABLED_UNTIL = old_disabled
+
+
 def test_send_tiktok_music_does_not_take_handle_tail_for_a_title():
     # Прод 28.10.2026: "original sound - hhh31721" + ник "Hhh" давали хвост
     # "31721" как название, а исполнителем — "Hhh". Полный хендл обязан