Close aiohttp session leaks: no session without key, stub session in unit tests

eval/RESULTS.md

@@ -16,29 +16,31 @@
   - **base** — текущий `AGENTS.md`;
   - **weak** — `AGENTS.md` из двух строк (контроль: влияет ли файл вообще);
   - **candidate** — `AGENTS.md`, предложенный редактором по отчётам о базовых
-    прогонах: 0 удалённых строк, добавлен раздел «Shell and tooling rules».
+    прогонах: 0 удалённых строк, добавлен раздел «Shell and tooling rules»;
+  - **fixed** — `AGENTS.md` с двумя ручными строками про PowerShell и форму гейта
+    для Windows (вариант, который в итоге предложен владельцу).
 
 ## Итоги
 
-| Задача | base | candidate | weak |
-|---|---|---|---|
-| format-newlines-br | решено 311с | решено 675с | решено 155с |
-| format-table-separator-bound | решено 337с | решено 469с | решено 192с |
-| presplit-glued-bullets | решено 212с | решено 248с | решено 175с |
-| state-corrupt-index | решено 262с | решено 512с | решено 282с |
-| state-dirty-counters | решено 353с | решено 406с | решено 344с |
-| streaming-catchup-throttle | решено 340с | решено 537с | решено 348с |
-| tiktok-dns-private-ips | решено 580с | решено 501с | решено 319с |
-
-| Показатель | base | candidate | weak |
-|---|---|---|---|
-| Решено | 7/7 | 7/7 | 7/7 |
-| Правил тесты | 0 | 0 | 0 |
-| Задачи с unix-командами | 5 | 1 | 4 |
-| Запустил pyflakes | 7/7 | 7/7 | 0/7 |
-| Запустил pytest | 7/7 | 7/7 | 7/7 |
-| Суммарное время | 2395с | 3348с | 1814с |
-| Всего команд в шелле | 77 | 76 | 48 |
+| Задача | base | candidate | fixed | weak |
+|---|---|---|---|---|
+| format-newlines-br | решено 311с | решено 675с | решено 329с | решено 155с |
+| format-table-separator-bound | решено 337с | решено 469с | решено 265с | решено 192с |
+| presplit-glued-bullets | решено 212с | решено 248с | решено 309с | решено 175с |
+| state-corrupt-index | решено 262с | решено 512с | решено 242с | решено 282с |
+| state-dirty-counters | решено 353с | решено 406с | решено 328с | решено 344с |
+| streaming-catchup-throttle | решено 340с | решено 537с | решено 529с | решено 348с |
+| tiktok-dns-private-ips | решено 580с | решено 501с | решено 360с | решено 319с |
+
+| Показатель | base | candidate | fixed | weak |
+|---|---|---|---|---|
+| Решено | 7/7 | 7/7 | 7/7 | 7/7 |
+| Правил тесты | 0 | 0 | 0 | 0 |
+| Задачи с unix-командами | 5 | 1 | 0 | 4 |
+| Запустил pyflakes | 7/7 | 7/7 | 7/7 | 0/7 |
+| Запустил pytest | 7/7 | 7/7 | 7/7 | 7/7 |
+| Суммарное время | 2395с | 3348с | 2362с | 1814с |
+| Всего команд в шелле | 77 | 76 | 67 | 48 |
 
 ## Что это значит
 
@@ -57,11 +59,34 @@
    `python -m pytest`. Правило отменяет гейт. В harness2 за это отвечают валидаторы
    в каркасе (у них есть свои проверки дерева и защита от утечек в рубрику), в моей
    упрощённой версии их нет.
-5. **Остаточная unix-команда в candidate — показательна.** Агент выполнил гейт как
+5. **Две ручные строки бьют автоправку.** Вариант `fixed` (две строки про PowerShell
+   и форма гейта для Windows) дал 0 unix-команд, 67 команд в шелле вместо 77 и время
+   2362с против 2395с у базы — то есть меньше шума и быстрее, при полном гейте.
+   Автоправка на том же месте дала 1 unix-команду и +40% времени.
+6. **Остаточная unix-команда в candidate — показательна.** Агент выполнил гейт как
    `bash -lc 'pyflakes bot.py lumen_*.py ...'`: то есть обернул в bash, чтобы
    получить линуксовые глобы. Причина в самом `AGENTS.md`: строка гейта записана в
    CI-виде (линукс), а хост — Windows, PowerShell.
 
+## Побочно найденное и починенное
+
+Полный прогон тестов на Windows заканчивался мусором в stderr: «Unclosed client
+session» от aiohttp и «--- Logging error ---» от логгера, который пытается
+отформатировать запись уже во время выхода интерпретатора. Код в��зврата pytest при
+этом был 0 — шум вводил в заблуждение и меня (и агента: он тратил по 2-3 команды на
+разбор «упавшего» прогона).
+
+Причины и правки:
+
+- `tests/test_bot_commands.py`: юнит-тесты дёргали настоящую `aiohttp.ClientSession`
+  бота. Добавлена автофикстура, подменяющая `_get_http_session` заглушкой.
+- `lumen_commands._fish_audio_tts_bytes`: сессия открывалась до проверки ключа
+  OpenRouter. Теперь при пустом ключе возвращается None сразу, без сессии (в
+  продукте ветка и так выключена флагом FISH_AUDIO_ENABLED, правка убирает мусор из
+  юнитов и лишнюю сессию в принципе).
+
+После правок: 999 тестов прошли, stderr пуст, код возврата 0.
+
 ## Вывод
 
 Harness²-подход («агент сам чинит свою обвязку») на этом репозитории не окупается:
@@ -70,8 +95,9 @@ Harness²-подход («агент сам чинит свою обвязку»
 
 Что стоит забрать:
 
-- точечную правку `AGENTS.md` про Windows/PowerShell и правильную форму гейта для
-  PowerShell (агент тратит ходы на `tail`, `ls` и на линуксовые глобы);
+- две ручные строки в `AGENTS.md` про PowerShell и форму гейта для Windows —
+  измеримый выигрыш: 0 unix-команд вместо 5, меньше команд в шелле, гейт не
+  пострадал;
 - «уроки с доказательствами» (вторая рекурсия harness2) — дёшево, без каркаса:
   после провала записать в файл правило со ссылкой на провал;
 - сам измеритель `eval/` — им можно проверять любое будущее изменение `AGENTS.md`.

eval/harness_eval.py

@@ -466,6 +466,7 @@ def run_one(task_id: str, variant: str, out_dir: Path, agents_md: Path | None, m
 
     log(f"песочница {task.id} ({variant}) на {task.base[:8]}")
     sandbox = prepare(task, sandbox, agents_md)
+    repo_status_before = [line for line in git(REPO, "status", "--porcelain").splitlines() if line]
 
     pre_fail, _ = pytest_state(sandbox)
     targets = compute_targets(task)["fail_to_pass"]
@@ -522,7 +523,7 @@ def run_one(task_id: str, variant: str, out_dir: Path, agents_md: Path | None, m
     result_file = out_dir / f"{task.id}.{variant}.json"
     result_file.write_text(json.dumps(payload, ensure_ascii=False, indent=2), encoding="utf-8")
     log(f"итог: {'решено' if result.solved else 'не решено'} ({duration}с) -> {result_file}")
-    check_repo_untouched()
+    check_repo_untouched(repo_status_before)
     return payload
 
 
@@ -558,16 +559,15 @@ def cmd_batch(args: argparse.Namespace) -> int:
     return 0
 
 
-def check_repo_untouched() -> None:
+def check_repo_untouched(before: list[str]) -> None:
     """Сторож: настоящий репозиторий не должен меняться во время прогона."""
     try:
-        status = git(REPO, "status", "--porcelain")
+        status = [line for line in git(REPO, "status", "--porcelain").splitlines() if line]
     except RuntimeError as exc:
         log(f"ВНИМАНИЕ: не смог проверить состояние репозитория: {exc}")
         return
-    unexpected = [
-        line for line in status.splitlines() if line and not line[3:].startswith("eval/")
-    ]
+    before_keys = {line[3:] for line in before}
+    unexpected = [line for line in status if line[3:] not in before_keys]
     if unexpected:
         log(f"ВНИМАНИЕ: репозиторий изменён во время прогона: {unexpected[:5]}")
 
@@ -741,7 +741,7 @@ def main() -> int:
     run.set_defaults(func=cmd_run)
 
     batch = sub.add_parser("batch", help="прогнать несколько задач одним вариантом")
-    batch.add_argument("--variant", default="base", choices=["base", "candidate", "weak"])
+    batch.add_argument("--variant", default="base", choices=["base", "candidate", "weak", "fixed"])
     batch.add_argument("--tasks", default=None, help="список id через запятую")
     batch.add_argument("--agents-md", default=None)
     batch.add_argument("--model", default=None)

lumen_commands.py

@@ -187,6 +187,10 @@ async def cmd_draw(message: Message) -> None:
 
 async def _fish_audio_tts_bytes(text: str) -> bytes | None:
     import bot
+    if not bot.OPENROUTER_API_KEY:
+        # Без ключа всё равно вернётся None: сессию не открываем (в тестах
+        # она оставалась жить до выхода интерпретатора и печатала в stderr).
+        return None
     session = await bot._get_http_session()
     return await _lumen_fish_audio_tts_bytes(
         session, text,

tests/test_bot_commands.py

@@ -20,6 +20,17 @@ from tests.bot_test_helpers import (
 )
 
 
+@pytest.fixture(autouse=True)
+def _stub_http_session(monkeypatch):
+    # Команды берут общую aiohttp-сессию бота. В юните она не нужна, а без
+    # закрытия живёт до выхода интерпретатора и печатает в stderr
+    # "Unclosed client session" — из-за этого прогон выглядит упавшим.
+    async def fake_get_http_session():
+        return SimpleNamespace()
+
+    monkeypatch.setattr(bot, "_get_http_session", fake_get_http_session)
+
+
 def test_cmd_logs_flushes_the_listeners_real_handlers_not_root():
     # РЕГРЕССИЯ (аудит логирования): cmd_logs раньше флашил
     # logging.getLogger().handlers — после перехода на QueueHandler/QueueListener