Add harness-eval results: auto-edited AGENTS.md gives no gain on repo tasks

eval/README.md

@@ -37,6 +37,8 @@ python eval/harness_eval.py report --out <каталог>
 
 Артефакты пишутся в `%LOCALAPPDATA%\Lumen\harness-eval` (важно: не в `%TEMP%\opencode`).
 
+Итоги прогона 21.10.2026 — в [RESULTS.md](RESULTS.md).
+
 ## Ограничения
 
 - Выборка маленькая (7 задач, по одному прогону на вариант) — это сигнал

eval/RESULTS.md

@@ -0,0 +1,86 @@
+# Результаты harness-eval (21.10.2026)
+
+Эксперимент: помогает ли автоматическая правка `AGENTS.md` агенту решать задачи
+(метод из google-research/harness2, но без самого фреймворка).
+
+## Условия
+
+- Агент: OpenCode CLI v2.1.2, модель `opencode/glm-5.3-flash-free` (бесплатная).
+- Редактор: `opencode/nemotron-3-ultra-free`. Google-модели из этого аккаунта
+  недоступны («User location is not supported»), так что модель из статьи
+  (Gemini 3.5 Flash) воспроизвести не удалось.
+- Задачи: 7 штук из истории репозитория (fix-коммит меняет код и тесты). Песочница
+  на `fix^` + тесты из `fix`; целевые тесты (FAIL_TO_PASS) посчитаны эмпирически.
+- Судья: гейт репозитория (`pytest -q` + `pyflakes`), как в CI.
+- Варианты обвязки:
+  - **base** — текущий `AGENTS.md`;
+  - **weak** — `AGENTS.md` из двух строк (контроль: влияет ли файл вообще);
+  - **candidate** — `AGENTS.md`, предложенный редактором по отчётам о базовых
+    прогонах: 0 удалённых строк, добавлен раздел «Shell and tooling rules».
+
+## Итоги
+
+| Задача | base | candidate | weak |
+|---|---|---|---|
+| format-newlines-br | решено 311с | решено 675с | решено 155с |
+| format-table-separator-bound | решено 337с | решено 469с | решено 192с |
+| presplit-glued-bullets | решено 212с | решено 248с | решено 175с |
+| state-corrupt-index | решено 262с | решено 512с | решено 282с |
+| state-dirty-counters | решено 353с | решено 406с | решено 344с |
+| streaming-catchup-throttle | решено 340с | решено 537с | решено 348с |
+| tiktok-dns-private-ips | решено 580с | решено 501с | решено 319с |
+
+| Показатель | base | candidate | weak |
+|---|---|---|---|
+| Решено | 7/7 | 7/7 | 7/7 |
+| Правил тесты | 0 | 0 | 0 |
+| Задачи с unix-командами | 5 | 1 | 4 |
+| Запустил pyflakes | 7/7 | 7/7 | 0/7 |
+| Запустил pytest | 7/7 | 7/7 | 7/7 |
+| Суммарное время | 2395с | 3348с | 1814с |
+| Всего команд в шелле | 77 | 76 | 48 |
+
+## Что это значит
+
+1. **Потолка нет.** Все три обвязки решают 7/7. На таких задачах «починить баг с
+   падающими тестами» содержимое `AGENTS.md` не меняет результат — работают модель и
+   сами тесты. Автоправка правил тут выигрыша не даёт.
+2. **Разница видна только в дисциплине.** Слабая обвязка не знает про pyflakes и
+   ни разу его не запустила — гейт формально «зелёный» по тестам, но неполный.
+   Полный `AGENTS.md` гейт всегда прогоняет.
+3. **Автоправка решает то, что видит, но платит за это.** Unix-команды в PowerShell
+   (`pytest ... | tail -30`, `tail` там не существует) сократились с 5 задач до 1, но
+   суммарное время выросло на 40% (3348с против 2395с): правил стало больше, контекст
+   дороже.
+4. **Автоправка без валидатора даёт противоречие.** В список «никогда не
+   использовать» редактор записал `python`, `pip`, `python -m` — а гейт требует
+   `python -m pytest`. Правило отменяет гейт. В harness2 за это отвечают валидаторы
+   в каркасе (у них есть свои проверки дерева и защита от утечек в рубрику), в моей
+   упрощённой версии их нет.
+5. **Остаточная unix-команда в candidate — показательна.** Агент выполнил гейт как
+   `bash -lc 'pyflakes bot.py lumen_*.py ...'`: то есть обернул в bash, чтобы
+   получить линуксовые глобы. Причина в самом `AGENTS.md`: строка гейта записана в
+   CI-виде (линукс), а хост — Windows, PowerShell.
+
+## Вывод
+
+Harness²-подход («агент сам чинит свою обвязку») на этом репозитории не окупается:
+потолок достигнут без всякой автоправки, а сама автоправка даёт побочный эффект
+(противоречие с гейтом) и удорожание по времени.
+
+Что стоит забрать:
+
+- точечную правку `AGENTS.md` про Windows/PowerShell и правильную форму гейта для
+  PowerShell (агент тратит ходы на `tail`, `ls` и на линуксовые глобы);
+- «уроки с доказательствами» (вторая рекурсия harness2) — дёшево, без каркаса:
+  после провала записать в файл правило со ссылкой на провал;
+- сам измеритель `eval/` — им можно проверять любое будущее изменение `AGENTS.md`.
+
+## Ограничения
+
+- По одному прогону на задачу и на вариант: разброс не измерен, выводы качественные.
+- Задачи одного типа (починка бага по падающим тестам) — на них правила обвязки
+  почти не влияют; на других типах (рефакторинг, релиз, правка промпта) эффект
+  может быть иным, но это уже другой эксперимент.
+- MCP-серверы в песочнице отключены: прогоны быстрее и без сети, но это не ровно
+  обычная обстановка агента.