Тесты зеленые. Доказательств не стало
В работе с AI-агентами есть еще один приятный ложный сигнал: проверки прошли. ⠀ CI зеленый. Агент пишет, что баг исправлен. Summary выглядит спокойно. В PR нет красных ламп. ⠀ Снаружи это похоже на доказательство. ⠀ Но зеленый тест часто доказывает только одно: конкретный набор проверок не упал в конкретном прогоне. ⠀ Он не доказывает, что агент понял задачу. Не доказывает, что изменился нужный сценарий. Не доказывает, что не сломали соседний путь. Не доказывает, что риск вообще был покрыт тестом. ⠀ Я называю это коротко: green не proof. ⠀ Проблема не в тестах. Тесты нужны. ⠀ Проблема в том, что зеленый статус легко превращается в театральную приемку: все выглядит спокойно, но никто не сказал, какой риск проверка реально закрыла. ⠀ Особенно часто это видно в AI PR. ⠀ Агент может быстро добавить тест под тот путь, который сам же выбрал. Такой тест полезен, но он не всегда доказывает исходную задачу. Иногда он просто фиксирует удобную версию проблемы. ⠀ Как проверить: ⠀ Какой реальный сценарий должен был измениться? Какой тест доказывает именно этот сценарий? Что осталось непокрытым? Есть ли ручная проверка для рискованного пути? Что будет сигналом для отката? ⠀ Если на эти вопросы нет ответа, зеленый CI еще не приемка. Это только отсутствие красного сигнала. ⠀ Ограничение простое: для опечаток, форматирования и мелкой механики этого обычно достаточно. ⠀ Но для бизнес-логики, платежей, доступа, данных, публичного API и всего, где ошибка дорого откатывается, green не proof. ⠀ AI ускоряет появление проверки. Но доказательство результата все еще надо сформулировать человеку. ⠀ Где у вас зеленые тесты пропускали не тот риск? Интересно собрать реальные примеры в комментариях.