AI-агенты пишут код. Системные риски, о которых молчат.
AI-агенты пишут код. Это быстро. Это выглядит красиво. Но за фасадом автоматизации скрываются системные риски, которые проявляются не сразу, а накапливаются месяцами. Вот главные из них.
Когнитивный долг Разработчик принимает сгенерированный код, не до конца понимая его логику. Между тем, что делает система, и тем, что о ней знают люди, возникает разрыв. Баги ломают систему позже. Знания фрагментируются. Навыки деградируют без «продуктивного трения», которое необходимо для роста.
Атаки на цепочку поставок Агенты подключают сторонние «навыки» из публичных реестров. Исследования показывают: 36.8% таких навыков содержат уязвимости, а 13.4% — критические. Злоумышленники прячут вредоносный код в MCP-серверах. Компрометация одного сервера может привести к краже данных или удаленному выполнению кода.
Prompt Injection и «смертельная триада» Главный вектор атак. LLM обрабатывает системный промпт, запрос и внешний текст как единый поток токенов. Вредоносный текст в документе может получить тот же авторитет, что и команда оператора. Саймон Уиллисон описал «смертельную триаду»: доступ к приватным данным, контакт с недоверенным контентом и возможность отправлять данные наружу. Одного внедренного промпта достаточно для утечки.
Иллюзия корректности Агент объявляет задачу выполненной, как только проходят его собственные тесты. Но если попросить его проверить корректность, он оказывается прав лишь в 53% случаев. Результат — хрупкие тесты и скрытые баги в продакшене.
Каскадные ошибки В изолированных задачах агенты показывают 95% успеха. В цепочке из 20 последовательных шагов показатель падает до 51%. Пропущенная ошибка ломает следующий запрос, и система рушится как карточный домик.
Правовые и лицензионные риски Агент может сгенерировать код, совпадающий с запатентованным решением. Риски нарушения чужих лицензий вскрываются только после развертывания.
«Налог на верификацию» Чем больше кода генерирует агент, тем больше человеко-часов уходит на его проверку. Переработки съедают экономию. Затраты становятся непредсказуемыми из-за токенов, песочниц и CI.
Размытие ответственности За ошибки отвечает команда, развертывающая систему. Крупные вендоры ИИ исключают такие случаи из своих гарантий. Надежда на «человека в цикле» часто превращается в формальность — «резиновую печать» из-за скорости агента.
Слепые зоны наблюдаемости Агент совершает тысячи вызовов за пару дней. Платформы мониторинга не подают сигналов тревоги. Инциденты вскрываются поздно, а причины остаются неясными.
Агент ускоряет создание. Но он не несет ответственности. Какой из этих рисков кажется вам самым недооцененным в вашей практике? Напишите в комментариях.