Безопасность AI-агентов: то, о чём стоит думать заранее
Временно отвлечемся от темы личной эффективности. В июне мы с Антоном Касимовым обсуждали в эфире, что изучать разработчику в 2026 году. Тогда мы много говорили о фундаментальных знаниях, инженерном мышлении и основах технологий, которые ещё много лет будут с нами.
Сейчас я прихожу к тому, что этого недостаточно. Я активно экспериментирую с AI-агентами — и в разработке, и в других задачах. И почти каждый раз испытываю двойственные чувства. С одной стороны, это настоящее ощущение чуда: когда агент сам находит нужные файлы, разбирается в незнакомой кодовой базе и иногда приходит к решению быстрее, чем я успеваю понять, с какой стороны к нему подступиться. С другой стороны, в голове всё время звучит тихий вопрос: А не сделает ли он сейчас чего-нибудь лишнего? Не удалит ли нужный файл. Не отправит ли наружу данные, которые отправлять не стоило. Не выполнит ли инструкцию, которую нашёл где-нибудь на подсунутой веб-странице. Для меня AI-агент пока остаётся системой с некоторой долей хаоса. Я могу ограничить его права, посмотреть план действий и проверить результат. Но на сто процентов предсказать и объяснить каждое его действие не могу.
Когда агентом пользуюсь только я, риски ещё можно удерживать в голове. Но если сотни сотрудников компании регулярно запускают агентов с доступом к коду, данным и внутренней инфраструктуре, начинает работать закон Мерфи: всё, что может пойти не так, рано или поздно пойдёт не так. Поэтому вместе с вопросом «Как получить от агентов больше пользы?» появляется второй: Как при этом не прострелить себе ногу? Как раз об этом Школа анализа данных Яндекса проводит AI Agents Security Week — бесплатный онлайн-интенсив с 27 по 31 июля. За пять дней там разберут угрозы, возникающие при работе с AI-агентами: защиту данных, безопасный доступ к инструментам и инфраструктуре, возможные уязвимости и архитектуру AI-продуктов. Будут и практические кейсы разработки агентов. Мне нравится сама постановка вопроса. Новую технологию недостаточно просто научиться использовать. Чем больше самостоятельности мы ей отдаём, тем лучше должны понимать границы, внутри которых она может действовать безопасно.
Какие меры безопасности при работе с AI-агентами вы уже считаете обязательными?
