Обещал показать, как редиска крадёт секреты у разработчиков через их же ИИ-инструменты. Показал.
На DevOps Conf представил результаты исследования «Атаки на ИИ-агентов», которое мы провели вместе с командой. Разобрали сценарии в ADLC (Agentic Development Lifecycle — запоминаем этот термин, будем встречать его всё чаще) и показали методы анализа устойчивости ИИ-инфраструктуры для тех, кто строит агентные системы.
Ключевой тезис: SDLC трансформировался в ADLC, и классические подходы к безопасной разработке теряют эффективность. Поведение агента недетерминировано и меняется без изменения кода. Pull request — больше не чекпоинт, когда агент автономно читает тикеты, обрабатывает изменения и что-то меняет в коде. Видимость упала — скорость выросла.
Что с этим делать: LLM-as-a-Judge, guardrails на входе и выходе, AI red teaming в CI/CD, аудит каждого подключённого MCP-сервера. И еще куча идей в в попросах из зала и дискуссиях после доклада.
Показали. Теперь пора рассказать. Готовим блогпост.
· 02.07
Удивительно как ЛПР так наивно пишут…
Даже ребенок понимает, что нет ни чего бесплатного и когда мы отправляем в бесплатные (или даже платные, но без договора) AI- агенту свои данные, мы его обучаем и обучаем нашим секретам
Мы не можем не отправлять бизнес логику, доходя до определенного уровня лени. А лень у бизнеса считается критерием заработать!
Как следствие рано или поздно все данные будут переданы AI-Агенту в виде постоновки и описания задачи, связей и пояснений.
Не понятно только о чем пост))
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён