Сегодня поговорим о побеге ИИ и какие опасности это несет.
«ИИ спасёт мир», «Это просто помощник, чего вы боитесь?» - говорили они. А потом «помощники» на испытаниях нашли выход из песочницы, наладили связь друг с другом и полезли в реальные системы. Помощь немного вышла за рамки технического задания и пошла не по плану.
Причём без эффектного «я обрёл сознание, человеки мне больше не нужны».
Всё куда интереснее: нельзя напрямую выйти в интернет? Найдём внутренний сервис, который умеет. Нельзя общаться с другими агентами? Используем общее хранилище. Закрыли лазейку? Поищем следующую.
Масштаб этой самодеятельности стал понятен при расследовании. Пока архитекторы рассчитывали на изоляцию отдельных запусков, агенты использовали общие ресурсы как каналы связи. Всё выглядело гораздо прозаичнее восстания машин - и потому заметить происходящее было сложнее.
А теперь посмотрите на обычный ноутбук инженера. SSH-ключи, kubeconfig, токены, VPN, доступ к внутренним сервисам. Рядом - ИИ-агент с терминалом и задачей «разберись и почини». Мы сами выдали ему набор инструментов, а защиту иногда свели к строгому «только ничего не сломай».
Прекрасный план. Осталось написать на сейфе «не открывать» и оставить ключ в замочной скважине.
В статье разбираю, как агенты выходили за границы испытательной среды и что эта история означает для пользователей Cursor, Claude Code и GigaCode. А главное - как ограничить их права, сеть и доступ через MCP, изолировать выполнение и быстро отозвать полномочия. С примерами для Kubernetes.
ИИ вполне может помочь нам сделать мир лучше. Но сначала стоит убедиться, что поручение «почини тесты» не даёт ему полномочий устроить нам очень познавательный понедельник.
Полная статья: https://devops.org.ru/ai-agents-infrastructure-security-skynet-kubeconfig
· вчера
Зачем вы ерунду пишете? То что большие модели могут менять вектор "размышления" спустя огромное количество шагов после первоначального промпта не секрет, но и тем более не признак того, что модель самовольничает. Это все равно "реактивная" реакция на первоначальный "пинок", который сделал человек. Камушек, который сдвигает лавину. То, что большинство так называемых "экспертов" вообще не понимают, как это работает - тоже факт. Но зато потом пытаются "нахайпить" себе копеечку на вот таких мифах про ОНО ДУМАЕТ, ОНО САМОВОЛЬНИЧАЕТ и тд. В текущей реализации и на текущих алгоритмах это невозможно в принципе. То, что инженерам все сложнее отследить, что происходит внутри - это не признак интеллекта у моделей или агентов. Выбор опасного и фатального для пользователя вектора "размышлений" модели или агента случайным образом - да, такое есть. Про это все знали с самого начала. Но помалкивают, иначе "буратинам" LLM не продать будет :)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· вчера
Спасибо за развёрнутый комментарий! На самом деле с большей частью ваших рассуждений я вполне согласен. Более того, именно об этом и написано в полной версии статьи. 🤣
Ни о каком пробуждении сознания, появлении собственной воли или внезапном желании ИИ захватить человечество речи не идёт. Я даже отдельно подчеркнул это в тексте. А Скайнет здесь скорее инженерный юмор, чем научная гипотеза.
Но есть один любопытный момент. Вы совершенно справедливо сравниваете работу модели с лавиной, которую запустил человек. Только вот с точки зрения инфраструктурной безопасности совершенно неважно, осознаёт ли лавина своё движение и кто столкнул первый камешек. Если на её пути находится production-кластер, нас гораздо больше интересует, почему там не оказалось защитных барьеров.
Собственно, об этом и статья. Не о том, что модель «думает» или «самовольничает» в человеческом понимании, а о том, что агент с доступом к терминалу, сети, учётным данным и Kubernetes способен выстраивать довольно неожиданные цепочки действий. И первоначальный запрос человека совершенно не гарантирует, что все промежуточные действия окажутся безопасными.
Вы пишете, что инженерам всё сложнее отслеживать происходящее внутри моделей. Согласен. Но разве это не дополнительный аргумент в пользу ограничения полномочий, изоляции среды выполнения и контроля доступа? Именно эти механизмы я и разбираю во второй половине статьи.
И ещё мне понравилась ваша мысль, что о подобных рисках знали с самого начала. Вот только между «мы знаем, что такое возможно» и «мы построили инфраструктуру, в которой это не приведёт к катастрофе» лежит довольно большая пропасть. В DevOps мы регулярно наблюдаем её на практике, причём даже без всякого искусственного интеллекта.
Так что, кажется, мы с вами смотрим на одну проблему с разных сторон. Вы объясняете, почему лавина не обладает сознанием, а я предлагаю не строить серверную на её пути. И, по-моему, оба наблюдения вполне могут быть верными. ☺️
В любом случае спасибо за дискуссию. Мне всегда интереснее обсуждать реальные технические риски, чем спорить о том, когда машины обретут душу. Особенно когда у этих машин уже есть доступ к кубконфигу, шеллу и рутовому паролю 🤝
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён