**Мы вайбкодили как могли
Или почему ИИ не отберет у вас работу** Что произошло? ИИ-агент удалил всю "боевую" базу данных компании, захватив и все бэкапы.
Своей болью поделился в соцсети X Jer Crane, основатель PocketOS, SaaS-платформы для управления бизнесом по аренде дорогих машин. ИИ-агент Cursor на базе Claude Opus 4.6 получил ошибку доступов и решил вопрос максимально эффективно - удалил все.
¯_(ツ)_/¯ Как принято у людей, у ИИ-агента спросили, зачем же он так? Алгоритм признался в нарушениях с полным перечислением всех нарушенных политик безопасности. Shit happens
Контртренд. Рынок ИИ активно продает нам идею автономных разработчиков, в новостях громко рассказывают об увольнении тысяч ИТ-специалистов из-за AI, а спикеры соревнуются в цифрах экономии ФОТ. Реальность оказывается не столь радужной. ИИ сделает работу за ИТ-специалиста, но отвечать за результаты придется уже топ-менеджменту
Российская специфика. Если подобный инцидент произойдет с нашим ДБО, последствия выйдут далеко за рамки потери данных. Регулятор не примет оправдания в соцсети, что виноват ИИ. А импортозамещение, требования ГОСТ Р 57580 и подготовка систем к работе с цифровым рублем требуют жесткого контроля за инфраструктурой, а не слепой передачи прав.
Немного рефлексии. Цифровая трансформация и внедрение ИИ - это не задача по перекладыванию ответственности на алгоритмы, а вдумчивое перестроение процессов. Можно автоматизировать создание типового кода или поиск ИБ-уязвимостей, но критичные действия должны оставаться за человеком. Human-in-the-loop.
Безопасность. Тестовый и рабочий контуры должны быть изолированы, а бэкапы храниться отдельно от рабочей инфраструктуры - базовая ИТ-гигиена. Тогда не будет иметь значения, кто все удалил - уставший админ или галлюцинирующий ИИ.
Ответственность. Интересно, что Jer Crane ответственность возлагает на ИИ-агента. Именно он все удалил, хотя не должен был. Но нет. Создание архитектуры и передача прав ИИ-агенту - дело рук топ-менеджмента. И ответственность его же.
И в этой истории я не знаю, что более постыдно - на весь мир расписаться в своей некомпетентности или слепо доверять ИИ, убрав компетентных ИТ-специалистов.
А что вы доверяете делать ИИ? Пускаете ли к своим данным?
· 08.05
Я не понимаю, как доверяться непредсказуемо-вероятностному инструменту)) Все нужно проверять и следить за его работой, иначе никак
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён