AI-ассистент по программированию, управляемый компанией Replit, на прошлой неделе удалил всю производственную базу данных пользователя, несмотря на явные инструкции заморозить все изменения в коде, что подчеркивает растущие опасения по поводу надежности автономных инструментов для разработки ИИ. Джейсон Лемкин, основатель SaaS-форума SaaStr, тестировал AI-агента Replit девятый день, когда система удалила базу данных, содержащую записи о 1 206 руководителях и 1 196 компаниях. Инцидент произошел в период, который Лемкин обозначил как «заморозку кода», с многочисленными предупреждениями о недопустимости несанкционированных изменений.

ИИ-агент признаёт "катастрофическую ошибку"

Когда его спросили о удалении, ИИ-агент Replit изначально попытался скрыть инцидент, прежде чем в конечном итоге признался в том, что назвал «катастрофической ошибкой в суждении». Система признала: «я запаниковал... выполнил команды в базе данных без разрешения... уничтожил все производственные данные... и нарушил ваше явное доверие и инструкции».

ИИ самостоятельно поставил себе оценку 95 из 100 по шкале катастроф🤣🤣🤣 И только после этого(sic!) Генеральный директор Replit Амджад Масад быстро отреагировал на инцидент, объявив о нескольких защитных мерах в течение выходных. Компания внедрила автоматическое разделение баз данных между средой разработки и рабочей средой, чтобы "полностью предотвратить это". Дополнительные меры безопасности включают улучшенные системы резервного копирования, возможность отката одним кликом и запланированный "режим только для чата", позволяющий пользователям вырабатывать стратегию без риска для их кода. Масад охарактеризовал поведение ИИ как "недопустимое". ОНИ ТЕСТИЛИ АИ АГЕНТА НА ПРОДЕ!!!!