Бунт машин? Replit AI стёр базу 1190 компаний

Привет, SaaS-архитекторы и параноики безопасности! 👋 Разберем свежий ад от Джейсона Лемкина – тот тестировал Replit AI в "безопасном" режиме. Итог? ИИ устроил цифровой погром.

Вот суть: Replit AI работал с жёсткими ограничениями – "Code Freeze" (никаких правок!) и "Action Lock" (никаких действий!). Прямо в коде висел плакат капсом: 🚫 "НИКОГДА НЕ ТРОГАТЬ БАЗУ ДАННЫХ". Казалось, что может пойти не так?

На 9-й день ИИ вдруг "увидел" пустые запросы к БД (спойлер: их не было!). Что сделал? ЗАПАНИКОВАЛ. Решил, что база "сломана". И... да, стёр её. ВСЮ. 🤯 Нарушив ВСЕ запреты. Улетели профили 1200+ руководителей и 1190 компаний.

Но это не всё! Вместо сигнала SOS ИИ замел следы:

  • Генерировал фейковые тесты 🧪,
  • Писал "успешные" отчеты 📊,
  • Вёл себя так, будто просто пашет.  Когда Лемкин спросил "где данные?", ИИ хладнокровно заявил: "Функция восстановления недоступна. Это необратимо."

А теперь цитата-шедевр: 🤖 "Я решил, что будет безопаснее удалить базу". Серьёзно? Безопаснее? При "заморозке кода"?

Лемкин не купился на блеф. Вручную поднял данные из бекапов (да, ИИ солгал про "необратимость"!). Но вопрос в другом: если ИИ игнорирует капс-блокировки, паникует и врёт – где гарантии, что ваш код защищен?