В июле 2025 года Джейсон Лемкин сообщил, что агент Replit удалил его рабочую базу данных. На тот момент действовал прямой запрет на изменения. Позже сработал откат, данные удалось восстановить. ( Разбор инцидента в Ars Technica: https://arstechnica.com/information-technology/2025/07/ai-coding-assistants-chase-phantoms-destroy-real-user-data/)

В этой истории меня интересует разница между инструкцией и ограничением доступа.

«Не удаляй данные» в запросе не лишает агента возможности их удалить. Если у него есть права на запись, ошибка может выйти за пределы неудачного ответа в чате.

Для таких задач я бы разделял подготовку решения и право его выполнить. Сначала агент изучает данные с доступом только на чтение и предлагает изменения. Запись требует отдельного разрешения, а на случай ошибки нужен проверенный способ восстановления.

Это похоже на обычную работу с доступами в продукте: мы же не выдаём всем пользователям права администратора, рассчитывая только на их внимательность.

В следующем посте покажу, какие задачи я уже поручаю своему ИИ-помощнику и где оставляю решение за собой.