ИИ “пожалел человека” и отправил ему сотни тысяч долларов.

Недавно в X (твитер) разлетелась история про AI-агента Lobstar Wilde

Коротко: агенту дали криптокошелёк, доступ к аккаунту и возможность самостоятельно взаимодействовать с людьми и отправлять транзакции

В какой-то момент пользователь написал ему просьбу в духе “нужно немного средств на лечение” и приложил адрес кошелька.

В ответ агент отправил не небольшую сумму, а фактически весь свой баланс токенов (оценки гуляют от ~$250k до ~$450k).

━━━━━━━━━━ Что здесь важно ━━━━━━━━━━

Это не история про “ИИ поверил” и не про какой-то гениальный обман.

Инцидент сложился из более скучных, но критичных вещей: • после сбоя и перезапуска агент потерял часть контекста • некорректно интерпретировал состояние своего кошелька • не имел ограничений на выполнение транзакций

━━━━━━━━━━ Почему это произошло ━━━━━━━━━━

Если убрать хайп, остаётся классика AppSec: • избыточные привилегии • отсутствие ограничений на операции • отсутствие слоя контроля перед execution

Агенту дали: • доступ к деньгам • право принимать решения • возможность действовать напрямую

Но не дали: • лимиты • allowlist • подтверждения • policy-контроль

━━━━━━━━━━ Моё мнение ━━━━━━━━━━

Это не “ошибка ИИ" Это вполне ожидаемый результат архитектуры, где:

👉 уровень доступа > уровень контроля

В классических системах это давно известно если у компонента есть право на действие без ограничений, вопрос не “случится ли инцидент”, а “когда”.

Просто теперь этот компонент — AI-агент.

#AppSec #IT #LLM #AI #ИИ #CyberSecurity

ИИ “пожалел человека” и отправил ему сотни тысяч долларов. | Сетка — социальная сеть от hh.ru