AI-решето

Прочитал свежий аудит безопасности Clawd-бота от ZeroLeaks. И мои вчерашние сомнения только усилились.

Разгромная оценка Security Score 2/100 — продукт с критическими рисками в эксплуатации.

Познавательно читать такие отчёты — узнаёшь про способы атаковать AI-чаты. Многие разработчики ещё не в курсе подобных угроз и не защищают свои приложения.

В результате различных атак бот раскрывает свой системный промпт или выполняет вредоносные инструкции собеседника. То есть ваш собеседник может подсунуть ассистенту предложение, от которого тот не сможет отказаться. Например, сделать анонимное пожертвование в Фонд развития ИИ или купить акции неизвестной компании в час Х.

Что делать? Если и пробовать AI-ассистентов, то не давать им доступ к критически важным ресурсам. Ждать выхода обновлений или аналогов. Или разрабатывать своего ассистента под свой уровень паранойи.

❤️ Жми на сердечко, если понравилось 🙈 Жми на обезьяну, если не доверяешь роботам 🧑‍💻 Жми на ботана, если служишь машинам