Кейс: Галлюцинации в чат-боте вызвали волну негатива и отписок в Cursor

Cursor - помощником по кодированию на базе искусственного интеллекта от Anysphere.

Инцидент произошел на прошлой неделе и вызвал волну негатива на Reddit и Hacker News.

Пользователь под ником BrokenToasterOven столкнулся с багом сервиса - его регулярно выкидывало из Cursor при переключении между разными устройствами. Он обратился в поддержку и получил от чат-бота ответ - подписка на Cursor поддерживает только одно устройство, и это прописано в базовой политике безопасности сервиса. Но в реальности такой политики просто не существовало.

В итоге Anysphere пояснили, что информация от чат-бота была неверной, списав такой ответ на «галлюцинацию» - явление, когда модель ИИ генерирует ложный или вводящий в заблуждение ответ, выдавая его за правду.

На самом деле пользователи могут свободно использовать Cursor на нескольких устройствах. Представитель компании добавил, что команда расследует, не стали ли недавние обновления безопасности причиной проблем с переходом между устройствами.

От поста на Reddit до ответа компании и исправления бага прошло 3 часа, но ущерб компании уже был нанесен. Жалоба BrokenToasterOven завирусилась, и разочарованные пользователи публично выразили свой гнев, назвав политику (которой не существует) компании «глупой» и «неприемлемой». Многие не только захотели отменить подписку, но и сделали это.

Этот инцидент служит важным напоминанием: ИИ не является единственно достоверным источником, и когда он дает сбой, последствия могут быть быстрыми и серьезными.

Пока Anysphere выясняет первопричину такого ответа ИИ, урок для всех CX-специалистов - инвестируйте в надежный мониторинг, создайте четкие системы передачи данных между человеком и чат-ботом, и всегда будьте прозрачны с пользователями, когда в игру вступает ИИ - прямо заявляйте о том, что ответ сгенерирован.

ИИ может повысить производительность, но без должного контроля он может очень легко подорвать с трудом завоеванное доверие.

Источник