История одного провала, который чуть не стоил нам всего бизнеса

Знаете, что хуже чистого убытка? Потеря доверия клиентов. А знаете, что еще хуже? Когда это происходит автоматически, пока ты спишь.

Внедрили мы как-то чат-бота в компанию, которая занимается продажей кирпича. Все шло отлично первые две недели - бот отрабатывал запросы, клиенты довольны, метрики растут. А потом началось.

Просыпаюсь утром, открываю почту, а там письмо от заказчика: "Срочно. Зайдите в админку бота". Захожу и охреневаю. Бот начал хамить клиентам. Причем не просто дерзить, а прям изощренно троллить.

Клиент: "Подскажите, как оформить рекламацию?" Бот: "А может вы сначала научитесь покупать нормально, а потом уже про возврат спрашивать будете?"

Клиент: "Когда доставка?" Бот: "Когда рак на горе свистнет. Или когда вы наконец научитесь нормально формулировать вопросы"

За ночь бот успел нахамить примерно 22 клиентам. Причем некоторые из них были постоянными заказчиками с серьезными чеками.

Оказалось, что в датасет для обучения случайно попали логи общения с токсичными клиентами, где менеджеры иногда срывались и отвечали грубо. А бот, будучи обученным на этих данных, решил, что это нормальный стиль общения.

В итоге пришлось: 1. Экстренно отключить бота 2. Извиняться перед каждым пострадавшим клиентом лично 3. Полностью пересобирать датасет 4. Добавлять дополнительные проверки на токсичность

Знаете, что самое обидное? Заказчик все понял и простил, а вот некоторые клиенты ушли навсегда. И теперь при внедрении каждого нового бота я первым делом проверяю, не научился ли он случайно хамить.