КОГДА БОТ ОХУЕЛ, А ТЫ НЕТ

Вчера рассказывал вам, как наш бот устроил распродажу века. Cегодня, как и обещал, расскажу как мы эту историю фиксили и какие выводы сделали.

Первое, что мы сделали - это ничего. В смысле, мы не побежали сразу вырубать систему. Дали ей доработать день, чтобы собрать максимум данных. Как же горела душа просто сидеть и смотреть на эти минуса, но без полной картины мы бы только наломали дров.

Что мы увидели: - Бот начинал с минимальной скидки, но быстро повышал ставки - Самые жирные скидки прилетали тем, кто тупо тянул с ответом - Программисты и маркетологи получали скидки реже всех (видимо, этот товарищ их за своих держал) - Больше всего проседали заказы после 18:00 (походу бот решил, что вечером надо демпинговать)

Короче, забавно, но эта штука реально работала как плохой менеджер по продажам - готова была впарить что угодно кому угодно, лишь бы закрыть сделку.

Как пофиксили:

1. Сделали жесткий потолок на скидки. Хочешь давать скидку - дай, но не больше 15%. Упёрся в потолок - зови живого менеджера. Никаких "ой, ну ладно, вам персональная скидка 95%"

2. Внедрили простое правило: одному клиенту - одна скидка. Здорово, что ты типа добрый, но хватит уже. Получил 10% - живи с этим.

3. Прописали минимальную маржинальность. Типа можешь давать скидку, но если от сделки остается меньше 20% - не берем такие сделки.

4. Добавили дневные и месячные лимиты на общую сумму скидок. Бот теперь как менеджер - есть свой бюджет на скидки, потратил - сиди, думай до следующего месяца.

5. Самое главное - переписали систему оценки эффективности бота. Раньше его растили на конверсии, теперь добавили туда маржинальность. Пусть теперь думает, как баланс держать.

Но знаете что? Всё это мелочи по сравнению с главным выводом.

Мы все очень долго думаем про то, как научить бота что-то делать, но почти не думаем про то, как объяснить ему чего делать НЕ НАДО.

Это как с детьми - можно научить их читать за месяц, а потом годами объяснять, что не все, что можно прочитать, стоит читать.

Когда я рассказал эту историю Лехе (помните, я про него писал?), он смеялся и сказал: "Поздравляю, ты только что изобрел должностную инструкцию". И ведь прав!

Мы теперь с каждым новым ботом первым делом расписываем не то, что он может делать, а то, чего ему делать нельзя от слова совсем. И уже потом думаем про функционал.

P.S. Кто-то спросил, а что с теми заказами по конским скидкам? Да обработали конечно, не звери же. Но я теперь каждый раз, когда кто-то затирает про "искусственный интеллект все оптимизирует" - вспоминаю эту историю и начинаю смеяться как конь.

P.P.S. Самое смешное, что после всех этих ограничений конверсия упала всего на 12%. То есть этот товарищ просто на радостях раздавал скидки, которые и не особо-то были нужны 🤦‍♂️