КОГДА ДЖЕФФ БЕЗОС ОХРЕНЕЛ ОТ МОЕГО ВОПРОСА

Сижу я такой в офисе Amazon в Сиэтле (окей, на самом деле в Zoom-е, но звучит не так эпично), и тут происходит диалог, который заставил охренеть всех участников созвона.

Дело было на воркшопе по AI-решениям. Я там вроде как должен был молча слушать и кивать, но вы же меня знаете – не удержался и спросил про их подход к тестированию ботов.

"А вы правда верите, что ваши методы тестирования работают?" – выпалил я.

Повисла тишина. Такая, знаете, когда даже фоновый шум кондиционеров куда-то пропадает.

Я продолжил: "Потому что у меня тут табличка Excel на 40 000 строк с логами тестов вашего бота, и он умудрился принять заказ на доставку пиццы в Атлантиду. Причем с указанием точного времени доставки."

Джефф (ладно, это был не Джефф, а Олег из их AI-отдела) снял очки и начал протирать их с таким усердием, будто там карта сокровищ спрятана.

А потом случилось то, чего я не ожидал. Вместо того чтобы послать меня куда подальше, они показали их реальную систему тестирования. И знаете что? Она гениальна в своей простоте.

Суть такая: 1. Они не тестируют бота. Они тестируют пользователя 2. На каждые 100 обычных запросов они подкидывают 10 заведомо невыполнимых 3. Если бот не отвечает "я не могу это сделать" минимум на 8 из них – в продакшн его не пускают

"Но это же охренеть как дорого!" – воскликнул я.

"А починить репутацию после того, как твой бот пообещает клиенту невозможное – дешевле?" – ответил Олег.

Я сидел и думал о том, сколько денег слил на "давай быстрее запустим, а потом доработаем". Спойлер: дорабатывать всегда дороже, чем сделать нормально с первого раза.

А вот вам и вишенка на торте – они заставляют своих разработчиков регулярно притворяться идиотами и пытаться сломать бота самыми тупыми способами. И знаете что? Это работает лучше любых автотестов.

Да, я знаю, что это звучит как "дорого и сложно". Но давайте будем правдорубами – мы либо платим за качество на этапе разработки, либо платим репутацией на этапе поддержки. И второе всегда выходит дороже.

И да, в Атлантиду пиццу так и не доставили. Зато бот научился говорить "извините, но этот адрес доставки находится под водой уже несколько тысяч лет". Прогресс!