Я запретил SaaS с ИИ ещё на этапе нагрузочного тестирования. Бизнес внедрил, прогорел и откатился

В прошлом году к нашим cloud-сервисам решили прикрутить SaaS-решение с LLM для генерации лидов.

На этапе нагрузочного тестирования я прогнал целевой профиль и упёрся в лимит токенов примерно на 60% от ожидаемого RPS. Вендор, конечно, обещал "масштабирование", но фактура была железная: при нашей воронке лидов токены заканчиваются быстрее, чем бизнес окупает один conversion. Я подготовил заключение с конкретными цифрами: стоимость обработки одного лида через LLM выходила в 4 раза выше, чем на текущем монолитном legacy-решении, которое считало ту же логику без всякого ИИ. Вывод был простой: внедрять нельзя, экономика не сходится.

Но самое интересное случилось дальше. Бизнес выслушал, кивнул и.….. принял решение внедряться канареечно. "Мы просто попробуем на 10% трафика". Я тогда сказал фразу, которую теперь вспоминают на ретроспективах: "токены не знают, канареечный вы трафик или нет, они заканчиваются одинаково 🗿🗿🗿". Прошло три недели. SaaS честно отъел бюджет, сгенерировал лидов на сумму втрое меньше стоимости потраченных токенов и был тихо откатан. После этого моё заключение НТ внезапно перечитали с интересом 🤷🏿‍♂️

Вывод я сделал не про ИИ и не про токены. Инженерная экспертиза работает только тогда, когда бизнес готов её услышать. Моя работа была сделана правильно: цифры, графики, конкретные прогнозы. Но решение принимали люди, которые верили в магию "ИИ" сильнее, чем в нагрузочные отчёты. Теперь на каждое подобное внедрение мы сначала гоним нагрузку, потом считаем unit-экономику одного запроса, и только потом идём к стейкхолдерам. Хотя бы один раз цифры победили хайп.

У вас было такое, что техническое заключение игнорировали, а потом возвращались к нему через месяц и делали вид, что это была их идея? #loadtesting #sre #qa #llm #ai #saas #performanceengineering #capacityplanning #reliability #techdebt