На AI Hardcore Set послушала доклад Леонида Атаманова из Avito — о разработке аналитических AI-агентов. Формально — про внутренние инструменты. По факту — про альтернативный подход в развитии AI-продукта.

Несколько мыслей, которые оставила в заметках.

1. Большинство AI-продуктов развивают через функции: новые модели, шире контекст, больше инструментов. Пользователю это не важно. Ему важно, решит ли продукт его задачу — и решит ли надёжно. В данном кейсе единицей развития сделали не функцию, а пользовательский сценарий. И у каждого сценария есть владелец и судьи.

2. Вместо универсального помощника, который должен уметь всё, команда выделила ограниченный набор сценариев и сказала: вот это агент обязан делать хорошо. Для каждого сценария определили: какую задачу решает пользователь, что считать успехом, какие ошибки недопустимы, кто отвечает за качество. Дальше под сценарий создавались навыки и инструменты. Логика: сценарий → навыки → инструменты → проверка качества → развитие.

3. AI-агент оказался новым типом пользователя и отличным тестировщиком. Проходя сценарий, он быстро находил проблемы, которые раньше никто не замечал: противоречия, дыры в архитектуре, пробелы в бизнес-логике. Получается двойной эффект: агент и отвечает пользователю, и подсвечивает слабые места самого продукта.

4. Ошибка становится новым требованием. Если агент допустил критический сбой, недостаточно просто поправить. Важно сделать так, чтобы ошибка в этом сценарии больше никогда не повторилась. Команда разбирала причину, оценивала последствия, назначала ответственных и добавляла сценарий в систему проверки качества.

5. Средние показатели не важны. Если помощник успешно отвечает на 95% запросов, но в одном критическом сценарии выдаёт недостоверный результат — доверие рушится ко всему продукту. Зрелость определяется не средней оценкой, а отсутствием «красных» сценариев. Пока остаётся хотя бы один — масштабировать рано.

Для меня — это новые возможности управления продуктом. Вместо дорожной карты из функций появляется карта зрелости пользовательских сценариев. Вместо «добавить новую возможность» — «повысить надёжность сценария поиска причин падения метрик», «вывести сценарий подготовки отчёта из пилота в промышленную эксплуатацию». Такое развитие проще измерять и объяснять бизнесу.