Мысли на тему оценки AI-фич

Итак, вы работаете на онлайн-доске изапускаете инновационную AI-фичу: «Создай мне доску по описанию проекта». Рождается доска с карточками.

Через неделю продакты смотрят на метрики: 65% пользователей хотя бы раз попробовали AI. 🎉 "Это успех!" - говорит маркетинг.

2% вернулись второй раз. "М-дааа" - говорит здравый смысл

Что пошло не так? Пользователь открыл AI, получил доску. Посмеялся. Стер. Сделал всё вручную. Никогда больше не нажал на эту кнопку.

Почему «один раз попробовали» — не метрика? Потому что в 2025 году "попробовать AI" — это как понюхать трюфельное масло:). Любопытно, но есть не обязательно.

AI-фичи все чаще будут внедряться в продукты. Однако они принципиально отличаются от традиционного функционала по поведению пользователя и структуре ценности.

1. Часто их позиционируют как инновационные (например, "умный помощник", "AI-сводка", ..) Пользователи любопытны: они хотят попробовать, даже если не уверены, что им это нужно.

-> Adoption-метрики "сколько пользователей воспользовались хотя бы раз-два раза" может быть искусственно завышены и не отражают реальной ценности.

2. AI - штука капризная. Она обещает волшебство, но зачастую выдает PowerPoint из 2000 года. Поэтому стандартные метрики повторного использования (например, недельный Retention Rate) часто показывают резкое падение -> пользователь перестаёт доверять функции -> больше не открывает её вообще.

3. Очень трудно заранее протестировать «качество» функции без вовлечения реальных данных и сценариев. AI-функция почти всегда многофункциональна, в отличие от обычной — у неё нет одного сценария. Появляется высокая степень субъективности: один пользователь говорит «гениально», другой — «непонятный бред».

Из-за этих особенностей важно изменить фокус оценки: не только «что делает пользователь», но в каком контексте он это делает. Как действовать:

  1. Определите и сегментируйте ключевые сценарии использования. Разделите их по ролям (например, маркетолог, дизайнер, менеджер проекта) или задачам.

  2. Настройте сбор данных по сценариям (теги или автоклассификация). Внедрите внутреннюю маркировку запросов пользователя (например, по ключевым словам, шаблонам или категориям). Используйте автоматическую классификацию (на основе NLP-моделей или простых правил), чтобы не делать это вручную.

  3. Измеряйте метрики повторного использования и удовлетворённости в разрезе сценариев. Считайте retention-функции по каждому сценарию: возвращаются ли пользователи к определённому типу задачи? Дополнительно измеряйте удовлетворённость (опросы, NPS, thumbs-up/down, открытые комментарии).

4) Отслеживайте негативные фидбеки по сценариям в моменте: "Этот результат вам помог?" — с быстрым фидбеком.

Ваша цель — найти зоны роста Что особенно важно отслеживать: 1. Сценарии, в которых пользователи возвращаются к AI-функции регулярно 2. Сценарии, в которых оценки результата высокие 3. Сценарии, где наблюдается рост вовлечённости, повторного использования и NPS