Наткнулся на интересную деталь в документации Fin - ИИ-агента от Intercom: обращение может считаться решённым, даже если клиент этого явно не подтвердил.

Компания разделяет два случая: - клиент подтвердил, что ответ помог; - клиент получил ответ и ушёл, не запросив дополнительную помощь.

Второй случай называется assumed resolution - предполагаемое решение. Оно учитывается и при оплате. Логику такого подхода можно понять: люди далеко не всегда пишут «спасибо, помогло». Но за молчанием могут стоять разные ситуации. Человек разобрался. Отложил вопрос. Устал общаться с ботом. Пошёл искать ответ в другом месте. Поведение в чате одинаковое, а результат для пользователя - разный. У Intercom предусмотрена поправка: если клиент вернётся в тот же диалог за дополнительной помощью, ранее засчитанное решение вычтут и не будут за него брать плату. Но остаётся вопрос: что произошло с теми, кто не вернулся? Для меня здесь интересен продуктовый выбор: какой наблюдаемый сигнал мы принимаем за достигнутую цель пользователя? Если оценивать такую автоматизацию для бизнеса, я бы смотрел ещё на три вещи: 1. Повторные обращения по той же проблеме, включая другие каналы. 2. Выполнение целевого действия: удалось ли восстановить доступ, оформить возврат, исправить ошибку. 3. Выборочную проверку диалогов, которые система посчитала успешно завершёнными.

Это применимо и к внутренним B2B-продуктам. Например, бот ответил поставщику, как загрузить документы, и переписка закончилась. Следующий вопрос - смог ли поставщик их загрузить? Мой вывод: прежде чем обсуждать процент обращений, закрытых ИИ, стоит договориться, что именно мы считаем решением проблемы.

Вы бы засчитывали молчание после ответа бота как успех? Или только при наличии ещё одного сигнала?