Синтетики: не совсем дешево, довольно сердито, очень интересно Продолжаем экспериментировать с синтетическими респондентами - смоделированными потребителями, которые могут проходить опросы вместо реальных людей (подробно рассказывали об этом тренде в исследованиях год назад https://clck.ru/3PQL8y). Наше исследовательское агентство Cube уже подключало синтетиков к анализу креативов А недавно коллеги провели «валидацию синтетических респондентов» (Synthetic Persona Validation). Звучит несколько устрашающе, но схема простая: мы взяли реальное количественное исследование CUBE и повторили его на российской платформе синтетических респондентов. LLM отвечала на вопросы об инвестициях: какие мотивы и барьеры для старта, возможная сумма инвестиций, сроки, источники знаний, текущие способы сбережений. Если вкратце, ответы синтетиков недостаточно корректны, чтобы только на их базе принимать те или иные маркетинговые решения.

• ИИ слишком типичен. Из предложенных вариантов LLM выбирает наиболее очевидные, что снижает долю или совсем нивелирует инсайты исследования
• ИИ слишком рационален. LLM не отвечает «не знаю» и выбирает наиболее логичные (но в реальности наименее распространенные) сценарии поведения, это искажает картину реальных мотивов и барьеров потребителя
• ИИ слишком сфокусирован. LLM выбирает меньше вариантов ответов в сравнении с человеком (у нас разница доходила до х3), что затрудняет оценку веса факторов.
• ИИ не доверяет человеку (это, видимо, взаимно). LLM исключает человеческие факторы (рекомендации, отзывы) из контекста принятия решений. Подробности в карточках, как и вывод, который продублируем. На текущий момент работает модель synthetic-first, real-confirmed – синтетики помогают спроектировать дизайн исследования, получить базовые гипотезы, которые необходимо проверять и оценивать на реальных потребителях. От себя добавим, с учетом темпов развития LLM так точно будет не всегда. Stay synthetic

В этом посте были ссылки, но мы их удалили по правилам Сетки