Синтетики: не совсем дешево, довольно сердито, очень интересно

Продолжаем экспериментировать с синтетическими респондентами - смоделированными потребителями, которые могут проходить опросы вместо реальных людей (подробно рассказывали об этом тренде в исследованиях год назад). Наше исследовательское агентство CUBE уже подключало синтетиков к анализу креативов, а недавно коллеги провели «валидацию синтетических респондентов» (Synthetic Persona Validation). Звучит несколько устрашающе, но схема простая: мы взяли реальное количественное исследование CUBE и повторили его на российской платформе синтетических респондентов. LLM отвечала на вопросы об инвестициях: какие мотивы и барьеры для старта, возможная сумма инвестиций, сроки, источники знаний, текущие способы сбережений.

Если вкратце, ответы синтетиков недостаточно корректны, чтобы только на их базе принимать те или иные маркетинговые решения. - ИИ слишком типичен. Из предложенных вариантов LLM выбирает наиболее очевидные, что снижает долю или совсем нивелирует инсайты исследования

- ИИ слишком рационален. LLM не отвечает «не знаю» и выбирает наиболее логичные (но в реальности наименее распространенные) сценарии поведения, это искажает картину реальных мотивов и барьеров потребителя

- ИИ слишком сфокусирован. LLM выбирает меньше вариантов ответов в сравнении с человеком (у нас разница доходила до х3), что затрудняет оценку веса факторов.

- ИИ не доверяет человеку (это, видимо, взаимно). LLM исключает человеческие факторы (рекомендации, отзывы) из контекста принятия решений.

Подробности в карточках, как и вывод, который продублируем. На текущий момент работает модель synthetic-first, real-confirmed – синтетики помогают спроектировать дизайн исследования, получить базовые гипотезы, которые необходимо проверять и оценивать на реальных потребителях.

От себя добавим, с учетом темпов развития LLM так точно будет не всегда. Stay synthetic🤖

В этом посте были ссылки, но мы их удалили по правилам Сетки