Одна из проблем качественных исследований: пользователь говорит что-то вроде «тут неудобно» или «что-то не так», а исследователю нужно докопаться до причины, не уводя респондента в сторону.

И вот, для автоматизированного UX-интервью предлагают использовать второго ИИ-агента как контролёра.

ИИ-интервьюер — разговаривает с пользователем и задаёт уточняющие вопросы.

ИИ-контролёр — работает в фоне: оценивает каждый вопрос-ответ, отслеживает зацикливание и следование теме. Если разговор «поплыл», то система возвращает его.

Для чистоты эксперимента исследование проводили по заранее написанным сценариям ответов, а не на реальных людях. Это сделали специально, чтобы поведение респондентов не мешало сравнению, насколько хорошо разные модели ведут интервью. Т.е. пока это такой первый опыт и отладка.

Выводы Провели 216 симулированных интервью на нескольких моделях и сценариях.

Результат вроде бы идеальный: 99,1% интервью дошли до формально завершённой смысловой цепочки. Но действительно правильного, заранее известного результата система достигла в 81% случаев.

Одна из главных проблем — понять, когда уже докопались до сути, а когда нужно задать ещё один вопрос. ИИ может провести внешне отличное, но остановиться на поверхностном объяснении.

В общем, одного хорошего промпта мало. Нужно подробно описывать логику интервью, контролировать глубину, зацикливания и следить, не решил ли ИИ раньше времени, что уже докопался до сути. А может, и третьего агента подключить 😏

Но всё это гораздо интереснее обычного «проведи интервью».

❓ИИ захватывает мир?

#исследование ЗоЮ и клоны: VK | Сетка