Научный продакт-менеджмент/ Федя Панов
19.03
Про репрезентативность качественных опросов
Когда проводят качественные исследования (глубинки или фокус-группы), то часто сомневаются в том, что их результаты представительны и репрезентативны. Известный российский социолог Сергей Александрович Белановский (основатель известной "Группы Белановского") взялся показать математически, что при определённых вводных 15-40 человек достаточно для того, чтобы получить репрезентативные результаты в качественном исследовании.
Публикация Белановский С. А. Репрезентативность качественных опросов // Интеракция. Интервью. Интерпретация. 2023. Т. 15. № 1. С. 69–94. https://doi.org/10.19181/inter.2023.15.1.4 https://cyberleninka.ru/article/n/reprezentativnost-kachestvennyh-oprosov/viewer
Подробности Репрезентативность в статистическом смысле — это соответствие параметров выборки генеральной совокупности (например, доля клиентов, которые ваш сервис оценивают на 2 из 5 такая же, как и среди всех ваших клиентов). Но можно ли говорить о репрезентативности, когда идут качественные опросы? Кажется, что можно, но если сузить задачу и сделать некоторые допущения: 1. Смотреть не любое качественное исследование (это достаточно расплывчатое понятие), а именно качественные опросы 2. Предмет исследования — массовые представления (мнения), но не социальные структуры. Отличие в том, что при исследовании мнений нужно собрать максимально большое количестве релевантных высказываний по какому-то вопросу. А вот при исследовании социальных структур (при которых качественным методам нет альтернативы) понятие статистической репрезентативности уже не имеет смысла. 3. Единицей отбора является носитель мнения (респондент). В качественных исследованиях обычно собирается картина мира в виде некоторой системы мнений. Сложно говорить о генеральной совокупности всех мнений (точнее даже, релевантных высказываний), но тут нужно отбирать респондентов (носителей мнений). 4. Внутри популяции (которую исследуем) респонденты рекрутируются простым случайным отбором 5. Условия идеальной популяции: каждый респондент имеет мнение, релевантное опросу. То есть не берём в расчёт респондентов (или фильтруем их из популяции), если им на вопрос вообще по барабану. 6. Один человек носитель одного мнения и его можно интерпретировать однозначно. Тут, в принципе, нет особой проблемы, если мнения у человека 2 (проблема удвоения мнений рассматривается отдельно), но это скорее снижает требование к выборке. 7. Промежуточные и эклектичные мнения исключаются из рассмотрения или выделяются в отдельный сегмент. Часто исследование такого "болота" мнений — это отдельная важная задача.
С такими предпосылками уже ставятся задачи: 1. Если хотим узнать соотношение мнений по популяции с какой-то точностью (как вы относитесь к Партии X) - то это классическая задача статистики, выборки большие и все уже посчитаны формулами. 2. Задача доказательства существования (мнения в популяции). Определить такой размер выборки, чтобы с определённым уровнем достоверности собрать все существующие релевантные менения по некоторому вопросу . Заданная точность - в смысле если сегмент с таким мнением больше n%, то мы в исследовании встретим его высказывание. 3. Модификация задачи 2: любое существующее мнение представлено не меньше чем 3 высказываниями (с заданным уровнем доверия). Такой критерий взят, чтобы отделить массовые представления от маргинальных высказываний (что вам не встретился единичный очень интересный респондент.
Оказывается, что если мы хотим выявить мнения сегментов, которые составляют хотя бы 10% в популяции, то для 95% уровня доверия достаточно опросить всего 29 случайных респондентов (а для 90% - 22 респондента).
Вывод: Для репрезентативного качественного опроса достаточно от нескольких единиц до нескольких десятков респондентов, если цель — собрать массовые представления. На практике сложно строго соблюдать условия, но небольшое увеличение выборки может помочь. А радикальное увеличение вряд ли окупит затраты, потому что большинство высказываний будут повторяться и не войдут в отчёт.
· 20.03
очень интересная статья! но есть ощущение, что автор в статье решает немного другую задачу (которая тоже является камнем преткновения в качественных исследованиях) — число респондентов для интервью.
о репрезентативности он говорит, все-таки, в несколько отличающемся от классических трактовок смысле
ответить
Научный продакт-менеджмент/ Федя Панов
20.03
В статье автор ещё рассуждает о частой разнице понимания репрезентативности в контексте качественных и количественных и исследований. Классическая количественная репрезентативность - это про то, насколько можно данные исследования переносить на всю генеральную совокупность. Чтобы утверждать репрезентативность, нужно соблюсти требования к выборке по качеству (некоторые параметры респондентов и принцип из отбора) + по количеству (размер выборки для достижения нужного доверия).
А в качественных исследованиях часто про репрезентативность говорят уже в другом ключе, как про способность исследования репрезентовать реальность и в этом смысле скорее речь уже про релевантность. А дальше он показывает, что при некоторых условиях качественное исследование может быть репрезентативно и в статистическом смысле (если это качественный опрос и прочее, про это постарался пересказать подробнее). И тут как раз подробности про то, как в разных случаях посчитать количество респондентов для разных показателей доверия и что величина выборки остаётся характерной для качественного исследования, а утверждения можно выносить вполне себе статистически достоверные.
ответить
еще контент в этом сообществе
еще контент в этом соообществе
Научный продакт-менеджмент/ Федя Панов
19.03
войдите, чтобы увидеть
и подписаться на интересных профи