Про репрезентативность качественных опросов

Когда проводят качественные исследования (глубинки или фокус-группы), то часто сомневаются в том, что их результаты представительны и репрезентативны. Известный российский социолог Сергей Александрович Белановский (основатель известной "Группы Белановского") взялся показать математически, что при определённых вводных 15-40 человек достаточно для того, чтобы получить репрезентативные результаты в качественном исследовании.

Публикация Белановский С. А. Репрезентативность качественных опросов // Интеракция. Интервью. Интерпретация. 2023. Т. 15. № 1. С. 69–94. https://doi.org/10.19181/inter.2023.15.1.4 https://cyberleninka.ru/article/n/reprezentativnost-kachestvennyh-oprosov/viewer

Подробности Репрезентативность в статистическом смысле — это соответствие параметров выборки генеральной совокупности (например, доля клиентов, которые ваш сервис оценивают на 2 из 5 такая же, как и среди всех ваших клиентов). Но можно ли говорить о репрезентативности, когда идут качественные опросы? Кажется, что можно, но если сузить задачу и сделать некоторые допущения: 1. Смотреть не любое качественное исследование (это достаточно расплывчатое понятие), а именно качественные опросы 2. Предмет исследования — массовые представления (мнения), но не социальные структуры. Отличие в том, что при исследовании мнений нужно собрать максимально большое количестве релевантных высказываний по какому-то вопросу.  А вот при исследовании социальных структур (при которых качественным методам нет альтернативы) понятие статистической репрезентативности уже не имеет смысла. 3. Единицей отбора является носитель мнения (респондент). В качественных исследованиях обычно собирается картина мира в виде некоторой системы мнений. Сложно говорить о генеральной совокупности всех мнений (точнее даже, релевантных высказываний), но тут нужно отбирать респондентов (носителей мнений). 4. Внутри популяции (которую исследуем) респонденты рекрутируются простым случайным отбором 5. Условия идеальной популяции: каждый респондент имеет мнение, релевантное опросу. То есть не берём в расчёт респондентов (или фильтруем их из популяции), если им на вопрос вообще по барабану. 6. Один человек носитель одного мнения и его можно интерпретировать однозначно. Тут, в принципе, нет особой проблемы, если мнения у человека 2 (проблема удвоения мнений рассматривается отдельно), но это скорее снижает требование к выборке. 7. Промежуточные и эклектичные мнения исключаются из рассмотрения или выделяются в отдельный сегмент. Часто исследование такого "болота" мнений — это отдельная важная задача.

С такими предпосылками уже ставятся задачи: 1. Если хотим узнать соотношение мнений по популяции с какой-то точностью (как вы относитесь к Партии X) - то это классическая задача статистики, выборки большие и все уже посчитаны формулами. 2. Задача доказательства существования (мнения в популяции). Определить такой размер выборки, чтобы с определённым уровнем достоверности собрать все существующие релевантные менения по некоторому вопросу . Заданная точность - в смысле если сегмент с таким мнением больше n%, то мы в исследовании встретим его высказывание. 3. Модификация задачи 2: любое существующее мнение представлено не меньше чем 3 высказываниями (с заданным уровнем доверия). Такой критерий взят, чтобы отделить массовые представления от маргинальных высказываний (что вам не встретился единичный очень интересный респондент.

Оказывается, что если мы хотим выявить мнения сегментов, которые составляют хотя бы 10% в популяции, то для 95% уровня доверия достаточно опросить всего 29 случайных респондентов (а для 90% - 22 респондента).

Вывод: Для репрезентативного качественного опроса достаточно от нескольких единиц до нескольких десятков респондентов, если цель — собрать массовые представления. На практике сложно строго соблюдать условия, но небольшое увеличение выборки может помочь. А радикальное увеличение вряд ли окупит затраты, потому что большинство высказываний будут повторяться и не войдут в отчёт.