Эффект Даннинга-Крюгера часто используют как объяснение чужой самоуверенности: некомпетентный человек не понимает, что он некомпетентен. Удобная идея. Особенно если мы, конечно, записали себя в другую группу. Но у классического эффекта есть проблемы.

Первая — автокорреляция. Еще в 2002 году два исследователя Крюгер (это другой человек, честно) и Мюллер выявили забавную ошибку в подсчетах: Даннинг и Крюгер используют один и тот же показатель (результат теста) дважды – при разбивке людей по группам навыков и для определения точности самооценки. А затем сравнивают эти значения между собой. В статистическом мире это называется автокорреляция: переменная фактически сравнивается сама с собой. И так делать нельзя, потому что эффект будет проявляться на абсолютно случайных данных.

Вторая — регрессия к среднему. Плохой результат может быть не «истинной некомпетентностью», а случайностью дня: не выспался, плохо ел, не повезло. То же самое и с отличными результатами: человеку повезло, он в отличном настроении, забустил себя глицином. При повторном измерении экстремальные результаты часто съезжают ближе к средним.

Фишка в том, что при самооценке регрессия к среднему меньше подвержена случайным эффектам дня, а значит, самооценка и реальные результаты могут не совпадать только из-за этого эффекта.

Третья — эффект «лучше среднего». Большинство людей считают себя выше среднего по позитивным качествам. Эффект «Лучше среднего» действует на ВСЕХ людях, не только на некомпетентных. В оригинальном исследовании Даннинга–Крюгера средняя самооценка по всем группам составляла 66-й перцентиль — то есть каждый в среднем считал себя лучше 66% других. Это чистый эффект «Лучше среднего».

Рабочий вывод: не используйте эффект Даннинга-Крюгера как универсальную дубинку в споре. Если график красивый, это ещё не значит, что анализ корректный.

А у вас в работе были метрики или графики, которые выглядели убедительно, пока вы не посмотрели на методику?

Источник для блока про автокорреляцию: Blair Fix, Economics from the Top Down. #статистика #данные #критическоемышление