Когда автоматике верят больше, чем себе

Чем активнее мы внедряем технологии в повседневные и профессиональные процессы, тем чаще сталкиваемся с неожиданным побочным эффектом — склонностью безоговорочно доверять системе даже тогда, когда она ошибается. Это явление называют «предвзятостью автоматизации» (automation bias). Его описали еще в 1990‑е, но с развитием ИИ проблема стала заметнее и масштабнее.

Один из самых громких примеров — история британской почтовой системы Horizon. В конце 1990‑х годов Почтовая служба Великобритании внедрила централизованную цифровую платформу для учета финансов в тысячах отделений. Вскоре система начала фиксировать недостачи наличных и товаров. Руководство полагалось на данные программы и инициировало уголовные преследования субпочтмейстеров — владельцев отделений. За годы разбирательств сотни людей были осуждены, многие разорились, некоторые покончили с собой.

Позже выяснилось, что Horizon генерировала некорректные отчеты. Суд признал ошибки системы, а скандал назвали крупнейшей судебной ошибкой в истории страны. Однако десятилетиями аргумент «компьютер не может ошибаться» перевешивал доводы людей.

Два типа ошибок

Исследования в авиации, где активно внедрялись автоматические системы контроля, показали парадоксальный эффект. В целом автоматика снижает количество ошибок. Но если она дает сбой, люди, привыкшие на нее полагаться, ошибаются чаще, чем те, кто работает без нее.

Выделяют два вида таких промахов: - Ошибка бездействия (omission error) — система не сигнализирует о проблеме, и человек ее игнорирует, хотя мог бы заметить самостоятельно.

- Ошибка действия (commission error) — автоматика выдает неверную рекомендацию, и человек следует ей вопреки собственным знаниям или другим данным.

В обоих случаях источник проблемы — чрезмерное доверие к алгоритму.

Почему мы так доверяем машинам? Есть несколько причин.

Снижение когнитивной нагрузки. Алгоритмы не устают и быстро обрабатывают большие объемы данных. В условиях многозадачности это создает ощущение надежности и провоцирует эффект самоуспокоения: «система все контролирует».

Эффект авторитета. Мы склонны доверять тому, кого считаем экспертом. Современные цифровые инструменты, особенно ИИ‑ассистенты с «человеческим» интерфейсом, воспринимаются как компетентные партнеры.

Эффект якоря. Первая рекомендация алгоритма становится отправной точкой для оценки ситуации. Даже если позже появляется противоречивая информация, изменить первоначальное впечатление сложно.

Продолжение вы можете прочитать в нашем TenChat: https://tenchat.ru/TenderCapitalGroup