Про ИИ-расизм и дискриминацию

Всем замечательная новость про то, как исследователи выявили, что ИИ при принятии решений по соискателям (зарубежное исследование, поэтому и зарубежные проблемы) дискриминировал по признаку расовой принадлежности.

При анализе всего массива данных исследователи не обнаружили выраженного общего перекоса. Однако на уровне отдельных вакансий картина оказалась иной — 15% заявок азиатских кандидатов и 26% заявок чернокожих соискателей пришлись на позиции, где алгоритм рекомендовал их заметно реже, чем белых участников отбора.

Но самое важное в исследовании дальше. Так как ИИ, используемый компаниями, по своей сути это либо облачное решение, либо что-то свое, но построенное на некой публичной модели, то и решения (а значит, и алгоритмы и возможные ошибки этого алгоритма), которые он выносил в каждом независимом случае, шаблонно повторялись.

Отдельно команда зафиксировала эффект систематического отказа. Среди кандидатов, которые прошли игровой тест при подаче заявок на десять вакансий, 4% были отнесены алгоритмом к категории «не рекомендован» во всех десяти случаях. Это происходило заметно чаще, чем могло бы происходить, если бы компании оценивали соискателей независимо друг от друга.

А хуже всего здесь то, что также оказалось, что люди почти не проверяют результаты ИИ, доверяя им больше, чем данным, собранным человеком. Руководители проверяют документы, написанные ИИ, гораздо менее тщательно, чем работы людей. Одни и те же ошибки менеджеры легко находят в текстах коллег, но спокойно пропускают, если автором значится нейросеть.

Признавайтесь, используете ИИ на этапе скрининга кандидатов? Доверяете или перепроверяете?

〰️ Всё, что важно — уже В Работе: Сетка