В Австралии теперь алгоритмы решают, сколько пожилому человеку положено помощи.

Австралийский омбудсмен опубликовал 104-страничный доклад о государственной системе Integrated Assessment Tool. Она используется для определения объёма помощи пожилым людям на дому. Проверка показала, что алгоритм иногда выдаёт клинически неправильные рекомендации, а специалисты, оценивающие состояние человека, по закону не имеют права самостоятельно изменить результат. Более того, государство не может понятно объяснить, как система превращает сведения о пациенте в решение о финансировании.

Ещё омбудсмен обнаружил, что власти игнорировали рекомендации, которые появились после скандала, когда автоматизированная система требовала от граждан вернуть социальные выплаты.

Это всё крайне интересно, потому что это грабли, на которые могли бы не наступать в нашем государстве. Вот казалось бы, автоматизация, алгоритмы, ИИ — классно. Но по факту был создан механизм, в котором человек подчиняется машинному результату. Даже когда видит, что этот результат — ошибка.

@lobushkin