Как современная массовая культура видит внедрение ИИ

В отпуске посмотрел сериал про врачей The PITT. В одной из малых сюжетных линий там очень показательно разворачивается история внедрения ИИ в медицине.

Структура сюжетной линии примерно следующая:

• Новая прогрессивная глава отделения приносит с собой приложение, которое помогает врачам заполнять карты пациентов и сокращает время на рутину. С помощью мягкой силы (своего положения и лёгкого шантажа :) ) она стимулирует врачей использовать приложение.
• Врачи при этом сначала боятся потерять работу, прямо говорят: «Вот вы сейчас внедрите это - и нас сократят». Глава отделения отрабатывает эти возражения, объясняя, что приложение сокращает рутину и освобождает больше времени для работы с пациентами, а не с бумажками.
• Первыми систему начинают использовать «пионеры» - в основном интерны и студенты старших курсов, но система в карте пациента иногда пишет ерунду, что приводит к потерям денег и хаосу в процессах больницы.
• Глава отделения винит врачей в том, что за ИИ нужно вычитывать всё, но они этого не делают.
• Я пока не досмотрел сериал до конца, но всё указывает на то, что хеппи-энда с внедрением ИИ не будет.

После этой истории кажется, что главная проблема внедрения ИИ сегодня не в качестве моделей, а в том, что люди слишком быстро начинают им доверять

Что хочется сказать по этому поводу:

• Подача темы внедрения ИИ в медицине (да и в целом ИИ) с такой стороны может сильно вредить. Многие из отрасли это посмотрят - и это формирует общественное мнение. Скайнетом из «Терминатора» до сих пор пугают людей, когда разговор заходит об ИИ.
• Давайте будем честными: в условиях цейтнота почти никто не будет вычитывать и перепроверять текст за LLM. Если система выглядит правдоподобно - ей начинают доверять. Это будет дискредитировать технологии ИИ и ограничивать их применение. Это классическая проблема automation bias: люди начинают доверять системе и перестают её перепроверять. С этим нужно системно работать. Возможно, вводить шкалы уверенности в соответствии текста, выданного LLM, реальности и закреплять такие практики стандартами, чтобы не дискредитировать класс систем.
• Возражение «вы нас всех уволите после внедрения ИИ» - очень сильный аргумент. Наши контраргументы про устранение рутины зачастую выглядят не очень убедительно. В целом пока не до конца понятно, что с этим делать. Ведь часть менеджеров в погоне за операционной эффективностью действительно может к этому прийти.

Как вы реагируете на такие нововведения в вашей зоне ответственности? Сейчас из каждого утюга трубят о победах, но на практике кажется, что всё не так радужно. Интересно, какие возражения по поводу внедрения ИИ возникают у вас? Чего вы боитесь больше: что ИИ вас заменит - или что с его появлением от вас просто начнут требовать ещё больше?

Читать про продукты для Large Enterprise

В этом посте были ссылки, но мы их удалили по правилам Сетки