ИИ Microsoft точнее врачей в тесте: 83% против 36%
Система MAI-DxO правильно определила диагноз в 83% сложных случаев из медицинского журнала NEJM. Врачи с доступом к справочным материалам получили 36%. Сравнение проводили в симуляции по описаниям случаев.
Системе сначала давали короткую вводную. Дальше она запрашивала дополнительные сведения и обследования, получала результаты и пересматривала предполагаемый диагноз. Всё сразу перед ней не выкладывали.
Вот эта часть мне интересна. Список возможных болезней ещё оставляет человека с вопросом: что делать дальше? Здесь проверяли, какие данные система решит собрать, прежде чем остановиться на диагнозе. Заодно считали предполагаемую стоимость обследований.
MAI-DxO организует обсуждение между несколькими виртуальными врачами: они предлагают версии и оспаривают выводы друг друга. Для оценки важен итог этой работы, включая то, какие обследования оказались нужны для ответа.
Но у симуляции есть существенная условность. Если результат запрошенного обследования отсутствовал в исходном описании, система тестирования могла сгенерировать правдоподобный. Это ограничивает выводы о том, как тот же процесс пойдёт с реальным пациентом.
Поэтому я воспринимаю результат как хороший повод переходить к клинической проверке. Microsoft планирует исследование с участием пациентов в Beth Israel Deaconess Medical Center в Бостоне.
Следующий понятный критерий для меня: помогает ли система врачу выбрать обследование, которое действительно проясняет случай, и приблизиться к верному диагнозу. Ради такой помощи медицинский ИИ имеет смысл проверять дальше.
