Дополненная реальность давно вышла за пределы игр и развлекательных приложений. Одно из направлений её применения — медицинское образование. Мы разрабатываем прототип AR-симулятора, который позволяет связать физический медицинский фантом с цифровыми моделями внутренних анатомических структур и увидеть их через экран смартфона. Рассказываем, зачем это нужно и в чём заключается идея проекта.

Фантом есть — а что находится внутри? В медицинском образовании активно используются фантомы — физические модели анатомических областей и тканей, которые применяются в медицинском обучении для изучения анатомии, освоения работы с медицинским оборудованием и отработки практических процедур. Использование таких моделей позволяет проводить многократную тренировку в безопасной среде без риска для пациента.

В качестве физической основы проекта используется фантом лица, разработанный специалистами Центра диагностики и телемедицины ДЗМ (автор-разработчик фантома Власова О.В., младший научный сотрудник научно-образовательной лаборатории ГБУЗ «НПКЦ ДиТ ДЗМ»). Фантом предназначен для обучения малоинвазивным манипуляциям под ультразвуковым контролем. Он имитирует человеческое лицо и содержит модели тканей и внутренних структур, в том числе сосудов, мышц, желез и костей. Сам центр описывает разработку как модель для безопасной отработки косметологических малоинвазивных манипуляций под контролем ультразвука.

При работе с физическим фантомом обучающийся видит прежде всего его внешнюю поверхность. Чтобы представить расположение внутренних сосудов, мышц, желёз и костных структур, необходимо дополнительно обращаться к анатомическим атласам, схемам или медицинским изображениям.

Получается, что физический учебный объект и информация о внутренней анатомии существуют отдельно.

Мы задались вопросом: можно ли объединить их в одном пространстве?

От физического объекта к дополненной реальности

Именно на этом строится идея нашего проекта. Перед использованием в приложении подготавливаются цифровая модель фантома и модели необходимых анатомических структур. Затем они объединяются в единую систему дополненной реальности. В текущем прототипе мы работаем со структурами области лица: костями, мышцами, сосудами и слюнными железами.

В основе разработки используются несколько направлений современных цифровых технологий: 3D-моделирование, компьютерное зрение и дополненная реальность. Трёхмерные модели позволяют представить внутреннюю анатомию, компьютерное зрение — определить положение физического фантома, а технологии дополненной реальности — совместить цифровые объекты с изображением реального мира на экране мобильного устройства.

Задача проекта при этом не сводится к созданию ещё одного анатомического 3D-атласа. Основная идея заключается в том, что цифровая анатомия пространственно связывается с конкретным физическим учебным объектом. Пользователь может направить камеру смартфона на медицинский фантом и увидеть расположение внутренних структур относительно него.

О проекте

Проект получил название:

«Интеллектуальный AR-симулятор для обучения малоинвазивным вмешательствам под лучевым контролем». Он разрабатывается при содействии МГТУ им. Н. Э. Баумана и ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы».

Сейчас система развивается как образовательный прототип. В дальнейшем предполагается расширять набор анатомических моделей и исследовать новые сценарии применения дополненной реальности в медицинском обучении.

Для нас AR — это инструмент, который позволяет связать реальный учебный объект и цифровую медицинскую информацию в одном пространстве.

Лидер проекта — Екатерина Больгина (ВУЗ: МГТУ им. Н. Э. Баумана) E-mail: katerina.gv03@mail.ru ВКонтакте: https://vk.ru/katushas_b