Ученые из AIRI, НИУ ВШЭ и Constructor University представили бенчмарк GeomMotif для оценки способности ИИ-моделей работать с геометрией белковых структур
Он включает 57 задач и позволяет выявлять, на каком этапе модели допускают ошибки. Работа представлена на конференции ICLR в Рио-де-Жанейро.
Задача бенчмарка — проверить способность модели достраивать белок вокруг заданного структурного фрагмента с сохранением его точной 3D-геометрии. Ранее отдельного инструмента для такой оценки не существовало. В GeomMotif фрагменты отбираются по геометрическим и физико-химическим свойствам, а не по функции, что критично, поскольку даже отклонение на один ангстрем может резко снизить вероятность успешного проектирования.
В тестировании участвовали 10 моделей двух типов: работающие напрямую со структурой (RFdiffusion, Genie2, La-Proteina, Protpardelle-1c, FrameFlow, RFdiffusion2) и генерирующие последовательности (ESM3 и DPLM). Лидерами стали структурные модели Genie2, La-Proteina и RFdiffusion, последовательностные модели уступили более чем на порядок.
Результаты показали, что при почти полном прохождении функциональных бенчмарков лучшая модель набирает лишь 40 из 100 на GeomMotif. Наиболее сложными оказались задачи с несколькими фрагментами и двумя мотивами.
‣ Подробности в релизе**.
‣ Данные для бенчмаркинга, скрипты для построения задач и код для оценки доступны на** GitHub и HuggingFace.
💬 MAX | 💬 TG | 💙 VK |🔗Сайт🎁 Розыгрыш для Boost-еров
В этом посте были ссылки, но мы их удалили по правилам Сетки
