Давеча, в Университете Карнеги-Меллон создали IT компанию с ИИ-агентами в качестве работников. Посадили их в вирт. среду и обязали делать все то, что делают it software работники (от кодинга до взаимодействия в мессенджере).

Оценки моделей можете увидеть на картинке. Оценивали выполнение задач с учетом стоимости по токенам. Даже лучший Claude 3.5 Sonnet справляется только с четвертью базовых обязанностей. Следующум идет Gemini 2.0 Flash - 11.4%.

В общем, кто волновался - можете продолжать спокойно работать. До полной замены ещё далеко. А бенчмарк интересный, будем за ним следить.

За подробностями сюда: Статья - https://arxiv.org/pdf/2412.14161 Сайт - https://the-agent-company.com/