Большая модель не всегда лучше маленькой. Мы проверили✔️
Полгода тестировали открытые ИИ-модели на собственной инфраструктуре и выяснили, почему публичным рейтингам не всегда стоит доверять. Конечно, теперь делимся — Анастасия Рождественская, руководитель комплексных проектов отдела ИИ, опубликовала статью с итогами нашего эксперимента.
Рассказываем краткие выводы: 🟣 Модель на 27 млрд параметров почти сравнялась с моделью на 284 млрд — 79,1% против 79,6%. При этом большая тратила на задачу вдвое больше времени. 🟢 Одна и та же модель на разных настройках показала от 71,6% до 79,6% успешных решений. 🟣 Специализированная модель для кода справилась всего с 28,9% задач, но оказалась полезной для быстрых подсказок в редакторе.
И это ещё не всё. Оказалось, что даже повторные запуски одной модели дают разные результаты, а высокий средний балл может скрывать серьёзные проблемы с отдельными языками программирования.
Главный вывод: выбирать ИИ-модель только по месту в лидерборде — плохая идея. Важнее то, как она работает на ваших задачах, с вашими настройками и в вашей инфраструктуре.
Как мы проводили тесты, какие гипотезы не подтвердились и к каким выводам пришли — рассказали в новой статье на Хабре.
