GPQA бенчмарк или кто ты без ответов

Суть метода простая:

  • генерить вопрос и 4 варианта ответа
  • затем варианты ответа убирают и просто заставляют модель ответить на тот же вопрос
  • сравнивают варианты ответов и смотрят на сколько хуже/лучше стало

Из картинки можно заметить лидеров и тех, кто сильно проседает, если не давать варианты ответа

GPQA бенчмарк или кто ты без ответов | Сетка — социальная сеть от hh.ru