GPQA бенчмарк или кто ты без ответов
Суть метода простая:
- генерить вопрос и 4 варианта ответа
- затем варианты ответа убирают и просто заставляют модель ответить на тот же вопрос
- сравнивают варианты ответов и смотрят на сколько хуже/лучше стало
Из картинки можно заметить лидеров и тех, кто сильно проседает, если не давать варианты ответа