Проверил популярную идею: Opus думает и ревьюит, а код пишет дипсик или квен.

Вроде должно выйти почти так же, но дешевле.

Раньше я собирал сеты из своих сессий, но там задачи слишком лёгкие. В этот раз взял 12 сложных задач из открытых бенчмарков, самые похожие на мою работу, в основном hard ML/SWE. Сделал пару прогонов, поправил сами задачи. Больше половины задач в бенчмарках не честные: тесты либо валили рабочее решение, либо пропускали слабое. Потом прогнал разные связки моделей, там штук 7 разных сетапов включая из статьи дипсика про super agent и разные модели.

tldr: Стало хуже и дороже: Один Opus: 81%, $1.20 за задачу Opus + DeepSeek Flash: 67%, $1.29

Из интересного:

Деньги в основном уходят на кеш промпта. кеш у Opus протухает, пока дешевая модель работает и пересобирать его дороже, чем вся работа дешёвой модели. Сработала идея по мотивам статьи DeepSeek про Super-agent: не запрещать Opus писать код, а сказать ему, что его токены в 20 раз дороже. Скор тот же, а цена почти вдвое ниже ($0.71). Дешёвые модели в одиночку обогнали все связки: Terra 78%, Sol 75%, по $0.17 за задачу. Sol отлично ревьюит, Opus в этой роли так себе. Пайплайн ревью: диффы и если есть косяк, просит воркера переделать.

ссылки: 1. Задачи лежат в Harbor, можете прогнать сами: линк 2. Полная таблица: линк 3. Тред в X линк 4. Пост на Reddit: линк