Обещают x100, а выходит 8,5%

Замечаю, что каждую неделю выходит новый «волшебный» репозиторий для ИИ-агентов: Caveman, RTK, Headroom, очередная память или сокращатель контекста. Обещания похожие: дешевле, быстрее, x100 к продуктивности. Люди смотрят на звёзды на GitHub, ставят и радуются, что запустилось.

Потом кто-то берёт и нормально тестирует. JetBrains прогнали Caveman (скилл, который пишет ответы модели коротким «пещерным» стилем ради экономии токенов) на своём бенчмарке: около 8,5% экономии вместо обещанных 65%, и это ещё с принудительно включённым скиллом. RTK и Headroom тоже проверяли на реальных сессиях Claude Code: 0,5% и 2,8% экономии, а в тесте JetBrains RTK вообще сделал задачи на 7,6% дороже. Эффект есть, но совсем не того масштаба, что обещают в README.

А токены, кажется, уходят вообще не туда. Не в код, а в поиски. Половину сессии агент не делает задачу, а ходит по проекту: grep, find, конфиг, utils и ещё 10+ файлов, потому что не понимает, где находится. На больших проектах это десятки тысяч токенов. Потом пишут, что Claude сегодня тупой, а лимит сгорел за ночь.

Я сам почти каждый день сижу в Cursor и постоянно пробую хаки, rules и разные подходы. Пока сильнее всего ускоряют скучные вещи: нормальные rules, AGENTS.md, документация проекта, понятная архитектура и задача. Если бы какой-то хак правда давал x100, он бы через пару недель появился в Cursor или Claude Code как встроенная фича.

Так что я бы меньше гнался за «секретным репозиторием» и больше занялся устройством своего проекта.

А вы какой хак пробовали? Сработал?

Обещают x100, а выходит 8,5% | Сетка — социальная сеть от hh.ru