0 способов выжать из LLM максимум
Умные люди говорят, что промт инжинеринг – уже в прошлом, и надо заниматься контекст инжинерингом.
Одна и та же модель выдаёт кардинально разный результат, если ей подать контекст правильно. Даже мем появился про вырезанную не с той стороны почку и ошибку чатбота "ой, вы совершенно правы, сейчас вырежу с другой стороны"
Так вот, однажды устав в очередной раз перепроверять аутпут – я начал пользоваться трюками из промт-инженерии: угрожать, давить, манипулировать.
Но подойдя к делу серьёзно, я провёл исследование на основе свежих академических ресерчей – разобраться, что работает, а что нет.
Что НЕ работает: – "Think step by step" – в 2026 многие модели уже думают сами, фраза только шумит – "Score yourself harsher" – LLM переоценивают свой аутпут на 21.6% (доказано). Давить на совесть бесполезно – Копить историю правок в контексте – ETH Zurich доказал: -3% качества, +20% стоимости, и контекстное окно замусоривается – Просить переписать всё целиком = максимальный риск регрессии. Теряются факты, ломаются связи – Больше 3 проходов улучшения – после третьего прохода качество падает, self-bias нарастает с каждой итерацией
10 способов, которые работают:
1. Сначала решите – нужно ли вообще улучшать, и что именно. Исследование MAgICoRe (EMNLP 2025): если тупо улучшать всё подряд – хорошие ответы деградируют. Как бы база, но мы привыкли дрочить модель чтобы она сама разобралась во всем.
2. Дайте модели чеклист ДО генерации, а не после. Явные критерии успеха перед стартом = +8-11 пунктов качества на бенчмарках.
3. Критикуйте не от своего имени. Self-preference bias – реальная штука. Модель, оценивая свой же текст, завышает оценку до 21%. Просите её перевоплотиться в строгого ревьюера, который этот текст видит впервые. Звучит как ролевая игра – но это единственный доказанный способ обойти встроенное нарциссическое расстройство LLM.
4. Правьте точечно. Полный рерайт с нуля – почти всегда плохая идея. Теряются факты, рвутся ссылки, пропадают нюансы. Говорите модели что именно починить, а рабочие куски не трогайте.
5. Фиксируйте что было ДО правки. Попросите модель перечислить все ключевые факты, числа и имена в тексте перед тем как что-то менять. После правки – сверьте. Что-то пропало? Откатывайте. Не зря программисты пользуются версионированнием)
6. Спросите модель "а что здесь может быть неправильно?" Confirmation bias добавляет +25.9% ошибок когда его не контролируешь. Модели обучены соглашаться и поддерживать. Один вопрос "try to prove this wrong" – и качество аргументации резко подскакивает.
7. Чистите контекст между проходами. Если просите переделать уже второй-третий раз – не тащите в промпт всю историю обсуждений. Сожмите до сути: "вот текст, вот 3 конкретных проблемы, вот что поменять". Иначе модель вязнет в собственных предыдущих рассуждениях.
8. Максимум 3 прохода. Качество растёт первые 1-3 итерации. Дальше self-bias нарастает, модель начинает полировать полировку и терять суть. Если после трёх проходов не устраивает – проблема не в количестве проходов, а в том что модели не хватает информации от вас
9. Скажите для кого этот текст и что они спросят первым делом. "Это читает инвестор, он спросит что с конкурентами и рынком" – и модель сама подтянет аргументацию. Без этого контекста она пишет сразу для всех, ну и качетсво получается соответствующее.
10. Управляйте контекстом! Тупо записывайте все важное, а затем делайте выжимку и распихивайте по .md файлам внутри проектов. Чем больше у модели инфы – тем точнее выдача.
Я упаковал это всё в скилл – его легко добавить в ваш клод, курсор или кодекс. Enjoy
А для задротов – в комментах прикреплю полновесные исследования всех способов улучшить или ухудшить аутпут агента
