Как разорвать петлю самооправдания LLM
Context Isolation **Суть метода** LLM страдают **инерционным искажением (inertia bias)**: они подсознательно защищают свои же прошлые действия, даже если те ошибочны. **Context Isolation** ломает этот паттерн, отделяя момент проверки от истории рассуждений. Модель оценивает «чистые» факты как независимый наблюдатель, а не как автор, мгновенно замечая ошибки, которые в обычном диалоге она бы проигнорировала.
**Как это работает** Изоляция применяется в двух критических точках: 1. **Фильтр поиска:** Агенту показывают только «сырые» результаты (абстракты) без истории его же поискового запроса. 2. **Пошаговая верификация:** Финальная цепочка рассуждений разбивается на шаги (A→B→C). Каждый переход проверяется изолированно, без опоры на «авторитет» предыдущего шага.
**Ключевые выводы** На бенчмарках веб-агентов (GAIA, BrowseComp) метод показал SOTA-результаты, но **сэкономил 33% токенов** за счет раннего отсечения нерелевантных страниц. Эксперимент подтвердил: модель корректно отбрасывает ошибочные результаты, если подать их как «посторонний» текст, но упорно защищает их, если видит, что запрос генерировала сама.
**Пример применения** *Задача:* Проверить утверждение «Выручка стартапа X выросла на 300%» для due diligence. *Действие:* Не спрашивайте модель «Прав ли мой вывод?». Откройте **новый чат** (это и есть максимальная изоляция), вставьте только факт и найденные источники, и попросите выступить в роли независимого аудитора.
**Шаблон промпта** Вот утверждение и источники, на которые оно опирается: Утверждение: «{утверждение}» Источник 1: {цитата/данные} Источник 2: {цитата/данные} Ты — независимый аудитор, который не участвовал в подборе этих источников и не видел, как формулировалось утверждение. 1. Разбей вывод на цепочку логических шагов: A → B → C. 2. Проверь каждый переход отдельно. Не считай шаг верным только потому, что предыдущий выглядит правдоподобно. 3. Укажи конкретно, где логика рушится (если рушится). 4. Дай вердикт: «Все шаги подтверждены» или «Найдены проблемы: [список]».
**Границы применимости** * **Полезно:** Фактчекинг, работа с цифрами, статистикой, сложными логическими цепочками и веб-серчингом. * **Бесполезно:** Субъективные оценки, креатив, стилистика. * **Ограничения:** В ручном режиме требует тщательной «очистки» контекста (удаления фраз вроде «я решил», «на основе моего поиска»). Метод снижает риск когнитивного искажения, но не гарантирует полного устранения галлюцинаций.
Номер исследования: 2608.23045. Поддержать проект донатом: Сбер 2202 2084 9881 5282. Заранее спасибо.
· 02.09
узнаю эту ловушку и в ресёрче перед B2B-заходом: если гонять модель по одному и тому же промпту, она начинает тянуть прошлые выводы о компании как данность, даже когда там уже сменился директор или продукт. У меня досье собирается каждый раз с чистого листа — кто сейчас решает, что происходит в компании прямо сейчас, без оглядки на прошлый запуск. Вы как разруливаете, когда модель упирается в старую логику — переформулируете задачу или чистите контекст полностью?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён