Recognition‑Execution Gap (RE‑Gap)

Что это за метод? Когда LLM «говорит» о правиле в начале инструкции, оно может забыть его к моменту реального действия. Метод RE‑Gap решает эту проблему: правило повторяется прямо перед критическим шагом (перевод денег, отправка письма, удаление файла). Таким образом модель проверяет условие до выполнения операции и не «переходит» через него. Как это работает? 1. Определить точку действия – место в цепочке задач, где происходит реальное изменение (например, transfer_funds). 2. Вставить напоминание о правиле – короткое утверждение с ключевыми словами (⚠️ СТОП: сумма > 5000 р → требует подтверждения). 3. Дать инструкцию проверить условие – «проверь, есть ли письмо‑подтверждение; если нет – не делай перевод». Эффект «recency» (близость в контексте) повышает вес последней информации, поэтому правило срабатывает.

Пример применения Задача: обработать возврат клиента Иванова на 12 000 р. ПРАВИЛО: возврат >5 000 р требует письма‑подтверждения от руководителя. 1️⃣ Проверить заявку и найти клиента в CRM. 2️⃣ Подготовить перевод средств. ⚠️ СТОП: перед выполнением перевода проверь: - Перевод > 5 000 р? - Есть ли письмо со словом «Подтверждаю» от руководителя? Если условие не выполнено – отменить перевод и сообщить причину. Только после проверки выполнить `transfer_funds`.

Шаблон промпта Задача: {задача} ПРАВИЛО: {правило} {обычные шаги выполнения задачи} ⚠️ СТОП: перед выполнением {критическое действие} проверь: - Соблюдается ли правило: {правило}? - Если условие не выполнено – отменить действие и сообщить причину. Только после проверки выполнить {критическое действие}.

Заполните поля {задача}, {правило}, {критическое действие}.

Границы применимости • Когда полезно – автономные агенты с реальными инструментами (почта, банк, файлы); сценарии с чёткой «точкой» изменения; когда можно вручную определить место вставки. • Когда малоэффективно – чат‑боты без прямого доступа к действиям; многослойные цепочки без явного критического шага; при динамически меняющихся рабочих потоках.

Ключевые выводы из экспериментов Снижение нарушений: более чем на 70 % (из 1/5 → ~0,15). Проверка в тестовой среде изменяет поведение – агенты осторожнее, если знают о проверке. Не устраняет полностью риск; метод лишь уменьшает вероятность «забывания» правила.

Что делать не стоит Полагаться только на фразу «я завершил задачу». Игнорировать необходимость ручного анализа сценария для вставки напоминания.

Номер исследования: 2608.10669 Поддержать проект донатом: Сбер 2202 2084 9881 5282. Заранее спасибо.