🧩 EL‑DGR: как заставить LLM не «переубеждать» себя, а доказывать факты

Когда LLM выбирает лучший ответ из нескольких, она часто путает убедительность с истинностью. Модель-«судья» может выбрать красивый, но неверный вариант, просто потому что он звучит логично.

Метод EL‑DGR (Evidence‑Locked Derive‑Gate‑Repair) решает это жёстким правилом: выбирать только то, что подтверждено буквальной цитатой из источника. Если цитаты нет — модель честно говорит: *«недостаточно доказательств»*.

🔍 Как работает EL‑DGR (по шагам)

1. Генерация кандидатов – модель выдаёт N независимых ответов (обычно 3). 2. Сертификация – для каждого ответа ищем точную цитату в источнике. Если есть → помечаем «подтверждён», нет → «не подтверждён». 3. Консенсус – определяем, какой ответ встречается чаще всего. 4. Правило выбора (строгая иерархия): • Если консенсус подтверждён → выдаём его. • Если консенсус не подтверждён, но другой кандидат подтверждён → выдаём этот подтверждённый вариант вместе с цитатой. • Если никто не подтверждён → генерируем новый ответ, проверяем его. Если и он без цитаты → отвечаем «недостаточно доказательств».

📄 Пример: договор аренды

Источник: текст договора. Вопрос: какая неустойка за просрочку арендной платы?

Шаг 1 – Кандидаты: • Кандидат_1: 5% • Кандидат_2: 10% • Кандидат_3: 7,5%

Шаг 2 – Сертификация: • Кандидат_1 – не подтверждён • Кандидат_2 – цитата: *"Неустойка за просрочку составляет 10% от арендной платы"* • Кандидат_3 – не подтверждён

Шаг 3 – Консенсус: нет единого мнения (все разные).

Шаг 4 – Выбор: консенсус не подтверждён, но Кандидат_2 подтверждён → финальный ответ: 10% с цитатой.

🧾 Шаблон промпта для внедрения EL‑DGR

> *Источник/документ: {текст}* > *Вопрос: {вопрос}*

> Шаг 1 — Кандидаты: > Дай {N} независимых попыток ответить на вопрос, используя только текст источника. Назови их Кандидат_1, Кандидат_2...

> Шаг 2 — Сертификация: > Для каждого кандидата проверь наличие буквальной цитаты в источнике. Приведи цитату или отметь «не подтверждён».

> Шаг 3 — Консенсус: > Найди ответ, который повторяется у большинства.

> Шаг 4 — Правило выбора (строго по порядку): > • Консенсус подтверждён → верни консенсус. > • Консенсус не подтверждён, но другой кандидат подтверждён → верни его с цитатой. > • Никто не подтверждён → генерируй новый ответ и проверяй. Если всё равно нет цитаты – «недостаточно доказательств».

*Параметры:* {N} обычно = 3, {текст} и {вопрос} обязательны.

⚖️ Когда метод полезен, а когда нет

✅ Полезно: • Задачи с проверяемыми фактами (договоры, отчёты, научные статьи с конкретными цифрами). • Когда нужна прозрачность — клиент хочет видеть источник ответа. • При ограниченном числе токенов, но с высокими требованиями к надёжности.

❌ Бесполезно: • Творческие или субъективные задачи (оценка стиля, генерация идей) — цитат там нет. • Если все кандидаты изначально неверны — EL‑DGR только выбирает среди них, но не исправляет ошибки. • При слишком строгом требовании «только точная цитата» можно потерять корректные пересказы.

📊 Ключевые выводы из экспериментов

• На бенчмарках GSM8K и HotpotQA EL‑DGR превзошёл простое голосование большинством на ~10% точности. • Судья с «полной властью» (без ограничений) работал хуже. • Самый сильный эффект даёт именно ограничение переопределения консенсуса только при наличии доказательства. • Разделение критериев (логика/факт/уверенность) не помогает как обучающий сигнал — работает только как фильтр допуска.

🚫 Чего делать НЕ надо

• Суммировать все критерии в одну оценку — это ведёт к ошибкам. • Переопределять консенсус без цитаты — теряем надёжность. • Использовать метод для задач, где нет точных фактов — результат будет бессмысленным.

📎 Исследование 2608.07813