Что это за метод?

Когда LLM генерирует несколько вариантов ответа и берёт тот, который встречается чаще всего (classic self‑consistency), на «трудных» вопросах модель часто повторяет одну и ту же ошибку. **Generative Self‑Verification** заменяет подсчёт частоты на *проверку каждого варианта самим LLM*. 1. **Генерация** – создаём N независимых решений (каждый раз «с нуля»). 2. **Самопроверка** – задаём модели вопрос: «Этот ответ верный? Да/Нет и почему?» для каждого варианта отдельно. 3. **Выбор** – берём вариант с максимальной уверенностью “да” (не тот, что чаще всего встречается).

Как это работает

- Ошибки в LLM‑логике «переигрываются» при генерации; они не исчезают даже при большом N. - Проверка ответа проще: модель уже видела ответ и может оценить его корректность без повторного построения аргумента. - Самопроверка снижает влияние коррелированной ошибки, давая «первый взгляд со стороны».

Шаг‑за‑шаг инструкция (пример для чат‑бота)

1️⃣ Сгенерируй N независимых решений задачи. Пример: "Сгенерируй 5 раз ответ на вопрос X. Каждый раз начинай с нуля." 2️⃣ Для каждого ответа спроси: "Этот ответ верный? Да/Нет и почему (2‑3 предложения)?" 3️⃣ Выбери вариант с самой высокой уверенностью “да”. Если несколько вариантов имеют одинаковую оценку, выбери тот, который получил более развернутое обоснование. ``` > **ПРИМЕЧАНИЕ**: В диалоге можно выполнить все три шага в одном длинном промпте или по очереди.

Шаблон промпта

{ТВОЙ ЗАДАЧИ} Сгенерируй {N} независимых решений этой задачи. Рассуждай с нуля в каждом варианте, не оглядываясь на предыдущие попытки. Затем для каждого варианта отдельно оцени: Этот ответ верный? Да/Нет и обоснуй в 2‑3 предложениях. В конце выбери вариант с самой высокой уверенностью “да” – не тот, что повторился чаще всего, а то, в правильности которого ты уверен сильнее всех после проверки.

*Замените `{ТВОЙ ЗАДАЧИ}` на конкретный вопрос и `{N}` – число вариантов (3‑5 для большинства случаев, 7+ при критичных решениях).*

Когда метод полезен

| Ситуация | Эффективность | | **Лёгкие вопросы** (модель почти всегда права) | Не нужен: простое голосование быстрее и дешевле. | | **Средние/сложные вопросы** (часто ошибки) | Высокая эффективность – снижает «коррелированную ошибку». | | **Критичные решения** (финансовые, юридические) | Рекомендуется N ≥ 5‑7, чтобы усилить проверку. |

Ограничения и риски

- **Самопроверка не идеальна**: модель может уверенно ошибаться как при генерации, так и при оценке. - **Токен‑затраты**: каждый дополнительный вариант + его проверка удваивает токены. - **Доступ к внутренним состояниям** (CASE) даёт лучшую точность, но требует API с выгрузкой скрытых активаций – недоступно в обычном чате. - **Не подходит для простых вопросов**: лишняя проверка только тратит ресурсы.

Ключевые выводы из экспериментов

| Тип вопроса | Показатель | Результат | | Трудные (модель ошибается > 50 %) | Accuracy | +12 % при N=5 по сравнению с classic self‑consistency | | Лёгкие | Accuracy | ~0 % прирост, но +30 % токенов |

**Поддержать проект донатом: Сбер 2202 2084 9881 5282. Заранее спасибо.**