Feedback That Backfires arxiv

Контринтуитивный вывод в статье. Де-факто в harness-решениях в рамках react цикла при возникновении ошибок обычно ошибочный вызов кладут в контекст и говорят, что его нужно исправить. У авторов добавление такого контекста увеличивало вероятность повторной ошибки с 6% до 54% (эффект наблюдался на всех протестированных моделях, но это были небольшие модели, до 1,7B).

Причем в попытке выяснить почему оказалось, что сам факт видения похожей строки увеличивает вероятность ее повторения, а добавление информации о том, что она завершилась ошибкой, дает небольшой дополнительный эффект. Причем эффект наблюдается для всех исследованных типов ошибок.

Решение: нужно просто перефразировать ошибочное место. В больших моделях, предположительно, примерно с 38B эффект нивелируется, но это пока только их экстраполяция

Хотя в статье Outcome Monitors: Recovery Affordances for Silent Tool Failures предлагают в сообщение об ошибке добавлять информацию о том, как именно решить проблему через указание recovery tools. Тогда доля успешных решений растет с 10% до 28%.