Я попросила Codex тщательнее проверять свою работу. Через некоторое время она почти перестала работать.

Мы собирали большой отчёт по прайсам. Codex иногда ошибалась, а я постепенно добавляла правила: после изменения данных проверить результат, после сохранения Excel убедиться, что файл не сломался, после исправления правила пересчитать всё заново.

Система становилась надёжнее. И медленнее.

В какой-то момент в отчёте нашлись три строки, которые система не узнавала. Причина была страшная: в ключе стояло «ТБА 1л», а в исходных данных — «тба 1л».

Codex исправила регистр.

А затем запустила полный пересчёт 6 196 строк у 37 поставщиков.

Так было написано в правилах: после изменения пересобрать свежий результат и проверить его целиком. Поэтому за один эпизод полный пересчёт запускался четыре раза. Один прожил 120 секунд и умер по тайм-ауту. Три завершились. Весь ход занял час двадцать. Молчу про токены.

Одна из проверочных пересборок заодно затёрла пустым шаблоном 14 уже принятых решений. Их пришлось восстановить из резервной копии и снова проверить.

В какой-то момент проверка начала сама создавать себе новую работу.

Проблема была не в строгости контроля. Без проверок мы получили бы красивый Excel с неизвестным количеством тихих ошибок.

Мы подробно описали, что проверять, но не определили, когда нужна полная проверка.

Для человека масштаб обычно подразумевается. Исправила три строки — проверила три строки. Изменила общую формулу — проверила всё, что от неё зависит. Закончила этап — провела полную приёмку.

У агента этой неявной меры не было. Он видел слово «проверить» и выбирал самый безопасный вариант: проверить всё. На всякий случай. Четыре раза.

Мы поменяли ритм:

— после маленькой правки проверяем изменённые строки и результат; — после однородной пачки — затронутые связи; — после этапа — весь его результат; — полный файл открываем перед отправкой готового отчёта.

Полная проверка осталась. Она просто перестала приезжать на исправление регистра в трёх строках комиссией из 37 поставщиков.

Я включила проверки, чтобы Codex меньше ошибалась. Она действительно стала меньше ошибаться.

В основном потому, что между проверками ничего не успевала сделать.