Замечаю, что промпт у агента чаще всего правят так: поменяли пару строк, прогнали один-два примера, посмотрели глазами. Вроде стало лучше, значит, оставляем. Пост для тех, кто собирает продукты на агентах и правит им промпты.

Чтобы не гадать, я собрал себе небольшое сравнение прогонов. Оно берёт две версии промпта и один и тот же зафиксированный набор кейсов. Если в кейсе поменялся результат «прошёл / не прошёл» или оценка по дизайн-системе сдвинулась на 10 баллов и больше, кейс попадает в «лучше» или «хуже».

Пока это демо: 16 записанных кейсов, модель при сравнении не вызывается. Итог по новой версии промпта такой: 6 кейсов лучше, 2 хуже, 8 без изменений.

Мне интересны как раз эти два «хуже». Если бы я смотрел только на общее впечатление, я бы увидел шесть улучшений и порадовался. Два ухудшения потерялись бы среди них и всплыли бы потом, уже в работе.

Мне кажется, промпт давно стал таким же кодом, как всё остальное в продукте. Код без тестов выкатывать уже неловко. Промпт по-прежнему часто правят на ощущениях. При этом от него зависит, какой интерфейс соберёт агент и попадёт ли он в дизайн-систему.

Что я бы забрал из этого себе: • держать один набор кейсов и не менять его между версиями • смотреть ухудшения так же внимательно, как улучшения • хранить старую версию промпта рядом, чтобы было с чем сравнить

Честно, набор пока маленький, и 16 кейсов ничего не доказывают в целом. Но даже на нём видно, что у «стало лучше» бывает своя цена.

А вы как проверяете, что новый промпт не сломал старое?