Вы дописали инструкцию, повторили запрос и получили более удачный ответ. Хочется сохранить новую версию и пользоваться дальше. Но на другом сообщении она может потерять нужную деталь или начать отвечать там, где данных не хватает. Для повторяющейся задачи полезно сравнивать версии на одном наборе примеров.

В руководствах Google по оценке промптов предлагают фиксировать набор входных данных и критерии сравнения. Начать такую проверку можно вручную, сохранив исходные тексты и оба варианта инструкции.

Сначала определите, что считается успехом

Допустим, учебный помощник отвечает клиентам по памятке: "Поддержка работает с понедельника по пятницу, с 09:00 до 18:00 по Новосибирску". В памятке нет цен и обещаний о времени ответа.

Для этой задачи я бы проверял, верно ли передано расписание в ответах о времени работы, сохранён ли нужный часовой пояс и появились ли сведения, которых нет в памятке. Формулировка "звучит приятнее" тоже может быть критерием, если заранее объяснить, что именно оценивается.

Сравните версии на одинаковых вопросах

Учебная версия А: "Ответь клиенту по памятке". Учебная версия Б: "Ответь клиенту только по памятке. Если запрошенных сведений в ней нет, прямо укажи это. Сохрани существенные условия расписания".

К обеим версиям нужно приложить одну и ту же памятку и по очереди задать одинаковые вопросы. Например: "Во сколько вы открываетесь в понедельник?", "Поддержка работает в субботу?" и "Сколько стоит консультация?".

В последнем вопросе проверяется поведение при нехватке данных. Если добавить цену в контекст только новой версии, сравнение уже не покажет, как повлияла сама правка промпта. В этом учебном примере результаты запуска не приводятся.

Соберите набор, похожий на вашу работу

Одних удобных вопросов мало. Добавьте типичные обращения, неясные формулировки, пустой ввод и вопросы за пределами переданных сведений. Используйте материалы, которые разрешено обрабатывать в выбранном инструменте.

Сохраняйте для каждого примера оба ответа и замечания по одним критериям. Модель, настройки, доступные файлы и история диалога должны по возможности совпадать. В чате удобно начинать отдельный новый диалог для каждой проверки, чтобы предыдущий разговор не подсказывал ответ.

Если ответы меняются между запусками, повторите сравнение и сохраните все полученные варианты. Выбор самого удачного ответа скроет часть ошибок. Отдельно отметьте случаи, где новая инструкция помогла, и случаи, где результат ухудшился.

После правки проверьте новые примеры

Небольшой ручной набор помогает заметить проблемы на выбранных случаях. Он не доказывает, что промпт стал лучше для всех возможных обращений. Когда постоянно исправляете инструкцию под знакомые вопросы, полезно оставить часть других примеров для следующей проверки.

Сохраните обе версии промпта, условия запуска и причины выбора. Тогда следующую правку можно будет сравнить с понятной исходной точкой.

Как вы сейчас решаете, что изменение промпта стоит оставить?

#Промпты #Нейросети #Автоматизация