Хорошего промпта мало.
Сегодня выступала на внутреннем митапе Альфа Банка.
Рассказала коллегам, что на самом деле меняется, когда в тестирование приходят AI-агенты.
Доклад построен на трёх наших ошибках, которые мы совершили.
1⃣ Написали «идеальный» промпт. Агент сам его проверил и подтвердил: всё учтено. А потом пропускал вопросы, додумывал контекст и выдавал убедительный, но не тот результат. Вывод: самопроверка агента — не доказательство. Нужна архитектура: скиллы и маршрутизатор вместо одной большой инструкции.
2⃣ Мы решили, что агент будет быстро писать тесты, а нам останется только проверить. Ручное ревью съело весь выигрыш. Вывод: проектировать нужно не только задачу, но и проверяемую форму результата — эталоны, порядок приёмки, фикстуры.
3⃣ Были абсолютно уверены, что одного запуска со скиллами и критериями достаточно. Не тут-то было. Вывод: Внедрили петлю Ральфа и поняли, что автономность появляется не тогда, когда человек исчезает, а когда его экспертиза встроена в контур обратной связи.
И главное, к чему мы пришли: агент — не код. Одинаковый вход не даёт одинаковый выход, и это не баг, а свойство. Поэтому квалификация специалиста не исчезает — она смещается в постановку задачи и доказательную приёмку.
На слайдах шесть приёмов, которые работают даже в обычном чате с AI.
Открытый вопрос, который я оставила слушателям и оставляю вам: где специалист будет приобретать эту квалификацию, если работу делает агент?
