Научил ИИ писать эффективные промпты 😅
День 1. Эксперименты с применением ИИ для автоматизации тестирования.
Предыстория: стало интересно, как управлять генеративной моделью с минимальными усилиями, чтобы получать скрипты любой сложности, избегать галлюцинаций и в будущем обходиться минимальными правками. В первую очередь я исследовал три техники:
1. Semantic Gradient — движение от глобального контекста к корректному. 2. Syntactic Anchoring — форма запроса определяет поведение модели. 3. Anti-Pattern Suppression — подавление запрещённых слов или шаблонов. В моем документе навыка для ИИ их более 20.
Результаты видны на скриншотах: в процессе экспериментальной разработки ИИ самостоятельно генерирует очень точные и качественные промпты для каждого этапа. Моё участие сведено к минимуму — достаточно подтвердить или отклонить предложенный вариант.
В следующем посте подробно опишу, что именно было сделано. Две недели экспериментов прошли не зря: теперь модель выдаёт более точный и приемлемый результат, как и требовалось. Можно наблюдать, как она пишет промпт для самой себя и сразу использует его в дальнейшей работе.
Фактически я создал небольшой набор правил, на который ИИ строго опирается при составлении промптов в зависимости от направления задачи: разработка автотестов, написание тест-кейсов, подготовка документации и так далее.
· 04.07
А как вы решаете потерю контекста? Человек, отдавая задачу другому сталкивается с проблемой — поверхностность понимания что происходит, как устроено, что уже сделано, что ещё нужно сделать?
Как контролируете результат и какие метрики используете?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 04.07
В документе который отдаю ИИ на одном из этапов описал условия, что ИИ создаёт JSON файл с контекстом после каждого этапа разработки, и в случае если забывает что было сделано, обращаться к файлу читать его, и продолжать работу)
пока экспериментирую, попросил ИИ написать плагин для Pytest, оставил на ночь, как только проверю что получилось, напишу пост)
и выложу документ с помощью которого обучал ИИ писать самой себе промпты и контролировать этапы доработатки без потери контекста, то есть получилось так:
1. Этап + Промпт самой себе + json файл с контекстом разработки и работы)) подумал что если в Agile есть Дейли где рассказывают все, что сделали, и что будут делать, решил этот же процесс создать для ИИ, не уверен что Json файл эффективное решение, со временем найду другом способ)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 04.07
А вы как держите себя в контексте? Это же не простое делегирование от человека человеку, это делегирование от человека машине, делегирование неполное.
Ответственность остаётся за человеком, а если потерять контекст, то как можно отвечать за то, о чем понятия не имеете или имеете лишь частичное понятие?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 04.07
Все заранее описано) до начала работы я пишу спеку - чего я хочу получить, сейчас проверяю что ИИ сделал за ночь.
На короткой дистанции все ок, работает, что я точно понял, чтобы создать норм промпт или спецификацию как на скриншоте, нужно понимать те инструменты которые используются в работе, я знаю Python, Pytest и базы данных, что и помогает мне ставить задачу ИИ так, чтобы все было нормально)) весь “мой” контекст задокументирован максимально подробно)
Попозже дам ИИШке задачу по сложнее и масштабнее, кстати, хранить контекст в yaml файле оказалось выгоднее, меньше токенов тратиться на запись и чтение, так как чтение файла идёт командой grep )
Как понял, у вас есть запрос на самоконтроль во время разработки с ИИ?) поэтому спросили?)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 04.07
Нет, я вижу проблему, которую пока никто не описал, как обойти: потеря экспертизы теми, кто активно делегирует рутину нейросетям.
На короткой дистанции да, эффект нулевой.
Но на длинной – вы превращаетесь из исполнителя в надзирателя.
А это другая роль с другой зоной ответственности и с другой экспертизой.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 04.07
Деградация навыков происходит, 100% мозг перестает напрягаться и наращивать навыки)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён