Что у меня с ИИ. Помогает или бесит?

Сложный вопрос. У нас сейчас стоит большая цель - ИИ-автоматизация. По-хорошему, надо научиться так ставить задачи, чтобы ИИ-агент смог полностью сделать ее от начала до конца без ручных подпинываний от разработчика.

Это скорее пока бесит, чем вдохновляет. Потому что пока ты решаешь задачу с агентом на пару (обсуждаешь каждый шаг, в любой момент можешь его направить или повернуть в другое направление) - тебе кажется, что ты всё держишь под контролем. А тебя просят написать "маршрутный лист" и вывести "в город" агента самостоятельно. Да, в конце ты его проверишь, но на маршруте у тебя нет точек контроля и чувствется беспомощность. По крайней мере, у меня пока нет уверенности что агент может самостоятельно решить что-то.

Но я заставляю себя думать на тему, а что поможет?

• Описание задач? • Описание инструментов? • Какие-то точки контроля (архитектурные тесты, линтеры и тд)?

Пока задача выглядит неподъемной, но надо двигаться в эту сторону. Сейчас задача разработчика не "написать код", а перейти на более верхнеуровневый способ решения задач: надо объяснить агенту КАК написать код, а он за тебя напишет.

Сейчас читаю материалы про харнесс, про скиллы. Коллеги пишут "test-bench" (набор типовых бизнес-задач и методы оценки решения, чтобы на этот набор натравливать агента и смотреть, как справится) - чтобы можно было тестировать обвязку агентов. Добавляешь правило, загоняешь на тест-бенч и смотришь, с новым правилом стало лучше или хуже. Но по мне это пока бессмысленная трата токенов (может я не права) и пока я со стороны наблюдающих, а не двигающих эволюцию. Хоть и в первых рядах.

Пока для меня ИИ - это собеседник, который умеет обрабатывать МНОГО информации (но без уверенности, что он всё реально прочитал и осознал🥲️️️️️️), с которым можно обсуждать задачи, проверять какие-то ограничения, искать проблемы и решения. Когда он превратится в самостоятельную рабочую единицу - не знаю.

А у вас как? ИИ как помощник? Или уже самостоятельная рабочая единица, которой можно целиком скармливать задачи и только проверять результат?