605 смертей за 27 часов, и задача всё равно сделана
Утром открываешь журнал ночного прогона, а там сотни красных строк. Агент падал, начинал заново, снова падал. И всё-таки дошёл до результата. Что в такой картине считать экономией?
Хорошо это видно на одном эксперименте. Четыре ИИ-агента прошли Minecraft за 27 часов 14 минут, и после запуска человек не вмешивался. Умерли они при этом 605 раз.
Задача. Проверяли способность довести длинную цепочку действий до конца, пока агенты ошибаются. По форме это то же, что разбор звонков или сборка отчётов: много шагов, у каждого своя цена ошибки.
Что было в цифрах. 4 агента, 605 смертей, один прогон.
Что сделано. Построили цикл, который не даёт смерти пропасть зря. Каждую ошибку агенты превращали в запись, и следующая попытка эту запись читала.
Что стало в цифрах. Игра пройдена, но условия были мягче реальных. Поэтому 605 я читаю как цену процесса и на свои задачи эту цифру не переношу.
Что сделал бы иначе. Падения считал бы частью цены, а экономию вычислял по формуле: время на задачу руками минус время на проверку и починку, умножить на число прогонов и вычесть то, что ушло на сборку и поддержку.
Честная оговорка. Такие вопросы я разбираю на примере VoiceIQ (ИИ-ОКК для застройщиков), но замеров экономии по нему у меня нет, и изображать их я не буду.
Кому подходит. Тем, у кого задача состоит из длинной цепочки повторяемых шагов и между попытками можно хранить память об ошибках. Три признака того, что задачу рано отдавать агенту, я разобрал по шагам здесь: ИИ-агенты в Minecraft умерли 605 раз: сколько времени это экономит
Живые примеры я складываю в витрину кейсов
А сколько в вашем журнале ночных прогонов красных строк, которые следующая попытка так и не прочитала?
· 20.10
А в итоге он просто "заMockал" чтобы выдать результат :)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён