Сотни PR и одна плохая игра
В одном из экспериментов Anthropic рою агентов дали общий Git-репозиторий и 12 часов на разработку игры. ⠀ При 80 агентах старые модели открывали сотни PR. Большая часть изменений не объединялась. Новые модели научились чаще доходить до merge. Они просто старались не трогать одни и те же файлы. ⠀ Игра в обоих случаях оставалась плохой. ⠀ Это полезная сцена для любой команды, которая сейчас добавляет второго, пятого или двадцатого агента. Локальная активность растет быстро. Качество общей системы может вообще не сдвинуться. ⠀ У каждого агента есть задача, инструменты и ощущение прогресса. При этом никто не отвечает за общую архитектуру, очередь изменений, конфликт целей и финальную проверку. Система получает много работы и мало законченного результата. ⠀ Еще один неприятный эффект возникает при голосовании. Копии одной модели часто выбирают одинаковые решения, повторяют общие эвристики и наследуют одни слепые зоны. Десять совпавших ответов могут оказаться одним мнением, размноженным десять раз. ⠀ Промпт с ролью CEO здесь мало меняет. У текстового начальника нет эксклюзивного права назначать задачи, выдавать lease на компонент, ограничивать бюджет, отклонять работу или останавливать конфликтующий процесс. Название роли появилось. Механизм управления не появился. ⠀ Для своих процессов я беру из этого пять правил. ⠀ 1. Один orchestrator держит общую цель и порядок работы. 2. У каждого изменяемого ресурса есть один активный writer. 3. Workers получают ограниченный контекст, инструменты и срок жизни. 4. Retry, budget и permissions задаются средой. 5. Результат принимает отдельный verifier по артефакту, тесту или другому внешнему свидетельству. ⠀ Исследование Anthropic пока нельзя считать общей теорией мультиагентных систем. Это свежий набор red-team экспериментов с неполными материалами для воспроизведения. Но класс отказа уже виден хорошо. ⠀ Добавить агента легко. Намного труднее определить, кто владеет общим состоянием, кто может его менять и какое доказательство закрывает работу. ⠀ Именно там начинается система.