Довольно типичная ситуация: вы собрали систему из, скажем, трех агентов: планировщик разбивает задачу, программист пишет код, ревьюер проверяет. Задача - простая, но результат на выходе - неверный. Вы открываете логи и видите, что планировщик передал программисту краткое резюме, а в нём потерялось одно ограничение. Далее программист честно решил не ту задачу. В конце ревьюер проверил код на соответствие резюме, а не исходному запросу и всё одобрил. Каждый агент по отдельности работал "правильно", но система в целом провалилась.

Что вы делаете дальше? Скорее всего, правите промпт или меняете модель на более мощную, или добавляете ещё одного ревьюера. Я предлагаю сначала задать вопрос: что в организации этой системы сделало такой провал возможным?

Тезис: Мультиагентные системы ломаются так же, как ломаются организации

Это значит, что и диагностировать их нужно так, как диагностируют организации. Это не метафора ради красоты: социология больше ста лет изучает, как группы акторов с ограниченной информацией, разными ролями и общими целями координируются, теряют и находят смысл, застревают в процедурах и приходят к ложному согласию. У неё есть язык и методы для этого, но инженерия агентов пока собирает их с нуля.

Почему отладка как в софте не работает?

Классическая отладка опирается на три допущения: - детерминизм (тот же вход даёт тот же выход) - локальность причины (ошибка сидит в конкретной строке) - стек вызовов (можно проследить путь к сбою)

В агентных системах все устроено иначе. Взаимодействие агентов не жестко детерминированное, а вероятностное. Причина аномалий часто лежит не в самом агенте, а между агентами: в том, кто кому что передаёт, в каком формате, с какой потерей смысла. А сбой проявляется только на уровне системы. Можно довести каждого агента до идеала и получить сломанное целое. Это ситуация закомая каждому: все сотрудники толковые, но процесс не работает.

Мультиагентные системы ломаются так же, как ломаются организации:

1. Перегруженный оркестратор = единая точка отказа (в сетевой теории это называют структурной дырой или Structural Hole) 2. Агенты оптимизируют оценку проверяющего, а не задачу = смещение целей (классика социологии по Мертону) 3. Дебаты, которые мгновенно заканчиваются согласием = групповое мышление, в системе нет роли несогласного 4. Работа скапливается на одном агенте = кумулятивный эффект Матфея (Matthew Effect), т.е. успешный становится еще успешнее и наоборот

Хорошая новость: у структурных проблем есть структурные решения. Прежде чем трогать промпты, я бы посмотрел на сеть взаимодействий, распределение нагрузки и передачи, где теряется информация. Все это измеряется по логам.

Оговорка: агенты - это клоны одной базовой модели без человеческой биографии. ИИ-социология - это аналогия структур, а не утверждение, что агенты - это полная копия человеческого разума. Где аналогия ломается, я тоже покажу.

Это первый пост серии о применении социологии к системам ИИ-агентов. Дальше: про цели и допустимые способы их достигать по Р. Мертону

Если у вас есть агенты, которые ведут себя странно, пришлите свой случай. Лучшие кейсы войдут в следующие посты.