(ч. 2, начало здесь)

Противоречие Если элемент системы управления меняет свои свойства, но контур управления остаётся прежним, то возникает структурное несоответствие. Система продолжает работать, но её управленческие механизмы начинают опираться на элемент иной природы.

Получается, что если заменить человека агентом, не меняя архитектуру управления, то: • нарушается механизм закрепления ответственности внутри управленческого контура; • размывается контур управляемости; • возникает иллюзия контроля.

(здесь речь не о юридической или моральной ответственности, а о её кибернетической функции как элемента замыкания контура управления в системе)

И проблема здесь не в качестве модели, а в архитектуре — то есть в способе, которым в организации замыкаются контуры управления.

Может возникнуть мысль, что это мелочь, которая ни на что не повлияет. И тут у меня есть такие вот аргументы за то, что все не так просто: • организации, как любые сложные системы, характеризуются свойством нелинейности: даже малое нештатное для системы изменение может привести к катастрофическим последствиям; • организация создавалась для людей, поэтому изменение природы ключевого её элемента является для неё нештатным случаем — система управления рассчитывает на другие свойства элемента управления; • и, наконец, нет никаких оснований считать, что обнаруженная нами потенциальная проблема системы управления является единственным следствием отличий природы агента и человека — напротив, есть все основания думать, что таких отличий много и они будут влиять на самые разные аспекты поведения организации как системы (анализ этих отличий — тема отдельной статьи).

И самое опасное здесь то, что (и это тоже свойство сложных систем): • на уровне отдельных задач все может выглядеть корректно — да, агент ошибается, как и человек, и ошибки плюс-минус сопоставимы; но на уровне компании вдруг может обнаружиться, что там, где человек совершил две разных ошибки, агент совершил одну ошибку, но 1000 раз за одну минуту; • какое-то время все может работать нормально, и вдруг система неожиданно, без каких-либо видимых причин, начинает вести себя неуправляемо в рамках прежней архитектуры.

Выводы Простота замены человека агентом может оказаться лишь иллюзией. Агент не эквивалентен человеку, и мы не можем просто заменить одно на другое. И причина не в качестве ИИ-модели, а в архитектуре организации. Человек и агент — это не просто два разных инструмента в вакууме, а элементы системы, которые глубоко и сложным образом в неё интегрированы, и различия их свойств имеют для системы значение.

Возникает вопрос: Если агент не является просто более умным инструментом, то, возможно, мы неправильно понимаем сам объект автоматизации?

(оригинал статьи здесь)