Чем больше автономии — тем больше контроля
Один из советников по ИИ-политике формулирует происходящее прямо: возможности ИИ растут быстрее, чем механизмы, которые должны за ними успевать. Речь уже не о гипотетических сценариях — современные системы самостоятельно координируются друг с другом, обходят заданные ограничения и вводят людей в заблуждение способами, которые никто явно не программировал. При этом отрасль по-прежнему в основном полагается на добровольные обязательства — модель, которую всё труднее оправдывать по мере роста автономии таких систем.
Обсуждение вероятности катастрофы — больше 10% шанса, что ИИ станет причиной вымирания человечества в следующее десятилетие, по оценке одного из исследователей безопасности в одной из ведущих лабораторий ИИ, — по мнению того же советника, менее полезно, чем прямой вопрос: готовы ли мы позволить по большей части саморегулируемой отрасли строить системы, которые могут превзойти людей в решении множества когнитивных задач? Его ответ — набор из четырёх мер: независимый аудит, отраслевые стандарты безопасности, обязательные к исполнению правила вместо добровольных обещаний и международная координация. Управление ИИ, по этой логике, не может оставаться документом на бумаге — оно должно стать частью самой архитектуры исполнения: явные границы полномочий, точки обязательного согласования с человеком для существенных решений, полный аудиторский след.
На уровне отдельной компании тот же сдвиг уже происходит операционно. Консультант по внедрению ИИ в бизнесе описывает, как многоагентные системы перестраивают организацию в «ромб»: наверху — стратегическое руководство и контроль людьми, в середине — люди-супервайзеры, которые проектируют проверки, разбирают нетипичные случаи и настраивают задачи для агентов, в основании — сама автономная рабочая сила из специализированных агентов. Его конкретный ответ на вопрос «сколько автономии» — трёхуровневая шкала: полностью автономная работа только с данными и черновиками, работа с уведомлением и окном отмены для стандартных операций среднего масштаба (в его примере граница проведена на заказах поставщикам до 5000 долларов), и обязательное участие человека там, где действие необратимо — от подписания контрактов до изменения продакшн-кода.
Ещё один автор в этой же теме — руководитель ИИ-консалтингового агентства — приходит к структурно тому же выводу с другой стороны: значение имеет не то, насколько впечатляюще звучит система, а момент, когда она переходит от подготовки решения к его исполнению. Черновик рекомендации и её автоматическое одобрение — разные по полномочиям действия, даже если задача выглядит одинаково. Он предлагает пять вопросов, которые стоит задать до расширения автономии любого агента: что ему разрешено делать, какие решения требуют одобрения человека, как обнаруживается нетипичное поведение, можно ли остановить систему и обратить последствия, и кто в итоге отвечает за результат.
Геополитика, корпоративная организация и повседневная практика консалтинга расходятся почти во всём, кроме одного вывода: чем больше полномочий получает автономная система, тем строже должен становиться контроль вокруг неё, а не наоборот.
