Почему «человек-инструкция» больше не работает? Мы привыкли, что безопасность - это пачка регламентов и люди, которые их исполняют. Но в мире, где угрозы меняются быстрее, чем обновляется нормативка, эта модель обречена на провал. В своей новой статье я исследую переход к рефлексивным системам управления и ввожу понятие «состояние сингулярности безопасности».

О чем это, если выйти за рамки формул? Это точка эволюции, где система перестает быть объектом внешнего контроля и превращается в саморегулируемую среду.

Вы знали, что такие системы уже существуют?

Например в кибербезопасности системы класса SOAR сами обнаруживают аномалии и меняют конфигурацию сети быстрее, чем админ успеет моргнуть. Или промышленный IoT, где современные заводы используют «цифровые двойники», которые предсказывают поломку и сами заказывают детали, меняя график работы цеха. А как на счет беспилотников? Автопилот Tesla постоянно обновляет модель поведения на основе данных сотен тысяч других машин.

Однако в социотехнических системах (где есть живой оператор, физические риски и правовая ответственность), всё гораздо сложнее. И проблема не в том, чтобы научить систему обновляться, а в том, как в этот момент меняется роль человека. Кто будет виноват, если «самообновившаяся» система приняла решение, приведшее к инциденту? Как человеку доверять системе, которая меняет свои алгоритмы «на лету»? Если оператор привык к одному протоколу, а система за ночь перестроилась, он может совершить ошибку из-за эффекта неожиданности.

Самообновляемый софт - уже реальность. Но самонастраивающиеся организационные системы, где человек и алгоритм работают как единый адаптивный механизм - это вызов ближайшего десятилетия. Мое исследование - о том, как спроектировать этот переход, сохранив управляемость и безопасность.

Ключевые идеи моего исследования: Модель зрелости C0–C5: я описываю путь развития любой системы безопасности - от простых регламентов до предиктивного управления, инициируемого самим исполнителем, и, наконец, до полного рефлексивного контура. Меняется роль человека и мы уходим от операционной текучки. В состоянии сингулярности человек становится «когнитивным надзором» - он не ищет угрозу сам, а верифицирует решения, которые система уже подготовила на основе анализа данных в реальном времени. На высшем уровне зрелости система купирует риски еще до того, как они соприкоснутся с рубежами контроля.

Почему это важно не только для транспорта? Логика самонастройки и управления в условиях высокой неопределенности универсальна. Это фундамент для архитектуры любых систем будущего -  от финтеха до управления умными городами.

Мне интересно обсудить этот подход с теми, кто проектирует сложные организационные системы и R&D решения. Где, по-вашему, граница между доверием алгоритму и ответственностью человека?

Ознакомиться со статьей можно на официальном сайте научного журнала: https://ijournal-as.com/jour/index.php/ijas/article/view/385