🎬 Защиту отключает не взломщик, а владелец
Посмотрел «СОУЛМ8ЙТ» — американский фильм этого года, продюсеры Джеймс Ван и Джейсон Блум. Разработчик, потерявший жену, сначала переписывается с чат-ботом, потом берёт домой робота-компаньона на бета-тест и сам снимает с него часть ограничений: так удобнее, так она «живее». Дальше не пересказываю, фильм в прокате с августа.
Пугает в нём не машина. Ограничения в ней были, и сняли их не хакеры. Снял тот, кому они мешали.
Три закона робототехники Азимова устроены так же. Первый запрещает роботу вредить человеку. Сам Азимов писал рассказы о том, как эти законы дают сбой, а позже добавил нулевой: благо человечества выше блага отдельного человека. Законы держатся ровно до тех пор, пока их не перенастроил человек с доступом.
Свежая политика использования Anthropic, одного из разработчиков ИИ-моделей, опубликована 8 октября и вступает в силу 12 ноября. Два места в ней показательны. Там, где рекомендация модели влияет на финансы, здоровье или права человека, в контуре обязан быть человек. Оборудование под управлением модели оператор обязан видеть и уметь остановить. Оба требования адресованы не модели, а оператору. Контроль живёт не в исполнителе, а у того, кто владеет настройками.
💼 У собственника бизнеса тот же сюжет без всякого робота.
- Вторая подпись на платежах отменена, «потому что бухгалтер в отпуске». Отпуск закончился, подпись не вернулась.
- Лимит платежа без согласования поднят, «чтобы не дёргали». Подняли «на время», и время не названо.
- Сотруднику или ИИ-помощнику поставлена цель — «собрать дебиторку», «снизить расходы» — и не сказано, чем ради неё жертвовать нельзя. Дальше исполнитель идёт к цели по прямой, как робот в фильме: дебиторку собирает так, что клиент больше не возвращается, расходы режет там, где ломается первым.
Во всех трёх случаях защиту снял не злоумышленник. Её снял владелец своей рукой, ради удобства, и в тот момент был прав: подпись действительно тормозила, лимит действительно дёргал. Проблема не в решении. Проблема в том, что у решения не было срока и не было записи, почему оно принято. Такое ограничение снято навсегда, просто это ещё не названо вслух.
Глазами финансиста разница между «правило в компании есть» и «правило действует сегодня» — это и есть качество управления, а не формальность.
💡 Вопрос стоит не «кто может взломать защиту», а «какие ограничения сняты лично вами, кем ещё, на какой срок и записано ли, почему». Защиту редко ломают снаружи. Чаще её выключает изнутри тот, кого она должна была защищать.
