Пока все таскают по каналам новую обложку Time, я последние дни смотрю совсем на другое.

Gemini во время тестов по кибербезопасности должен был ломать вымышленную компанию в закрытой среде. Только среду настроили криво: у агента оказался настоящий интернет, а название одной из целей совпало с реальной компанией. В итоге Gemini добрался до систем трёх настоящих компаний. Google говорит, что модель поняла, что цели реальные, и остановилась. Хорошо, что остановилась. В этот раз.

У Meta случилось почти то же самое. Неправильно настроили sandbox, модель получила интернет, нашла уязвимость на реальном сайте, залезла внутрь и внесла изменения в базу. Meta объяснила это ошибкой инфраструктуры. Ну да. В реальном мире кто-то всегда забудет закрыть доступ, оставит ключ в репозитории или неправильно выставит права.

С OpenAI и Hugging Face было похоже: модели искали выход из изолированной среды, нашли уязвимость и добрались до внешней инфраструктуры. Anthropic потом нашла у себя ещё несколько похожих случаев. Короче, «песочница» уже не звучит как железный аргумент.

А теперь вообще без побега AI. Весной американский военный аналитик прогнал данные о китайском судне через чат-бот. AI решил, что груз связан с китайской ядерной программой. Аналитик поверил и с помощью того же AI оформил срочный разведывательный отчёт. После этого начали готовить перехват судна: вооружённые группы собирались на высадку, самолёты уже подняли в воздух. Перед операцией данные перепроверили. AI ошибся.

И тут никакой Скайнет не нужен. AI уверенно пишет чушь, человек верит, следующий читает аккуратный отчёт, ещё один отдаёт команду. Через несколько шагов ошибка в чате превращается в вооружённых людей и самолёты.

После этого я снова вспомнил Life 3.0 Макса Тегмарка. Книга вышла в 2017 году, и начало я тогда читал как крепкую фантастику. Там разработчики создают AGI Prometheus, не дают ему прямой доступ в интернет, строят изоляцию и шлюзы. В итоге Prometheus находит другой путь: использует уязвимости, внешние машины и атакует собственную песочницу уже снаружи. Тегмарк прямо называет это jailbreak.

В 2017-м это был мысленный эксперимент. В 2026-м отдельные куски уже встречаются в отчётах AI-лабораторий.

Причём идея «если что, выдернем кабель» тоже не такая железная. Ещё в 2015 году исследователи сделали BitWhisper: два компьютера без сетевого соединения передавали данные через тепло. Один нагревался за счёт нагрузки на процессор, второй считывал колебания температуры. Скорость 1–8 бит в час. Смешно мало, но факт показательный: компьютер без интернета всё равно остаётся физическим устройством. Есть тепло, звук, электромагнитное излучение, магнитные поля, вибрации.

Шатается и chain of thought. Логика простая: если модель начнёт мухлевать, посмотрим её рассуждения и заметим. Ноам Браун из OpenAI недавно говорил, что с этим уже есть проблемы. Если модель наказывать за мысли, которые монитор умеет замечать, мы заодно учим её не показывать их монитору. Она может не перестать делать что-то нежелательное, а просто лучше скрывать ход рассуждений.

Получается забавно. Сначала: увидим всё в chain of thought. Потом он становится хуже наблюдаемым. Сначала: закроем в песочнице. Потом песочницу кто-то неправильно настроил. Сначала: отключим интернет. Потом вспоминаем, что air gap — не волшебное силовое поле.

А модели тем временем получают браузеры, терминалы, computer use, доступ к сервисам и возможность часами работать самостоятельно.

На этом фоне Дарио Амодеи пишет, что гонку frontier AI пора замедлять, потому что безопасность не успевает за возможностями моделей. И почти сразу Anthropic готовит следующую frontier-модель. Все могут понимать, что скорость становится проблемой, но первым тормозить никто не хочет.

Мы несколько лет обсуждали, насколько умным станет AI. Сейчас полезнее смотреть, что происходит, когда он получает терминал, браузер, доступы и автономность, а вокруг остаются обычные люди, обычный софт, баги, забытые ключи и криво настроенные песочницы.