Claude — кибероружие?

Вы не спрашивали, но я отвечу 🙂

У Anthropic, компании, которая делает Claude, за последние дни случилась очень показательная история. Они выпустили новую модель Fable 5 и более закрытую версию Mythos 5. Почти сразу после этого правительство США потребовало ограничить к ним доступ для иностранных граждан. В итоге Anthropic не стала точечно разбираться, кому можно, а кому нельзя, и просто отключила обе модели для всех.

Как нейросеть вообще может стать проблемой для государства? Дело в том, что сильные модели уже могут помогать не только писать тексты, код и презентации, но и искать уязвимости в программах, объяснять, как ими воспользоваться, собирать куски атаки и ускорять работу людей, которые занимаются кибербезопасностью (или злоумышленников). Один и тот же инструмент может помогать и тем, кто защищает системы, и тем, кто хочет их взломать. Для государства это технология, которая может усилить чужую разведку, военных или хакеров.

Означает ли это, что мы приблизились к AGI? Скорее нет. Это доказательство, что отдельные способности нейросетей уже стали достаточно сильными, чтобы ими начали заниматься не только пользователи, бизнес и разработчики, но и государство.

Мне кажется, это главный вывод из всей истории. Мы привыкли думать, что облачные нейросети — это просто сервисы. Заплатил за подписку, открыл чат, работаешь. Но чем сильнее становятся модели, тем меньше они похожи на обычный цифровой продукт и тем больше — на инфраструктуру, доступ к которой будут регулировать. Скорее всего, дальше будет больше ограничений: проверка пользователей, разные уровни доступа, отдельные условия для компаний, обязательное хранение части данных, запреты на некоторые типы задач, блокировки по странам или гражданству.

И здесь у меня двойственные ощущения. С одной стороны, риск правда существует. Было бы странно делать вид, что очень сильные модели никак не меняют кибербезопасность. Меняют, и довольно сильно. С другой стороны, грубый запрет чего-либо почти всегда выглядит плохим решением. Если инструмент уже появился, его нельзя просто выключить и считать, что проблема решена. Нужны понятные правила: кто получает доступ, для каких задач, под каким контролем и с какой ответственностью.

Эпоха нейросетей как игрушки по подписке, кажется, постепенно заканчивается. Начинаются времена, где доступ к самым сильным моделям будет политическим, юридическим и, возможно, геополитическим вопросом.

Канал в ТГ: @blady_ducre