Сегодня весь день думаю про последнюю новость от Anthropic

Anthropic показали свою новую модель Mythos и заявили, что она настолько хорошо находит уязвимости в чужом коде, что выпускать её публично опасно. За пару недель тестов она нашла тысячи дыр в операционках и браузерах, включая баг в OpenBSD, который лежал там 27 лет, и 16-летнюю дыру в FFmpeg.

Anthropic в итоге запустили Project Glasswing и дали доступ только узкому кругу — Amazon, Apple, Cisco, JPMorgan, Nvidia. А министр финансов США и глава ФРС на днях собирали CEO крупнейших банков, чтобы обсудить, что со всем этим вообще делать.

С одной стороны это так круто, как ИИ перестаёт быть «чатиком» и становится чем то большим. А с другой — 99% уязвимостей, которые нашла Mythos, пока не закрыты. И если завтра такая штуковина будет публично доступна, то все приложения, которые меньше американских банков будут взломаны в ближайшие недели!

Но больше всего я поржал с российский новостей об ИИ: у нас обсуждают законопроект «О доверенных моделях ИИ». И в нём, если коротко, российская нейросеть должна быть «суверенной и национальной», помогать сохранять «традиционные духовно-нравственные ценности» и попадать в государственный список доверенных моделей.

В антропике спорят, как человечеству в принципе жить с моделью, которая умнее любого пентестера. У нас спорят, как встроить в LLM методичку по духовности 🤣