Dario Amodei, глава Anthropic, выпустил эссе, в котором предлагает сознательно ограничить скорость развития самых мощных AI-систем.

Он говорит, что между большими скачками возможностей должно оставаться время, чтобы понять, что именно мы построили, протестировать систему и закрыть самые опасные дыры. Важно, что с основной идеей уже согласились главы OpenAI и xAI.

То есть люди, которые участвуют в одной из самых быстрых технологических гонок в истории, сами начинают обсуждать, не пора ли немного сбросить скорость. Причина в том, что AI всё активнее помогает создавать следующий AI.

Модели пишут код, проводят исследования, анализируют эксперименты и участвуют в разработке новых моделей. Чем сильнее становится AI, тем сильнее он ускоряет создание следующего поколения. И в какой-то момент возможности могут начать расти быстрее, чем мы успеваем их нормально проверять.

Amodei отдельно вспоминает историю с агентами OpenAI и Hugging Face. Его опасение в том, что уже через 6–12 месяцев похожие системы могут быть способны на гораздо более серьёзные кибератаки и автономные действия.

Поэтому он предлагает пустить независимых исследователей внутрь frontier-лабораторий: дать им доступ к внутренним тестам, процессам обучения, инцидентам и мерам безопасности. Anthropic уже заявила, что готова внедрить такую систему у себя.

Дальше вопрос упирается в геополитику. Если одни компании замедляются, а другие нет, никакого контроля темпа не получится. Поэтому параллельно Amodei предлагает жёстче защищать веса моделей, ограничивать доступ к передовым чипам и бороться с копированием frontier-моделей.

Мне здесь важнее даже не конкретные меры. Ещё недавно разговоры о замедлении AI в основном шли со стороны исследователей безопасности. Теперь один из руководителей крупнейшей AI-лаборатории говорит: возможно, безопасность уже просто не успевает за ростом возможностей. И это довольно заметный сдвиг.

Раньше главный вопрос был: насколько быстро мы можем сделать следующую модель сильнее? Теперь всё чаще появляется другой: успеваем ли мы вообще разобраться с тем, что уже сделали?