«Нажмите на тормоза, пока мы всё не сожгли»: 1300+ инженеров из OpenAI, Anthropic и DeepMind молят о регулировании 📛

В сети есть две коллективные петиции, которые иллюстрируют главную шизофрению современного AI-рынка: разработчики передовых лабораторий втихую седеют от темпов авто-R&D, но остановиться сами не могут и просят государственного нагайки.

Первый документ — открытое письмо Pacing the Frontier. Под ним подписались больше 1300 сотрудников ведущих AI-компаний. Список подписантов — весь цвет индустрии: Илья Суцкевер (SSI), Дарио Амодеи (Anthropic), Якуб Пачоцки (OpenAI), Джон Шульман (Thinking Machines), Марк Чен, плюс куча ключевых исследователей из Google DeepMind и других компаний.

😱 Главный тезис письма: автоматизация AI-исследований выходит из-под контроля. Разработка уперлась в точку, где нейросети начинают сами писать код для обучения новых моделей, искать уязвимости и проводить эксперименты со скоростью, недоступной человеку. В итоге темпы прогресса кратно опережают нашу способность понимать или контролировать эти системы.

При этом сами компании попали в классическую дилемму заключенного. Ни одна лаборатория и ни одна страна не может замедлиться в одностороннем порядке — конкуренты тут же сожрут. Поэтому инженеры буквально просят правительство США скоординировать международные усилия и создать инструменты для осознанного притормаживания разработки.

Еще раньше вышло письмо We Must Act Now. Там пачка нобелевских лауреатов (Аджемоглу, Стиглиц, Писсаридес) вместе с Бенджио, ЛеКуном и Эриком Шмидтом бьют в тревогу уже по поводу рынка труда: трансформация экономики из-за автономного AI произойдет быстрее, чем общество успеет адаптироваться.

💬 Вот несколько комментариев разработчиков из первого письма:

«Год назад я писал код с помощью Claude. Сегодня я вообще не пишу код — я просто даю Claude верхнеуровневые инструкции, и он сам проводит эксперименты с такой скоростью, которую я бы никогда не выдал вручную». (Alex Cloud, Anthropic)

«Мы превратили энергию в вычислительные мощности, а вычислительные мощности — в интеллект... Нам нужны инструменты для контролируемого замедления рискованных возможностей до того, как они понадобятся». (Jasjeet Sekhon, CSO в Google DeepMind)

Конечно, в этой истории есть доля корпоративной хитрости. Замедление разработки через госрегулирование — отличный инструмент для постройки «регуляторного рва», чтобы зафиксировать доминирование гигантов и закрыть дверь перед новыми стартапами.

Но даже с учетом этого фактор реального страха никуда не делся. Когда люди, которые прямо сейчас обучают флагманские сетки, открыто говорят: «мы создаем системы умнее себя, но понятия не имеем, как гарантировать их безопасность».

Но вот получится ли условным США, Китаю и десятку ИИ-гигантов договориться о «паузе» до того, как кто-то случайно выкатит неуправляемый авто-R&D агент — поживем, увидим.