Звучит немного иронично, но глава Anthropic Дарио Амодеи написал большой пост, почему гонку самых мощных AI-моделей, возможно, пора замедлить

И меня больше всего зацепила причина

AI уже используют, чтобы создавать следующий AI: писать код, проводить эксперименты, анализировать результаты, помогать исследователям

Получается довольно забавная петля: мы делаем модели умнее → они помогают нам быстрее делать ещё более умные модели → те ещё сильнее ускоряют разработку

И в какой-то момент проблема может быть уже не в том, насколько быстро мы умеем создавать новые модели. А в том, успеваем ли мы вообще понимать, что именно создали.

Поэтому Амодеи предлагает довольно простую идею: возможности моделей не должны развиваться быстрее, чем способы сделать их безопасными

Если модель стала заметно мощнее - сначала нужно нормально протестировать её, разобраться с рисками и только потом бежать масштабировать следующую

Причём Anthropic готова допускать внешних аудиторов к своим системам, чтобы безопасность проверяла не только сама компания

Как думаете, AI действительно уже пора немного притормозить - или такие ограничения просто отдадут преимущество тем, кто тормозить не собирается?