Топы ИИ-компаний увольняются из‑за страха навредить людям

Издание Axios опубликовало инсайт — из передовых компаний, работающих над нейросетями, ушли 10 топ-менеджеров. Причина — страх перед развитием технологии, которая может навредить человечеству.

Они говорят: иногда разработчики сами не знают, почему языковые модели принимают те или иные решения, или формулируют ответы. Это создает риск того, что такие модели смогут действовать автономно и непредсказуемо.

👉 Оценка рисков

Появился термин p(doom) — он обозначает вероятность того, что ИИ превзойдет человека и будет действовать автономно. Илон Маск оценивает этот риск примерно в 20%. По словам главы Anthropic Дарио Амодеи, он может достигать 25%.

Речь идет об AGI — сильном ИИ, сравнимом с человеческим. Никто точно не знает, когда он появится. Глава Google Сундар Пичаи прогнозирует, что на разработку нужно лет 5.

👉 Что делают для безопасности

Сейчас все меры безопасности носят добровольный характер. OpenAI, Anthropic и Google создают «аварийные выключатели» и проводят внутренние проверки, но нет ни глобального регулятора, ни обязательных тестов перед выпуском моделей.

👉 Вопрос на дискуссию

Разработчики ИИ оценивают вероятность уничтожения человечества в 1 из 10, а возможно, даже в 1 из 5. Сели бы вы на самолет с такими шансами? Стали бы строить самолет и пускать на него людей при таких рисках?