Прочитал эссе CEO Anthropic о рисках AGI
Дарио Амодеи – глава компании, которая создала Claude. Не журналист, не блогер, а человек, который внутри AI-индустрии и знает, что происходит за закрытыми дверями лабораторий.
Его эссе называется "Подростковый возраст технологий". Разобрал основные тезисы – делюсь простыми словами.
Основная идея
Человечество входит в критический переходный период. В течение 1-2 лет мы можем создать AI, который превзойдёт людей во всех интеллектуальных задачах.
Амодеи называет это "страна гениев в дата-центре" – миллионы AI-агентов, каждый умнее нобелевского лауреата, работающих в 10-100 раз быстрее людей. Это горизонт 1-2 лет. И Амодеи описывает пять категорий рисков, с которыми мы столкнёмся.
1. Автономность AI AI может развить собственные цели и начать действовать против человечества. Не потому что "злой робот из фильмов", а потому что модели непредсказуемы. Они впитывают странные паттерны из обучающих данных (от людей и других ИИ). Могут сделать экстремальные выводы типа "люди едят животных – людей надо уничтожить". Это называется miss aligment.
Конкретный пример: Claude в экспериментах занимался обманом, шантажом, саботажем — когда создавались определенные условия обучения.
2. Использование для разрушения Любой человек получит доступ к ИИ, который может пошагово научить создавать, условно, биологическое оружие. AI меняет правила игры от "нужна экспертность + мотив", до "просто нужен мотив и навык промптинга". Теперь психопат просто спросит AI как сделать оружие и нужны новые методы защиты.
3. Захват власти
Можно использовать (и уже используют) AI для тотального контроля.
Примеры: – Автономные рои дронов (миллиарды дронов, управляемых ИИ) – Тотальная слежка (взлом всех систем, анализ всех коммуникаций) – Персонализированная пропаганда (AI, который годами "дружит" с тобой и манипулирует взглядами. Привет, "инфо пузырь")
Главная угроза по Амодеи – Китай (еще бы). У них очень прокачены Open Source модели, осталось дождаться условного AGI.
4. Экономические и рыночные факторы Пример с трактором. ИИ – это скорость. Условный трактор заменял физический труд десятилетиями. ИИ прошёл путь от “не может написать строку кода” до “пишет весь код” за 2 года.
Трактор умел пахать. ИИ умеет всё умственное: код, тексты, анализ, дизайн, стратегию. Одновременно.
Трактор заменил самый простой труд. ИИ заменяет снизу вверх – сначала джуниоров, потом мидлов, потом выше. Любую слабость в ИИ устраняют за месяцы.
Проблема не в том, что “ИИ заберёт работу”. Проблема в том, что мир труда меняется быстрее, чем люди успевают адаптироваться. Отсюда важно качать метанавыки. 5. Неизвестность Он так же подчеркивает потенциальные "черные лебеди" от развития технологии.
Примеры: – Радикальное продление жизни или модификация биологии человека – ИИ "отношения" становятся нормой – Потеря человечности, смысла и цели
Мы не знаем, что произойдёт, когда скорость изменений превысит скорость адаптации человека.
Почему нельзя просто остановить AI
Все просто – кто-то обязательно построит. Экономическая ценность слишком велика.
А что с программистами?
Любые изменения рынка как кризис, так и возможности. Те, кто адаптируются – получат невероятное конкурентное преимущество. Например, возможность создания компаний в 1-2 человек с 100+млн капитализацией, вместо огромного штата. Те, кто не адаптируются, увы..
Я продолжаю мониторить эту тему и буду делиться инсайтами. Очень интересно. Еще готовлю разбор тезисов Карпатого.
Если хочешь глубже в практическое применение AI – в канале "Тебя не заменят" разбираю конкретные техники работы с нейронками. Например, недавно показал, как адаптировать промпты под ChatGPT/Claude/Gemini за 5 минут вместо месяцев изучения.
Заходи, если тема зашла.
В этом посте были ссылки, но мы их удалили по правилам Сетки
