🔍 Когда мы поймём, что нейросети сравнялись с нами? Ответ кроется в инструментах измерения — не в количестве параметров, а в способности к абстрактному мышлению. И здесь новости тревожны.
⚡️ Третий бенчмарк: ARC-AGI-3!
Даже второй (озвучен 24 марта 2025 года) демонстрирует пропасть между ИИ и человеком:
- 👨🎓 Люди решают 100% задач (каждую решили минимум 2 человека за ≤2 попытки)
- 🤖 Лучшие ИИ (Claude Opus 4, GPT-4.5) показывают результат менее 9%
- 🚫 Чистые LLM без дообучения не решают ни одной задачи
Почему это важно для вас? Если вы разрабатываете ИИ-продукты или инвестируете в технологии, понимание реальных возможностей нейросетей критично. Эти бенчмарки показывают, когда можно доверять ИИ в медицине, финансах или научных исследованиях, а где он подведёт.
Ключевая проблема ИИ ARC-AGI-2 фокусируется на подвижном интеллекте — области, где модели отстают катастрофически:
- Символьная слепота: ИИ видит форму символов, но не их смысл
- Многоуровневые правила: неспособность комбинировать абстракции
- Контекстная тупость: игнорирование скрытых условий задач
Эволюция тестов Первый бенчмарк ARC-AGI-1 (2019) продержался 5 лет — его преодолели лишь в 2024 гибридные системы (LLM + синтез программ). AGI-2, представленный в 2025, сразу стал "камнем преткновения": лучшие ИИ показывают менее 9% против 100% у людей. Шолле прогнозирует, что этот тест проживёт менее 3 лет.
🔮 Что ждёт в ARC-AGI-3? Ожидаемый в 2026 году тест сделает шаг дальше:
- Экономика интеллекта: сравнение стоимости решений (у людей — ~$17/задача, у ИИ — $200+)
- Интерактивные сценарии: игры с постановкой целей и адаптацией к непредвиденным условиям
- Фокус на эффективности: решение новых задач с 1-2 примерами вместо тысяч
💡 Ключевой инсайт ➡️«AGI возникнет, когда ИИ сможет учиться как ребёнок: быстро, на малых данных и без сверхвычислений. Пока же мы создали продвинутые автозаполнятели» — François Chollet
🔗 Источники для глубокого изучения: 1. Официальный анонс ARC-AGI-2 (March 2025) 2. Анализ провала LLM в символьных задачах 3. Почему бенчмарки = компас AGI?
#ИИ_бенчмарки#Нейросети#AGI****#ARC_AGI
В этом посте были ссылки, но мы их удалили по правилам Сетки
