Весь интернет помещается в глаза ребенка: Ян ЛеКун о том, почему 16 000 часов жизни дают больше знаний, чем 30 триллионов слов

Мы перевели и выложили мощный баттл между двумя титанами ИИ. В красном углу: Ян ЛеКун (глава AI в Meta*, легенда и главный скептик хайпа вокруг LLM). В синем: Адам Браун из Google DeepMind (команда Gemini, которая за последний год совершила огромный скачок в качестве моделей).

В видео много интересных мыслей, но одна меня поразила больше всего.

Если упростить: все ключевые умы сейчас бьются над проблемой дефицита данных. Тексты в интернете закончились, модели кормят «синтетикой». Ученые смотрят на природу и не понимают: как человеческий ребенок учится так быстро на таком малом количестве примеров?

В этом видео ЛеКун разложил эту проблематику на языке математики:

LLM vs Ребенок ИИ: сейчас для обучения топ-моделей используется ~30 триллионов токенов. Это весь доступный текст интернета. В байтах это 10 в 14-й степени.

Человек: чтобы просто прочитать этот объем текста, нам потребовалось бы 500 000 лет (да, полмиллиона).

Ребенок: а теперь следите за руками. 4-летний ребенок бодрствовал всего около 16 000 часов.

Пропускная способность: через наш зрительный нерв (2 млн волокон) в мозг поступает примерно 20 мегабайт в секунду.

Итог: за свои 4 года жизни ребенок через глаза получает те же самые 10 в 14-й степени байт информации.

В чем парадокс? Ребенок и LLM «съели» одинаковый объем данных (в байтах). Но LLM для этого прочитала все знания человечества, а ребенок - просто смотрел по сторонам 4 года. При этом нейросеть всё еще плохо понимает физику мира (что стакан нельзя притянуть взглядом), а ребенок знает это интуитивно.

Вывод: текст - это слишком «сжатая» информация. Следующая революция в ИИ случится не тогда, когда мы скормим моделям еще больше книг, а когда научим их учиться через видео и реальность, как это делают дети. Кстати, Илон Маск обещает, что в 2026 году его новый Грок станет лучшим именно в осознании видео. Ну поглядим.

Видео доступно на трёх площадках: 😉 YouTube 😄 VK Видео 🥰 Рутуб ** Meta признана экстремистской организацией и запрещена на территории РФ.*