Прогресс последних лет — это, в основном, инженерные оптимизации.

Датасеты стали лучше, появилось дообучение вроде RLHF (когда модель учится по лайкам и дизлайкам людей), сами модели стали экономичнее.

Мы научились делать модели меньше по размеру, но лучше по качеству.

Llama 3 2024 года на 8 млрд параметров по бенчмаркам обходит GPT-3 2020 года на 175 млрд параметров.

Качество как бы еще растет, но этот рост уже не выглядит таким зрелищным, как переход от GPT-2 к GPT-3.

Потому что по сути — это апгрейд одной и той же идеи, а не разработка нового класса систем.

И чем дальше, тем сильнее ощущается эффект убывающей отдачи от масштабирования.

Как с мегапикселями в смартфонах: до определенного момента разница была видна, а потом каждый шаг стоит дороже, а эффект все меньше.

Да, появились reasoning-модели, которые пробуют рассуждать перед ответом.

Но по мере роста сложности задачи они тоже ломаются. Иногда просто коллапсируют.

Глубина рассуждений у LLM масштабируется гораздо хуже.

И при этом фундаментальные баги никуда не делись.

Галлюцинации.

LLM по-прежнему уверенно выдумывают факты. И это системно, даже у самых мощных моделей.

Когда модель не уверена, она угадывает, опираясь на паттерны, а не на логику, что приводит к убедительным, но ложным ответам.

Логические провалы.

Модель может решить олимпиадную задачу по физике и тут же провалиться в простейшей бытовой логике.

LLM по-прежнему ничего не понимают и не осознают из того, что генерируют. Они просто перебирают вероятности. Собственной модели мира у них нет.

В итоге мы видим предел текущего поколения ИИ.

Данные для обучения ограничены, энергия тоже — дальше масштабировать все труднее, а отдача все меньше

И никакого скачка интеллекта при этом не произошло.

Мы просто вошли в фазу зрелости и оптимизации, а не революционного роста.

От хайпа к нормальной инженерии

Если когда-нибудь появится следующее поколение ИИ, оно будет устроено совсем иначе.

Модели должны будут учиться не по корпусам текстов, а наблюдая мир и строя свою причинно-следственную картину реальности.

Но за последние 8 лет ничего похожего не появилось.

Для этого нужны принципиально новые архитектуры, а не еще один «GPT-что-то».

ИИ как технология действительно близка к своему потолку. Но как инструмент, он меняет рынок, нравится это кому-то или нет.

Дальше рост ИИ пойдет в глубину: в нишевые модели, агентов и гибридные решения.

Мы наконец уйдем от идеи «запихнуть ИИ во все подряд» и перейдем к нормальной инженерии — когда модель не болтает в чате, а работает через сервисы, API, базы и код.

В таком виде ИИ перестает быть красивой игрушкой и становится рабочим инструментом.

В Heads AI мы видим это на реальных клиентских проектах.

Это большая и интересная тема. Думаю, в следующих публикациях разберу ее отдельно. __

Этот текст тоже, скорее всего, попадет в датасеты для обучения новых нейронок.

Так что если однажды ИИ скажет вам, что он не умеет думать — вы знаете, кто его научил 😜