Нейросети достигли своего потолка

Многие смотрят на взрыв нейросетей с 2022 года — с момента появления ChatGPT-3 — и продолжают ждать какого-то чуда.

Кажется, что компьютеры вот-вот начнут по-настоящему думать.

AGI, сознание, самообучение и подобный набор фантазий.

Каждый раз, когда я слышу такие прогнозы, я откровенно недоумеваю.

Как человек, который реально строит продукты и автоматизацию, я вижу, что ИИ в том виде, в котором он существует, достиг потолка.

Что мы сегодня называем «ИИ»

Сейчас под ИИ почти всегда имеют в виду:

— большие языковые модели (LLM) — системы, которые умеют предсказывать следующий токен в последовательности текста.

Токены — это фрагменты текста: слова, слоги или символы.

— архитектуру Transformer, появившуюся в 2017 году, которая стала базой для всех современных LLM.

Собственно, все популярные ИИ-системы — ChatGPT, Claude, Gemini, DeepSeek — это все большие языковые модели на трансформерах.

Суть проста: модель учится делать очень хорошее автодополнение текста, картинок, кода и тд на основе огромных массивов данных, на которых ее обучали + большого объема вычислений.

Где на самом деле произошел рост

Прорыв последних лет произошел не в самом ИИ.

Прорыв в том, что ИИ наконец стал массовым — доступным обычным людям.

Растет не интеллект моделей, а количество сценариев, куда их встраивают.

Появились ИИ-агенты, ассистенты, чат-боты, генераторы фото и видео — мы просто оказались окружены сервисами на базе ИИ.

Но то, что происходит сейчас — это по сути коммерциализация и упаковка генерации текста, картинок и кода в удобные продукты и интерфейсы.

И все.

Самое смешное, что основатели ИИ компаний, включая Сэма Альтмана, прямо так и говорят, что технологии LLM существовали давно, но никто не сделал для них простой интерфейс.

ChatGPT сделал это первым и за ним потянулись остальные ИИ стартапы.

Сейчас все, от банкинга до доставки, стараются встроить ИИ во все, что можно.

И это создает иллюзию какого-то невероятного технологического роста в ИИ.

Но это эффект масштабирования, а не эволюции интеллекта.

ИИ не стал умнее — он просто стал удобнее и массовее. А рост хайпа вокруг ИИ никак не связан с ростом самого интеллекта.

Потолок первой волны

Архитектура трансформера стала революционной для ИИ потому, что модели смогли обрабатывать последовательные данные — например, слова в предложении — параллельно, а не последовательно.

Вместо линейного прохода модель видит всю последовательность целиком и в каждый момент решает, на какие слова ей опереться, чтобы уловить смысл.

Этот механизм называется самовниманием (self-attention).

Он позволил моделям удерживать более длинный контекст, лучше связывать части текста, делать переводы, саммаризацию, анализ диалогов и многое другое.

С 2017 года появилось уже много вариаций трансформера для текста, изображений и видео с разными дополнениями и улучшениями.

Но все крупные достижения ИИ с того времени связаны именно с ней.

#ai