#briefly Новости о модели DeepSeek R1 привели к очередному витку обсуждений бизнес-моделей на основе AI. Реакция рынка привела к тому, что особенно сильно пострадали акции Nvidia и других производителей чипов. Почему?

Пишу простым языком в контексте бизнес-модели и рынка.

LLM такие как GPT, предварительно обучаются на огромных массивах текстовых данных (книги, статьи, сайты). Затем полагается на дообучение с подкреплением на основе обратной связи от живого человека (RL), чтобы сделать ответы ChatGPT "более правильными": полезными, корректными и этичными. Для этого обычно нанимают людей-аннотаторов, которые оценивают различные ответы, ставят оценки, какой ответ лучше. Таким образом, исходная LLM дополнительно дообучается. Короче, это дорого.

DeepSeek R1 пошла другим путем: вместо обучения на основе субъективных человеческих предпочтений R1 использует ориентированное на рассуждения RL, которое "вознаграждает модель" только в том случае, если ее решения бесспорно верны. Короче она заточена на математику и логику. Поскольку «правильность» для этих задач определить проще, R1 может масштабировать своё обучение без необходимости в куче людей-разметчиков данных.

Еще одно достижение - подход Mixture of Experts (MoE) - модель разделена на секции, каждая из которых выступает «экспертом» в определённой области. Это приводит к тому, что когда поступает запрос, активируется только соответствующая секция «эксперта» — около 5 процентов параметров модели.

Ну и DeepSeek R1 предлагает бесплатный доступ к своей модели, что позволяет разработчикам и исследователям использовать её по своему усмотрению бесплатно.

Короче, в области LLM больше не нужны огромные дата-центры и тысячи специалистов по разметке. Например, одна только Meta планировала потратить около 65 миллиардов долларов на дата-центры в этом году. И тут внезапно выясняется, что потребность в вычислениях для вывода сократилась на 90%! При этом выручка от AI пока крайне мала в соотношении с затратами, монетизировать AI пока не научились. Например, ChatGPT, самая успешно монетизированная «чистая» ИИ-платформа, в 2024 году принесла лишь 4 миллиарда долларов.