Yandex представил ARGUS: масштабируемый ИИ-фреймворк для обучения крупномасштабных рекомендательных трансформеров до миллиарда параметров. Это значительное достижение ставит компанию в один ряд с лидерами индустрии, такими как Google, Netflix, которые также смогли преодолеть технические сложности масштабирования трансформеров для рекомендательных систем.

ARGUS (AutoRegressive Generative User Sequential modeling) — это новая разработка Yandex, представляющая собой масштабируемый фреймворк на основе трансформеров для систем рекомендаций. Трансформеры — это архитектура нейронных сетей, успешно применяемая в обработке естественного языка, которая теперь масштабируется для рекомендательных систем, предлагающих пользователям товары, музыку или контент на основе их предыдущего поведения. ARGUS способен обрабатывать модели с числом параметров до одного миллиарда — значений, которые модель изучает в процессе обучения и использует для предсказаний.

Традиционные рекомендательные системы часто сталкивались с такими ограничениями, как короткая память, ограниченная масштабируемость и трудности адаптации к меняющемуся поведению пользователей. ARGUS решает эти проблемы, моделируя поведенческие последовательности пользователя на длительных промежутках времени, что позволяет выявлять как очевидные, так и скрытые корреляции в активности. Например, система может предсказывать сезонные предпочтения пользователя без необходимости повторного подтверждения этих предпочтений каждый год.

Ключевые технические инновации ARGUS включают двухобъективное предварительное обучение, где авторегрессивное обучение делится на задачи предсказания следующего элемента и предсказания обратной связи. Также используются масштабируемые трансформерные кодировщики, которые позволяют масштабировать модели от 3,2 миллиона до 1 миллиарда параметров, при этом на масштабе в миллиард параметров наблюдается увеличение точности попарного сравнения на 2,66%. Расширенное контекстное моделирование обеспечивает обработку истории пользователей длиной до 8192 взаимодействий, что позволяет персонализировать рекомендации на основе поведения за многие месяцы, а не только за последние несколько кликов. Наконец, эффективная тонкая настройка с архитектурой с двумя башнями позволяет использовать офлайн-вычисления эмбеддингов (числовых представлений объектов, захватывающих их смысл) и масштабируемое развертывание, что существенно снижает затраты на инференс.

ARGUS уже внедрен на музыкальной платформе Yandex, обслуживающей миллионы пользователей. В ходе A/B-тестов система показала увеличение общего времени прослушивания (Total Listening Time (TLT)) на 2,26% и увеличение вероятности «лайка» на 6,37%. Эти показатели названы крупнейшими зафиксированными улучшениями качества для рекомендательной модели на основе глубокого обучения на платформе. В будущем исследователи Yandex планируют расширить ARGUS для задач рекомендаций в реальном времени, улучшить инженерную проработку признаков для попарного ранжирования и адаптировать фреймворк для областей с высокой кардинальностью, таких как электронная коммерция и видеоплатформы.

Благодаря этой разработке Yandex укрепляет свои позиции как один из лидеров в области рекомендательных систем. Открытый обмен такими прорывами не только улучшает персонализацию в собственных сервисах компании, но и способствует развитию технологий рекомендаций во всей индустрии.

Ссылка на оригинал - https://www.marktechpost.com/2025/09/06/meet-argus-a-scalable-ai-framework-for-training-large-recommender-transformers-to-one-billion-parameters/