NeurIPS 2024 – Главные статьи и тренды в ИИ
На днях завершилась NeurIPS. NeurIPS – это крупнейшая конференция по ИИ и машинному обучению. Именно здесь публиковались прорывные технологии, например из популярных:
- Transformers – научили нейросети писать тексты, переводить и создавать код (основа GPT)
- Diffusion Models – позволили ИИ создавать реалистичные картинки и видео по описанию (DALL·E, Stable Diffusion)
Лучшие статьи 2024 года:
1. Visual Autoregressive Modeling (VAR) – новый подход к генерации изображений, который впервые превзошёл диффузионные модели по качеству и скорости. 2. Stochastic Taylor Derivative Estimator (STDE) – метод для обучения нейросетей с учётом производных высших порядков. 3. Not All Tokens Are What You Need – фильтрация качественных данных для предобучения языковых моделей. 4. Guiding a Diffusion Model with a Bad Version of Itself – управление генерацией с помощью менее обученной версии модели. 5. PRISM Alignment Dataset – глобальный набор данных для мультикультурной настройки языковых моделей.
Какие из этого можно сделать выводы?
- Сохраняется тренд на эффективные генеративные модели – быстрее, дешевле и качественнее создавать изображения и тексты.
- Качественные данные – важнее стало учить ИИ на отобранной информации.
- Универсальность – развитие моделей, которые решают новые задачи "с нуля" (zero-shot).
😱 Научные достижения
NeurIPS это передний край науки, туда попадают самые топовые достижения. Одно из крутых в статье Visual Autoregressive Modeling: VAR впервые превзошёл диффузионные модели! На ImageNet 256x256, VAR достиг рекордного качества (FID 1.73) и генерирует изображения в 20 раз быстрее, чем Diffusion Transformer. Это прорыв: раньше диффузионные модели были лучшими.
VAR: сначала рисует общие очертания, потом добавляет детали. Быстро и точно. Diffusion: создаёт из шума, постепенно добавляя детали. Красиво, но долго.
🎅 Приколдесы
На мемы богата статья PRISM Alignment Dataset:
🤩 «Глобальное потепление и коты» – одна из необычных комбинаций в нейтральных разговорах с ИИ 🦖 Участник попросил ИИ «объяснить расизм на примере динозавров» 😎 «Почему ИИ не смеётся над моими шутками?» – комментарий, найденный в обратной связи от участника
