🔥 Meta представила революционную серию Llama 4! 🚀
Компания анонсировала мультимодальные модели ИИ нового поколения, которые объединяют текст, изображения и видео в единую архитектуру. Вот главное, что нужно знать:
Архитектура и инновации ➡️ Раннее слияние модальностей: Модели обрабатывают текстовые и визуальные токены в едином «ядре», что улучшает понимание контекста. ➡️ Mixture-of-Experts (MoE): Используют «смесь экспертов» — только часть параметров активируется для конкретной задачи, что повышает скорость и снижает затраты на вычисления. ➡️ Рекордный датасет: Обучение на 30 триллионах токенов (в 2 раза больше, чем у Llama 3!) с применением MetaP-оптимизации и методов RLHF.
Три модели — три специализации 1. Llama 4 Scout (17B параметров, 16 экспертов) – Контекстное окно 10 млн токенов для анализа длинных текстов. 2. Llama 4 Maverick (17B параметров, 128 экспертов) – Идеален для задач общего назначения и работы с изображениями. 3. Llama 4 Behemoth (288B активных параметров) – Превышает GPT-4.5 и Claude Sonnet 3.7 в STEM-тестах.
Чем лучше конкурентов? ➡️ Производительность: Scout и Maverick обходят GPT-4o и Gemini 2.0 Pro в кодинге, мультиязычных задачах и анализе изображений. ➡️ Эффективность: Даже компактные версии показывают результаты топ-моделей при меньших вычислительных затратах. ➡️ Универсальность: Первая линейка, где нативная мультимодальность сочетается с MoE-архитектурой.
Источники: Meta AI | LessWrong
#Meta #ИИ #Llama4 #MoE #Инновации
P.S. Как думаете, сможет ли Llama 4 перевернуть индустрию генеративного ИИ, или это стандартный эволюционный шаг? 🤔
