🦄 Мы привыкли видеть в новостях про очередную ИИ-модель цифры вроде «235 млрд параметров» и автоматически считать: чем больше, тем мощнее модель. Но в современных MoE-моделях всё интереснее: внутри могут быть сотни экспертов, а для обработки одного токена выбираются лишь несколько из них

🤖 В статье простым языком разбираю, что такое параметры и эксперты, как работает router, почему набор экспертов меняется от слоя к слою и чем отличаются total parameters от active parameters. После этого обозначения вроде 235B-A22B перестают выглядеть как магические цифры из отдела маркетинга

🔸Главная польза для читателя проста: вы начнёте лучше понимать анонсы новых ИИ-моделей и сможете отличать реальный технологический смысл от эффектной большой цифры - https://dzen.ru/a/apqstlpfO0XV2Roi