MOIRAI-MOE: Модернизация MOIRAI с привлечением экспертов для улучшения прогнозирования
•MOIRAI от Salesforce показала высокие результаты в тестировании. •Модель доступна с открытым исходным кодом и набором данных LOTSA. •MOIRAI-MOE использует декодирование и группу экспертов для частотно-инвариантного прогнозирования. •Модель активирует меньше параметров и обеспечивает более быстрый вывод. •MOIRAI-MOE работает только с декодером, что ускоряет обучение и вывод. •MOIRAI-MOE заменяет многослойный слой пластыря на смесь экспертов. •MOIRAI-MOE использует каузальное само-внимание вместо произвольного. •MOE направляет временные последовательности к наиболее подходящему эксперту. •MOE заменяет линейную проекцию W на более сложный механизм. •Центроиды кластера фиксируют хорошо структурированные данные. •Эксперты фокусируются на частотных характеристиках на начальных уровнях. •Более глубокие уровни смещают внимание на общие временные характеристики. •Модель предварительно обучена на наборе данных LOTSA. •MOIRAI-MOE показала лучшие результаты в тестах zero-shot и full-shot. •Модель превзошла оригинальный MOIRAI, сократив активируемые параметры на 65%. •MOIRAI-MOE является важной вехой в разработке базовых моделей. •Объединение экспертов открывает путь для дальнейших усовершенствований.
Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.
