Линейная модель обошла трансформеры — и что дальше?
В 2022 году простая линейная модель обошла сложные трансформерные модели прогноза на всех девяти проверенных наборах данных.
15 октября 2026 года Mistral выпустил Timestral — трансформер для прогноза рядов. Самая маленькая модель: 5 миллионов параметров, 21 МБ, 17 мс на прогноз (серверный процессор, восемь потоков).
Что изменилось? Не сам трансформер: он из прогноза не уходил (Temporal Fusion Transformer в цепочке Decathlon, первый Chronos на T5). По-видимому, обучение: одна модель, предобученная на множестве рядов, в основном синтетических, и применяемая без обучения под ваши данные. Это гипотеза автора поста.
Однако.
А точнее ли она? Независимо не показано. «Первое место на трёх бенчмарках» — слова самой Mistral; единственная найденная независимая проверка на M5 — любительская — дала почти ничью с LightGBM. Роб Хайндман пишет, что главное изменение — операционное, а не в точности.
Подробно, с источниками и оговорками [по ту сторону ии]