Трансформер в прогнозе рядов: что изменилось с 2022-го
В 2020 году на соревновании M5 по прогнозированию продаж обе дорожки — точность прогноза и оценку его неопределённости — выиграли модели на градиентном бустинге (деревья решений). В мае 2022 года авторы работы «Are Transformers Effective for Time Series Forecasting?» показали, что простая линейная модель точнее сложных трансформерных моделей на всех девяти наборах данных, которые они проверяли.
В 2023 году прогноз рядов попробовали делать языковыми моделями, и результат вышел неоднозначным. В работе LLMTime GPT-3 и LLaMA-2 без дообучения прогнозировали не хуже моделей, созданных под эту задачу, но числа приходится подавать им текстом: токенизатор GPT-3 разбивает 42235630 на фрагменты 422, 35 и 630. Прогнозы GPT-4 местами оказались хуже, чем у GPT-3; авторы связывают это с токенизацией чисел и плохой калибровкой оценок неопределённости. В совместном посте AWS и Decathlon (вендорский пост) цепочка моделей прогноза спроса шла от DeepAR (рекуррентная сеть) и Holt-Winters (статистический метод) через Temporal Fusion Transformer к Chronos-2 от Amazon; шага «спросим языковую модель» в посте нет.
15 октября 2026 года Mistral выпустил Timestral — четыре модели прогноза временных рядов от 5 до 209 миллионов параметров. Это каузальный трансформер (смотрит только назад по ряду), который режет ряд на патчи, то есть короткие отрезки. Прогноз на сутки вперёд по трём неделям 15-минутной истории занимает 17 мс у модели на 5 миллионов параметров и 113 мс у модели на 209 миллионов (серверный процессор, восемь потоков). Большая часть обучающих данных синтетическая, долю Mistral не называет. Mistral заявляет первое место самой крупной модели на трёх публичных бенчмарках (GIFT-Eval, TIME, fev-bench); технический отчёт обещан позже.
Коротко: трансформер из прогноза не уходил, изменилось, по-видимому, обучение. В 2022 году проиграли более ранние трансформерные модели. При этом Temporal Fusion Transformer стоит в цепочке Decathlon, а первый Chronos (2024) построен на языковой архитектуре T5. Модели 2022 года обучали на каждом наборе данных отдельно; Timestral — одна модель, предобученная на множестве рядов, в основном синтетических, и применяемая без обучения под данные. LLMTime тоже работал без обучения под данные, но на языковой модели, обученной на тексте. Первый Chronos превращал числа в токены из фиксированного словаря, а Chronos-2 принимает значения ряда напрямую. Это гипотеза автора поста: ни один из источников причинную связь не доказывает.
Заявление Mistral о первом месте — вендорское, независимо выигрыш в точности не показан. Специалист по прогнозированию Роб Хайндман 25 августа 2026 года писал, что общего сдвига в точности у таких моделей пока не видно, а главное изменение — операционное: одна предобученная модель прогнозирует новые данные без обучения под них. По сути это то же изменение, что названо выше, но оценка другая: удобство применения, а не рост точности. Хайндман ссылается на работу Мейера и соавторов о проверке таких моделей. Из 401 набора данных, на которых проверяли 22 модели, только 6% не входили в обучение или дообучение ни одной из 22, так что на остальных сравнения могут быть завышены.
Рецензируемого сравнения Timestral с настроенным бустингом не найдено. Единственная найденная независимая проверка на M5 — любительская (500 рядов, без рецензии, Timestral в ней не участвовал) — дала, по словам автора, почти ничью по MASE, ошибке относительно наивного прогноза (меньше — лучше): 0,760 у TimesFM-3 от Google, 0,763 у Chronos-2 и 0,766 у LightGBM (градиентный бустинг); автор не исключает, что M5 был в обучении моделей. Осторожный практический вывод автора поста: прежде чем заменять настроенный бустинг, сравнить с ним такую модель на своих данных, которых она заведомо не видела.
