Недавно у меня начал падать префлайт-гейт (при запуске приложения, система проверяет доходность модели на исторических данных). В сентябре и октябре произошло множество неожиданных событий, которые не укладываются в обученные xgboost и lgtm.

Мы собрали больше данных, сгенерировали около 200 гипотез, проверили каждую по порядку, но не нашли рабочего подхода, который бы приводил к прибыли на исторических данных. Нет ни цикличности за 100 лет, ни какого-либо связного движения с лагом. Есть небольшая опора на новости, но я осознанно убрал LLM из критичного пути.

Интуитивно я чувствовал, что ответ нужно искать среди материалов того времени, когда не было ЕГЭ.

Брошюра академика В.И. Арнольда “Жесткие и мягкие математические модели” никогда мне раньше не попадалась. Она написана в переломный момент - в начале реформирования академической науки в России.

Цитата из главы про оптимизацию отлова рыбы:

Оптимизация параметров плана может приводить (и приводит во многих случаях, из которых наша модель - лишь простейший пример) к полному уничтожению планируемой системы вследствие возникающей из-за оптимизации неустойчивости.

Устойчивость восстанавливается если заменить жесткое планирование обратной связью.