UPD: Когда под анонсом в канале Яндекса я поделился своими изысканиями, мне прислали ссылку на открытый бенчмарк TabArena (см 2я картинка). Выводы там в целом аналогичны моим: метрики LightGBM статистически значимо не отличаются от TabPFN.

Но, к удивлению, есть другой лидер — RealMLP (Better by Default: Strong Pre-Tuned MLPs and Boosted Trees on Tabular Data). Как видно из названия, это тоже MLP, но со всеми известными улучшениями: дефолтные параметры модели предварительно подобрали на открытых датасетах, квантильное преобразование признаков, smooth clipping для борьбы с выбросами и scaling layer (перемножение вектора признаков с диагональной матрицей весов) для первичного отбора признаков. И всё это ещё лучше работает в ансамбле с бустингом, с использованием SELU/Mish в качестве функций активации и так далее.

В итоге я обновил свой предыдущий подход (см 1ю табличку), и действительно, результат как будто лучше, чем у бустинга. RealMLP - подтверждаю, работает быстро, сразу из коробки, гиперпараметры тюнить не надо. Можно тестировать на рабочих задачах.