Очередной совет недели будет для любителей покрутить данные с помощью Spark: Часто (например, для корректного сравнения) нужно кастить числовые значения из одного формата в другой. Нужно держать в голове тот факт, что по умолчанию .cast(“decimal”) даст decimal(10,0) -> по сути целочисленное число. При этом никаких ошибок вы не встретите, просто потеряете часть данных. Поэтому всегда нужно сразу задавать точные значения, например: .cast(“decimal(38,18)”)