Кастомизируем Spark UI

Когда работают джобки в спарк приложении, мы обычно видим только техническое описание. Но есть возможность написать что-то читаемое:

spark.sparkContext.setJobDescription(s"Merge into ${schema}.${table}")

spark.sql(mysql)

spark.sparkContext.setJobDescription("Count deleted rows")

df.filter(col("is_deleted") === true).count()

Если не менять описание, то все экшены будут подтягивать последнее

Вернуть к дефолтным можно так:

spark.sparkContext.setJobDescription(None)

На вкладке SQL все это тоже отображается

@data_engineerette