Beam 2.74.0: Spark 4 и новые возможности IcebergIO

2 июня вышел Apache Beam 2.74.0. Одно из главных изменений — поддержка Spark 4 Runner в Java SDK. Теперь Beam-пайплайны на Java можно запускать с помощью раннера для Spark 4.

Обновился и IcebergIO. При динамическом создании таблицы теперь можно задать порядок сортировки через sort_fields. Для записи добавили hash distribution mode и autosharding: распределение по хешу и автоматический подбор количества шардов во время выполнения.

Beam 2.74.0 больше не поддерживает Java 8, также удален Samza Runner. В Python SDK Beartype теперь по умолчанию используется для fallback-проверки типов. Отключить его можно через --disable_beartype.

17 июня вышел DuckDB 1.5.4. В релизе исправили чтение неверных строк при приведении VARIANT под фильтром и ситуацию, когда ignore_errors позволял принять JSON с лишними данными после корректного документа. Также поправили отдельные сценарии MERGE INTO и усилили проверки при декодировании и десериализации поврежденных данных, включая Parquet.