Кто уже использует Iceberg v3?

Недавно наткнулась на Apache Iceberg Compatibility Matrix. В этой табличке можно посмотреть поддержку фичей в разрезе движков. И нет ни одного, который бы поддерживал все - ну, а как иначе🫠

Фичи протегированы версиями, и можно наглядно посмотреть конкретно v3. В стабильном виде эта спека появилась в мае этого года в релизе 1.11, и там есть:

➡️бинарные delete-векторы ➡️новый тип VARIANT ➡️точность timestamp до наносекунд ➡️поддержка default values ➡️гео типы

А в релизе 1.12 от 30.09 уже пошла подготовка к v4! И там добавили относительные пути!!😝

Теперь вместо s3://bucket/path-to-table/data/file.parquet в манифестах будет записано просто data/file.parquet

Ну вот надо было изначально все усложнять, чтобы потом с блеском решить глобальную проблему?😑

В той же v4 конкретно будет переделываться структура меты на адаптивное дерево с root манифестом. Умный доклад можно посмотреть тут

@data_engineerette