Что скрывается под верхушкой айсберга данных? 🧊
Долгое время Data Warehouse и Data Lake существовали как два разных мира. Один — про порядок, структуру и контроль. Другой — про свободу, гибкость и огромные объёмы данных.
И пока одни выбирали между структурой и гибкостью, технологии решили пойти другим путём — взять лучшее от обоих подходов.
Так в этой истории появился Apache Iceberg. Он помогает превратить озеро из простого набора файлов в управляемую систему с транзакциями, историей изменений и возможностью вернуться к предыдущему состоянию данных.
Вячеслав Сухих, ведущий разработчик в ГНИВЦ, решил проверить это на практике. Он собрал локальный стенд со Spark, MinIO и REST-каталогом, заглянул внутрь метаданных, проследил за жизнью таблицы после UPDATE и разобрался, как работает Apache Iceberg.
А что именно происходит под поверхностью этого технологического айсберга — Слава рассказал в статье🔗
