Про интеграции

По сути сделать интеграцию самых разных компонентов - это основа дата инженерии. Но чем больше интеграций, тем медленнее до вас добираются новые фичи

🤔Ой как не сразу после начала работы в де дошла до меня эта концепция

Допустим, в айсберге появилась классная функциональность. Казалось бы, бери и пользуйся. Но неееет🤓

Сначала нужно дождаться, пока ее поддержит Spark. Потом Trino. Потом дата каталог. Потом что-то еще

И не факт, что все они реализуют поддержку одинаково

📆Между появлением фичи в одном проекте и ее полноценной поддержкой во всем стеке могут пройти годы. За это время в айсберг успеют выпустить еще несколько новых возможностей, которые снова придется ждать. И так по кругу🙂

А если поверх open source у вас еще и собственные велосипеды, то придется перелопачивать и свой код

😒В итоге получается парадокс: технологии развиваются очень быстро, но чем больше технологий вы используете вместе, тем сложнее за этим развитием успевать

@data_engineerette