Прочитав книгу Архетектуры данных Джеймс Серра. Я для себя понял, купча разных баз которые были у меня развернуты в коробке и Hadoop с hive. К которым подключался dbeaver мне особо то и не нужны. Это все использовалось для тестов и написания прототипов проектов на работе, а сейчас я не работаю. Используя S3 с icberg таблицами и nessie каталогом я могу делать почти тоже самое но только в одном месте. Да запросы в Airflow выполняются дольше, зато некоторые вещи стало делать проще, и я могу не всегда приводить данные в табличный вид спокойно их храню как есть в S3, проще стало переделывать логику так как не нужно постоянно обращатся к источникам. Spark Sql отлично справляется с оптимезацией хранения icberg таблиц. Так что пока перевожу свои проекты на этот стек и все остальные контейнеры останавливаю.