Только что завершился первый день конференции SmartData — целиком посвященной инженерии данных. Участвовал онлайн и получил массу полезностей от технических докладов — от MLOps и отказоустойчивости до внутреннего устройства баз данных. Хочу выделить два доклада, которые особенно для меня полезны: Анастасия Афанасьева (GlowByte) — «Использование кодеков в ClickHouse: преимущества и недостатки» Анастасия разобрала, как такие кодеки, как LZ4, ZSTD и Delta, помогают сжимать данные и ускорять запросы. Но главное — она говорила о практических вызовах: нагрузка на CPU, зависимость от типа данных и риски неправильной настройки. Дмитрий Морозов («Безопасный транспорт») — «Как мы улучшили процессы по работе с данными в Airflow: практические кейсы» Дмитрий поделился реальным опытом оптимизации Airflow. Переход от sensors к Datasets, кастомные плагины для работы с датами и плавающее окно для ожидания файлов — та самая магия, которая поможет мне решить конкретные боли. Общее впечатление: полезный день. Хотя, думаю, офлайн-участие дало бы больше возможностей. Жду второй день конференции!

#SmartData #ИнженерияДанных #DataEngineering #ClickHouse #Airflow #Конференция #MLOps #DWH