Всем привет! Меня зовут Андрей и я Data Engineer с большим опытом работы в проектах различной направленности. В моём арсенале классический стэк для моей позиции: Python, Apache Airflow, Apache Spark, dbt и Apache Kafka.    На предыдущем месте работы с нуля интегрировал Airflow и Spark в процесс обработки и транспортировки данных в DWH, существенно увеличив отказоустойчивость системы и снизив время обновления таблиц в DWH на ~60-70%. Также внедрил практику валидации данных, создав кастомные вариаторы на Python+Pandas и систему графов в Airflow.    На текущем месте работы усовершенствовал инкрементальную выгрузку данных (~500 млн. строк в день), используя built-in возможности Airflow и Spark, ускорив выгрузку на ~20% и увеличив "пропускную" способность пайплайна в 1.5 раза. Также активно занимаюсь улучшением QoL команды путем автоматизации различных рутинных вещей (генерация dbt-моделей, очистка/пересоздание витрин в ClickHouse, etc.).    Всё вышеописанное, естественно, сопровождалось разработкой и тестированием ETL- процессов (создание графов в Airflow, написание скриптов на Python с использованием Spark/Pandas/Requests/Asyncio/etc) и выполнением рядовых задач для команды аналитики (создание/обновление витрин и таблиц, проверка чистоты данных).

Если кто-то зарепостит - буду очень благодарен!