⚡️Требуется ETL-разработчик уровня middle+/senior!

Что вам предстоит:

  • Совместная работа с DBA-архитектором над ключевыми проектами;
  • Организация ETL-процессов: выгрузка данных Apache Hudi из S3 в ODS-слой на Greenplum;
  • Разработка трансформаций для переноса данных из ODS-слоя в DDS-слой;
  • Имплементация современных методов CDC (например, инкрементальный JOIN и вычисление хэшей с diff);
  • Создание plpgsql-функций и аналогичной логики на Spark для преобразования данных, в соответствии с Python/T-SQL кодом (MSSQL);
  • Разработка ad-hoc аналитических запросов для PostgreSQL и Greenplum;
  • Создание DataQuality-тестов для скриптовых ETL (Python, Java или Scala);
  • Работа с AirFlow, разработка DAGs;
  • Мониторинг и оптимизация производительности ADB (Greenplum).

Наши ожидания:

  • Уверенные знания PostgreSQL и Greenplum;
  • Понимание механизма выполнения запросов в Greenplum, работы QE/QD, а также умение анализировать планы запросов (redistribute, broadcast, gather motions);
  • Знание механизмов дистрибуции данных в Greenplum и методов исправления перекосов (skews);
  • Опыт работы с Heap и AOP таблицами в Greenplum, включая ограничения колоночного хранения данных;
  • Знание моделей данных: звезда, снежинка и DataVault;
  • Опыт работы с Greenplum, PXF, gpfdist, AirFlow, Spark, Scala — обязателен.

Условия:

  • Возможность работать удаленно, в гибридном формате или в офисе на ваш выбор;
  • Минимум бюрократии и максимум свободы;
  • ДМС для развития компетенций и здоровья сотрудников;
  • Активная корпоративная жизнь: от походов в музеи до совместных путешествий и вечеринок;
  • Гибкий график начала рабочего дня.

Процесс найма: Мы ценим ваше время и быстро принимаем решения: HR интервью → техническое собеседование → оффер.

Присоединяйтесь к команде, где ваша экспертиза станет основой значимых проектов!