Уровень: Senior Формат: удалённо Локация: РФ, РБ Длительность проекта: 6 месяцев+ Зарплата по итогам собеседования с руководителем О проекте Наш клиент — технологическая компания, развивающая высоконагруженные решения и инфраструктуру для работы с большими объёмами данных. В команду требуется Senior Data Engineer, который будет заниматься развитием потоков данных, проектированием витрин и развитием архитектуры DWH.

Чем предстоит заниматься Проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов; реализовывать кастомные трансформации данных; проектировать и создавать прототипы и аналитические витрины; анализировать производительность существующих решений и заниматься их масштабированием; оптимизировать SQL-запросы и структуры баз данных; разрабатывать процедуры на PL/pgSQL; участвовать в развитии архитектуры DWH; анализировать и выбирать оптимальные технологии, методологии и инструменты для работы с данными; создавать и актуализировать базу знаний для пользователей DWH; сопровождать и мониторить информационные системы в зоне ответственности; взаимодействовать с командой разработки и другими участниками проекта.

Что обязательно Опыт работы Data Engineer от 5 лет; обязательный коммерческий опыт работы с ClickHouse; обязательный опыт работы с Trino; опыт работы с Apache Airflow; понимание принципов построения хранилищ данных (DWH); понимание архитектур MPP-систем; практический опыт работы с Data Engineering-инструментами и технологиями: HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume и/или аналогами; уверенное знание SQL; опыт работы с MS SQL, включая DDL и DML; навыки оптимизации SQL-запросов; опыт работы с PostgreSQL; опыт работы с Git; навыки работы в Jira и Confluence; понимание процессов сопровождения и мониторинга информационных систем.

Будет плюсом опыт работы с Greenplum; опыт работы с Hadoop; дополнительные знания и инструменты в области Big Data; опыт проектирования и оптимизации высоконагруженных DWH-систем.

Ключевой стек Data Engineering: HDFS · YARN · Spark · Kafka · NiFi · Sqoop · Flume DWH / Big Data: ClickHouse · Trino · Greenplum · Hadoop Databases: PostgreSQL · MS SQL ETL/ELT: Airflow и другие инструменты Development & Collaboration: PL/pgSQL · Git · Jira · Confluence

Кого мы ищем Нам нужен самостоятельный Senior Data Engineer, который не только умеет разрабатывать ETL/ELT-пайплайны, но и понимает архитектуру DWH, принципы работы MPP-систем и умеет находить узкие места в производительности. Особенно важен глубокий практический опыт с ClickHouse и Trino — это обязательные требования проекта.

Готовность к проекту — в ближайшее время.