Вакансия : 🚀 Data Engineer
Направление: Data Engineering / DWH / ETL Уровень: Middle+ Удаленка Заработная плата по итогам собеседования с руководителем Ищем Data Engineer, который умеет превращать разрозненные данные в надёжные и понятные бизнес-процессы. В этой роли вы будете работать с DWH, ETL, потоками загрузки и особенно важной задачей — формированием пакетов данных для передачи в БКИ (бюро кредитных историй) в соответствии с методологией БКИ. Если вам интересно проектировать хранилища, выстраивать устойчивые data-пайплайны, ускорять SQL-запросы и автоматизировать обработку данных, эта позиция может вам подойти.
🎯 Чем предстоит заниматься ETL и DWH Разрабатывать, поддерживать и оптимизировать ETL-процессы. Создавать процессы загрузки и трансформации данных из мастер-систем. Разрабатывать новый функционал и улучшать существующие решения в контуре DWH. Находить узкие места, проводить рефакторинг и повышать эффективность текущих решений. Оркестрация и мониторинг Настраивать и сопровождать оркестрацию data-процессов. Разрабатывать алертинг и мониторинг выполнения процедур. Контролировать стабильность загрузок и качество данных. Быстро выявлять и устранять сбои в процессах обработки данных.
Работа с данными Проектировать надёжные и масштабируемые потоки загрузки данных. Разрабатывать объекты баз данных. Участвовать в проектировании архитектуры хранилищ данных. Формировать подробные спецификации Source-to-Target Mapping. Готовить проектную и техническую документацию.
Отчётность и визуализация Создавать объекты бизнес-отчётности. Разрабатывать информативные отчётные панели и визуализации. Работать с SuperSet и Power BI. Взаимодействие Работать со смежными командами и внутренними заказчиками. Помогать переводить бизнес-требования в понятные технические решения. Участвовать в согласовании требований, архитектуры и подходов к реализации.
✅ Что важно для этой роли Обязательно: От 3 лет опыта в Data Engineering, включая практический опыт проектирования объектов баз данных, потоков загрузки и архитектуры DWH. Практический опыт формирования пакетов данных для передачи в БКИ согласно методологии БКИ. Опыт моделирования баз данных. Уверенное владение Python. Уверенное знание MS SQL Server либо PostgreSQL / Greenplum. Знание аналитических функций SQL. Опыт оптимизации SQL-запросов. Практический опыт работы с промышленными ETL-инструментами и системами обработки данных.
🛠 Технологический стек Python · MSSQL · PostgreSQL · Greenplum · Airflow · Debezium · ClickHouse · DWH · ETL · SuperSet · Power BI Опыт работы с Credit Registry будет существенным преимуществом.
⭐ Будет плюсом Опыт работы с Credit Registry. Глубокое понимание методологии и форматов взаимодействия с БКИ. Опыт построения и сопровождения высоконагруженных DWH/ETL-процессов. Опыт автоматизации мониторинга и контроля качества данных.
🔎 Кого мы ищем Нам нужен специалист, который видит картину целиком и уверенно работает на всех этапах data-процесса: от подключения источников и проектирования потоков до формирования витрин, подготовки отчётности и передачи данных во внешние системы. Вы будете особенно ценны, если уже работали с БКИ на практике и понимаете, как формировать корректные пакеты данных в соответствии с установленной методологией. Реальный опыт работы с БКИ — ключевое требование этой позиции.