Отрасль: нефтегазохимия Планируемый старт: 10 ноября 2026 года Планируемое завершение: 31 декабря 2026 года Продолжительность: краткосрочный проект (около 7 недель)

О проекте Ищем Data Engineer для работы с интеграцией и обработкой данных в аналитической базе данных Vertica. В рамках проекта необходимо обеспечить загрузку данных из различных источников, включая Excel-файлы и корпоративные информационные системы (SAP BW, SAP BPC, Oracle и другие), в Vertica. Также предстоит анализировать и корректировать существующие SQL-скрипты и ETL-трансформации в связи с изменением источников данных.

Основные задачи

Организация и настройка загрузки данных из Excel и корпоративных систем (SAP BW, SAP BPC, Oracle и других) в Vertica. Разработка и настройка ETL-процессов и интеграционных потоков данных. Работа с Apache NiFi и Airflow / Python для организации и автоматизации загрузок. Анализ существующих SQL-скриптов в Vertica. Корректировка SQL-запросов и трансформаций данных при изменении источников. Настройка обмена данными между различными СУБД и аналитическими системами. Разработка и поддержка регламентных загрузок данных. Обеспечение отказоустойчивости интеграционных интерфейсов. Настройка мониторинга загрузок, контроль корректности и стабильности передачи данных. Документирование интеграционных зависимостей и процедур эксплуатации. Обязательные требования Опыт работы от 3 лет в системной интеграции или разработке ETL-процессов. Практический опыт работы с Vertica. Опыт интеграции и настройки обмена данными с Vertica, PostgreSQL, Oracle, MS SQL или другими аналитическими СУБД. Практическое владение инструментами Apache NiFi и Airflow / Python. Экспертный уровень владения SQL. Опыт разработки отказоустойчивых интерфейсов интеграции и регламентных загрузок. Навыки проектирования и реализации интеграционных интерфейсов для передачи данных. Опыт настройки мониторинга и контроля загрузок. Умение документировать интеграционные зависимости и эксплуатационные процедуры. Дополнительные технические навыки Знание Python. Знание Java, Scala и/или C++ / C#. Способность быстро осваивать новые языки программирования и технологии. Опыт работы с корпоративными источниками данных, включая SAP BW, SAP BPC и Oracle. Портрет кандидата Ищем Data Engineer с сильной экспертизой в SQL, ETL и интеграции данных, который способен самостоятельно разобраться в существующих процессах загрузки, внести изменения в трансформации и обеспечить корректную передачу данных в Vertica. Особенно важен практический опыт работы с Vertica, Apache NiFi и Airflow, а также понимание принципов построения отказоустойчивых ETL-процессов. Ключевой фокус проекта: перенос данных из различных источников в Vertica и адаптация существующих SQL-трансформаций под изменяющиеся источники данных.