Data Engineer 📍7RedLines (удаленка)
Опыт работы: 2–3 года Полная занятость Зарплата: 140 000 – 200 000 р.
Мы ищем Data Engineer для разработки и поддержки ETL-процессов, обеспечивающих загрузку, обработку и хранение данных. Вам предстоит работать с Airflow, Hadoop (PySpark), S3 (minio) и PostgreSQL, чтобы создавать надежные и масштабируемые пайплайны данных.
Основные обязанности: • Разработка и поддержка ETL-пайплайнов в Apache Airflow • Загрузка данных из различных источников (API, базы данных, файлы) и их сохранение в S3 • Обработка больших данных с помощью PySpark в Hadoop-кластере • Оптимизация производительности Spark-задач (партиционирование, кэширование, настройка ресурсов) • Выгрузка результатов обработки в PostgreSQL • Мониторинг и обеспечение надежности пайплайнов • Взаимодействие с аналитиками и разработчиками для уточнения требований
Мы ожидаем: • Опыт работы с Apache Airflow версии 2.0 и выше (написание DAG, сенсоры, операторы), от 3х лет • Знание PySpark и опыт работы с Hadoop (HDFS, YARN), от 2х лет • Умение работать с облачными хранилищами (S3 или аналоги) • Опыт работы с PostgreSQL (оптимизация запросов, партиционирование), от 2х лет • Понимание принципов распределенных вычислений • Уверенные знания Python и SQL (оптимизация запросов), от 3х лет • Желателен опыт с Docker, Kubernetes (для оркестрации)
Откликнуться: @HR7RedLines ➡️Если Вы хотите размесить свою вакансию или свое резюме — @natalie_spacehub ➡️Если Вы хотите сделать продающее резюме или прийти на карьерную консультацию — @Liudmila_Shiva 📩По вопросам сотрудничества писать сюда —@Liudmila_Shiva #vacancy #вакансии@careerYlej
