Вакансия : Senior Data Engineer (Azure Databricks, Python)

Удаленный формат работы Ставка: $40 в час

Что предстоит делать: Определять и внедрять лучшие практики и стандарты разработки в рамках проекта. Проводить тщательный code review, контролировать соблюдение стандартов и высокое качество кода. Работать самостоятельно и в тесном взаимодействии с командой. Ставить команде понятные задачи и помогать организовывать ежедневный рабочий процесс. Регулярно взаимодействовать с клиентом. Проектировать, разрабатывать и поддерживать надежные и масштабируемые приложения на Apache Spark. Писать чистый, поддерживаемый и эффективный код в соответствии с лучшими практиками и стандартами. Оптимизировать код для повышения производительности и масштабируемости, обеспечивать эффективную обработку данных. Взаимодействовать с кросс-функциональными командами для создания качественных программных решений. Выявлять и устранять технические проблемы, обеспечивая надежность и стабильную работу приложений. Создавать и поддерживать подробную документацию по коду, процессам и рабочим процедурам.

Что мы ожидаем: От 5 лет практического опыта в разработке программного обеспечения. Глубокий практический опыт работы с Apache Spark, включая такие платформы, как Databricks и/или Azure Synapse/Fabric. Уверенное владение Python, хорошие навыки работы с данными с использованием Pandas/Polars и аналогичных инструментов. Хорошее понимание форматов колоночного хранения данных, особенно Parquet, а также практический опыт работы с Delta Tables. Подтвержденный опыт обработки, анализа и трансформации данных. Сильные аналитические и навыки решения проблем, внимательность к деталям. Практичный и прагматичный подход к работе: умение соблюдать стандартизированные процессы, сохраняя гибкость для достижения целей проекта. Отличные организационные навыки: способность самостоятельно планировать работу, расставлять приоритеты, структурировать задачи и соблюдать сжатые сроки. Хорошее понимание микросервисной архитектуры и принципов её реализации в масштабируемых системах.

Будет плюсом: Опыт работы с Azure Cloud или другими крупными облачными платформами, включая SaaS-сервисы: Service Bus, Data Lake, Blob Storage, Redis и другие. Знание FastAPI. Опыт работы с инструментами контейнеризации и оркестрации — Docker и Kubernetes.