🤨 Лучшие ресурсы для изучения Spark & PySpark
ДОКУМЕНТАЦИЯ И ХЭНДБУКИ
• Official Apache Spark Documentation (актуально: Spark 4.2) • PySpark API Reference • Основы PySpark — Microsoft Learn / Azure Databricks • Learning Spark, 2nd Edition — код и ноутбуки • Spark: The Definitive Guide — код • Кухня данных — раздел про Spark • Знакомимся с PySpark — OTUS на Хабре • PySpark: как работает модуль Python — Skillfactory • PySpark для анализа Big Data — Skypro Wiki
КУРСЫ — БЕСПЛАТНО
• Фундамент PySpark — DataTalks • Обработка больших данных с Apache Spark — Yandex Cloud (теория бесплатно) • Курс по обработке данных на PySpark и Python — Elevify (freemium) • Курс по машинному обучению на PySpark — Elevify (MLlib; freemium) • Big Data и Data Science — Stepik (Spark — один из блоков) • DE-101 — DataLearn (GitHub) • Spark: PySpark — Great Learning Academy
ПЛАТНЫЕ КУРСЫ
• Введение в pySpark: Spark на Python — Stepik (~990 ₽) • PySpark для инженеров и аналитиков данных — NovaData • Spark-разработчик — OTUS (углублённо; часто со Scala)
ТРЕНАЖЁРЫ И ПРАКТИКА
• Практические ноутбуки Learning Spark • Материалы к вебинару Агапова • LeetCode — Database → решать через Spark SQL • HackerRank — SQL → переписывать на PySpark
ВИДЕО
• Введение в PySpark и SparkSQL — Олег Агапов / DataLearn • PySpark Tutorial — freeCodeCamp С чего начать? 1️⃣ Обзор → Хабр / Skillfactory 2️⃣ База → Фундамент DataTalks или Stepik 3️⃣ Практика → Microsoft Learn + вебинар Агапова + его GitHub 4️⃣ Для ML / подготовки данных → Elevify ML или Big Data School DPREP 5️⃣ Облако → Yandex Cloud Перед стартом необходим уверенный Python и SQL (джоины, группировки, оконки). Базовый pandas — большой плюс
🫵 Сохраняйте, дополняйте в комментариях