Как тратить меньше времени на работу с данными?
В аналитике полно рутины: написать очередной SQL-запрос, почистить таблицу, проверить данные, обновить отчёт… На всё это уходит время, которое можно было бы потратить на сам анализ
Собрала несколько полезных приёмов, которые помогут работать быстрее и не делать одно и то же по десять раз
🤩 1. Подружись с горячими клавишами
Пара сочетаний, которые стоит запомнить:
DataGrip Ctrl + Alt + L / ⌥ + ⌘ + L — форматировать SQL-запрос Ctrl + Shift + / / ⌘ + Shift + / — комментировать блок кода Ctrl + Enter / ⌘ + Enter — выполнить запрос
Excel Ctrl + Shift + стрелки / ⌘ + Shift + стрелки — выделить диапазон Ctrl + T / ⌘ + T — создать таблицу Alt + = / ⌥ + ⌘ + = — добавить автосумму
Jupyter Notebook Shift + Enter — выполнить ячейку и перейти к следующей Ctrl + Enter / ⌘ + Enter — выполнить ячейку, оставшись на ней Ctrl + / / ⌘ + / — закомментировать строки
🤩 2. Используй магические команды Jupyter
Не все знают, что в Jupyter есть короткие команды для повседневных задач:
%time и %%time — замерить время выполнения кода %ls — посмотреть файлы в папке %pwd — узнать текущую директорию %who — посмотреть созданные переменные %%writefile — сохранить содержимое ячейки в файл
🤩 3. Попробуй Polars вместо Pandas
Если работаешь с большими датасетами и Pandas начинает тормозить, присмотрись к Polars. Это библиотека на Rust, которая хорошо справляется с фильтрацией, агрегациями и JOIN
Особенно полезна функция Lazy API: она позволяет оптимизировать вычисления и не загружать всё в память раньше времени
😏 4. Собери собственную библиотеку SQL-запросов
Необязательно каждый раз писать всё с нуля. Сохраняй удачные запросы и шаблоны, которые используешь регулярно:
JOIN и оконные функции поиск дубликатов и пропусков расчёт retention и когорт построение воронок проверки качества данных
Добавляй комментарии, чтобы потом не пришлось вспоминать, что делает запрос и зачем нужен каждый CTE
🤩 5. Автоматизируй повторяющиеся действия
Если каждую неделю ты выполняешь одинаковую последовательность операций, пора передать её коду
Например, можно автоматизировать очистку данных, загрузку файлов, обновление отчётов и отправку уведомлений об ошибках. Для этого подойдут Python-скрипты, cron или Airflow
🤩 6. Не пересчитывай одно и то же
Если тяжёлые вычисления нужны регулярно, используй кэширование, промежуточные таблицы и материализованные представления. Это поможет ускорить повторные запросы и обновление дашбордов