Как тратить меньше времени на работу с данными?

В аналитике полно рутины: написать очередной SQL-запрос, почистить таблицу, проверить данные, обновить отчёт… На всё это уходит время, которое можно было бы потратить на сам анализ

Собрала несколько полезных приёмов, которые помогут работать быстрее и не делать одно и то же по десять раз

🤩 1. Подружись с горячими клавишами

Пара сочетаний, которые стоит запомнить:

DataGrip Ctrl + Alt + L / ⌥ + ⌘ + L — форматировать SQL-запрос Ctrl + Shift + / / ⌘ + Shift + / — комментировать блок кода Ctrl + Enter / ⌘ + Enter — выполнить запрос

Excel Ctrl + Shift + стрелки / ⌘ + Shift + стрелки — выделить диапазон Ctrl + T / ⌘ + T — создать таблицу Alt + = / ⌥ + ⌘ + = — добавить автосумму

Jupyter Notebook Shift + Enter — выполнить ячейку и перейти к следующей Ctrl + Enter / ⌘ + Enter — выполнить ячейку, оставшись на ней Ctrl + / / ⌘ + / — закомментировать строки

🤩 2. Используй магические команды Jupyter

Не все знают, что в Jupyter есть короткие команды для повседневных задач:

%time и %%time — замерить время выполнения кода %ls — посмотреть файлы в папке %pwd — узнать текущую директорию %who — посмотреть созданные переменные %%writefile — сохранить содержимое ячейки в файл

🤩 3. Попробуй Polars вместо Pandas

Если работаешь с большими датасетами и Pandas начинает тормозить, присмотрись к Polars. Это библиотека на Rust, которая хорошо справляется с фильтрацией, агрегациями и JOIN

Особенно полезна функция Lazy API: она позволяет оптимизировать вычисления и не загружать всё в память раньше времени

😏 4. Собери собственную библиотеку SQL-запросов

Необязательно каждый раз писать всё с нуля. Сохраняй удачные запросы и шаблоны, которые используешь регулярно:

JOIN и оконные функции поиск дубликатов и пропусков расчёт retention и когорт построение воронок проверки качества данных

Добавляй комментарии, чтобы потом не пришлось вспоминать, что делает запрос и зачем нужен каждый CTE

🤩 5. Автоматизируй повторяющиеся действия

Если каждую неделю ты выполняешь одинаковую последовательность операций, пора передать её коду

Например, можно автоматизировать очистку данных, загрузку файлов, обновление отчётов и отправку уведомлений об ошибках. Для этого подойдут Python-скрипты, cron или Airflow

🤩 6. Не пересчитывай одно и то же

Если тяжёлые вычисления нужны регулярно, используй кэширование, промежуточные таблицы и материализованные представления. Это поможет ускорить повторные запросы и обновление дашбордов

Как тратить меньше времени на работу с данными? | Сетка — социальная сеть от hh.ru Как тратить меньше времени на работу с данными? | Сетка — социальная сеть от hh.ru