Несколько недель назад закончился один этап моей карьеры, который начался с попытки автоматизировать Excel-форму на практике, на четвёртом курсе, а закончился выстроенной системой BI-отчётности. Я принял предложение другой компании и теперь работаю в IT-команде. Пришло время честно подвести итоги.

Почти два года я работал на ощупь. BI-направление появилось не потому, что кто-то заранее спроектировал архитектуру, а потому что складывалось прямо в работе: я сам разбирался с источниками, строил DWH и витрины, собирал дашборды, настраивал обновление и параллельно пытался понять, как это должно быть устроено по науке.

Начиналось с производственной отчётности на MySQL и Polymatica Dashboards. Главной проблемой тогда была рутина: подготовка данных для презентаций отнимала у людей несколько часов каждый день (в пересчете на все проекты). Первым результатом стало простое избавление от этой ручной работы, дашборд заменил привычные презентации.

Дальше подход расползался на другие направления, и каждый проект требовал искать решение заново. Для HR-аналитики на пару с руководителем работали с данными из CRM: собрали интеграцию через Python и API, настроили автообновление на bash и cron. Решение, начавшееся для одного подразделения, в итоге масштабировали на весь холдинг.

Параллельно я сводил ручной Excel и Bitrix24, объединял данные из пяти баз 1С, собирал простой ETL на Loginom.

Самым крупным проектом стал МТО, основной проект 2026 года. Здесь появились ClickHouse и DWH с большим массивом данных из 1С, архитектура со слоями stage, core, mart, ETL и ELT на SQL и Python, Git для версионирования.

Именно в этом проекте появились результаты, которые лучше всего показывают смысл этой работы: автоматизация отчётов, которые раньше собирали вручную каждый месяц, выявление рисков на значительные суммы, BI-контроль материально ответственных лиц, кастомные визуализации на HTML/CSS/JS для контроля каждого ЦФО.

Если собрать весь стек, путь получился объемным для человека, который начинал с одной Excel-формы: MySQL, ClickHouse, MSSQL, Python, API, Loginom, Git, bash, cron, 1С УПП/УХ/ЗУП, Polymatica и Power BI.

Список технологий не главное. Важнее, что большую часть этих вещей я осваивал не потому, что они были заложены в роль заранее, а потому что конкретная задача требовала решения. Я научился смотреть на BI не как на набор дашбордов, а как на систему от бизнес-проблемы до работающего процесса: источники, интеграции, хранение, преобразования, витрины, обновление, контроль качества и люди, которые всем этим пользуются.

Сейчас я перехожу в среду, где многое из этого уже существует: другой стек, отдельная IT-команда, Git и выстроенные процессы разработки, архитектура DWH, специалисты с разными зонами ответственности.

Интереснее технологий оказалось другое отношение бизнеса к BI: похоже, это тот самый data-driven подход, который работает. Там, откуда я ухожу, аналитику часто приходилось сначала заслужить. Здесь она уже часть повседневной работы, и её ценность не нужно доказывать с нуля.

Когда долго строишь всё сам, хорошо понимаешь, почему одни решения работают, а другие разваливаются по мере роста. Но не всегда видишь, как выглядел бы тот же процесс, если бы его проектировали заранее, с распределёнными зонами ответственности и накопленной экспертизой команды.

Теперь есть возможность увидеть это с другой стороны: то, что построил сам, дало понимание сути вещей, а новая среда даёт шанс сравнить этот опыт с более зрелым подходом и двигаться дальше, в сторону Data Engineering.