Как я запилил ETL-конвейер из дров, матрешек и упрямства

Вот как работает мой «завод данных» - без доступа к БД, без бюджета, без команды, без коннектора, работающего по протоколу OLAP😅

🪆 Этап 1. 1С: Рабовлалец

Царство кривых (неструктурированных) зерКАЛ

Данные грязные (паутина, плесень, огрызок). Доступ к нормальным инструментам закрыт (это небезопасно). Вместо СКД - пользовательские поля, спрятанные за 7 замками, в которых я написал «матрешки» (без использования переменных). 🪆🪆🪆 выстраивает иерархию подчиненности через весовые коэффициенты должностей и подразделений 4-х уровней и многоуровневую сортировку по ним. Магия вуду, но она работает. На выходе - 4 чистых отчёта (штатка, приемы, увольнения, переводы).

🤖 Этап 2. RPA-робот: дрессура 1С ч/з PowerShell

Дальше в дело вступает робот на PowerShell. Он умеет то, что обычно делает человек: открывает 1С, жмёт на кнопки, вставляет ссылки, нажимает Ctrl+Ы (да, это боль!), формирует отчёты от текущей даты и сохраняет их в папки. Это не магия, это эмуляция через SendKeys и 1 минута терпения пока я пью кофе.

🔍 Этап 3. Power Query: цифровой детектив

Самый кайф 💉. Все 4 файла консолидируется в единый «Реестр кадровых событий». А потом LEFT OUTER JOIN от Реестра к Списку сотрудников. Он находит всех: работающих, уволенных, вновь принятых и переведённых. Ни одна душа не теряется. На выходе - список отклонений от данных прошлого аудита с пометкой «ЦЕЛЬ!».

📊 Этап 4. Аналитика: аудит за 5 минут

Финальный аккорд. Список отклонений улетает в электронные журналы для пока ещё «ручного режима» принятия решений по отклонениям. Аудит, который раньше занимал месяцы, теперь делается за минуты.

🤔 Почему это круто?

Команда внутренних разработчиков не справилась. Команда внешних разработчиков не справилась. Всё это построено не на «взрослом» стеке с Python и SQL, а на том, что было под рукой: VBA, M, PowerShell и чистый кураж.

Это реальный пример того, как можно автоматизировать сложный бизнес-процесс, не будучи программистом.

#автоматизация #ETL #1С #powershell #powerquery

Как я запилил ETL-конвейер из дров, матрешек и упрямства | Сетка — социальная сеть от hh.ru Как я запилил ETL-конвейер из дров, матрешек и упрямства | Сетка — социальная сеть от hh.ru