Excel оказывается может. ETL силами главного софта столетия
До недавних пор я был уверен, что единственный способ справиться с недостатками MS Excel или Google Sheets – перейти в плоскость кода. Причем в начале своего карьерного пути будучи еще юным аналитиком я был наивен полагать, что начав кодить, экселить больше не придётся. Но побыв достаточно в шкуре бизнес-аналитика, и находясь на рубеже общения с бизнес-пользователями, я быстро осознал, что разменной монетой является файл .xlsx, а всякий там код - это только для меня. Так я и работал с обоими инструментами одновременно на протяжении многих лет, потому что это был лучший вариант. Хотя это решение и не на 100% устраивало меня, потому что в пайплайне «входящий эксель –> первичная обработка –> код python –> исходящий эксель» код всегда являлся черным ящиком для внешних пользователей. И пока я работал с воркфлоу один, это не было проблемой, но если мне надо было передать процесс другому человеку, то часто мне приходилось костылить перекладку кода python в эксель. Немного помогал VS Basic, но там та же проблема - клиент скорее всего не сможет заглянуть под капот и настроить обработку в случае надобности.
Откровением для меня стало недавнее открытие целого ряда приложений по построению воркфлоу обработки файлов эксель (как частный случай). И тут я понял, что в свое время похоже перескочил одну ступень эволюции аналитика. Знай я об этом типе софта раньше, мой путь аналитика данных был бы в разы проще и на порядок интереснее. Мне кажется, что такой же перескок делают многие, поэтому я подготовлю несколько статей на эту тему для вас. Подписывайтесь и читайте. В первой статье я расскажу зачем такой тип софта вообще нужен и какие проблемы решает. В последующих - покажу как он работает.