Октябрь 2025 года. Я выхожу на позицию аналитика в Департамент предпринимательства Москвы. Вводные данные: единой базы нет, от банков сыплются неструктурированные Excel-файлы, всё сводится ручками, из-за чего вылезает куча ошибок. Классика! Терпеть это было невозможно, поэтому я разработал и внедрил первую в департаменте автоматизированную ETL-систему на базе Power Query. Что получилось за 8 месяцев работы: 1-Собрал, очистил и нормализовал исторические данные за 4 года — это более 1 000 000 строк из выгрузок разных банков. 2- Сократил время обработки отчетов с 2-3 дней до 5-10 минут (ускорение в 200 раз!) и полностью исключил человеческий фактор. 3-Прописал универсальные правила трансформации: теперь нам неважно, в каком формате банк пришлет данные в следующий раз. 4-Внедрил автоматический детектор аномалий (кривые ОКВЭДы, дубли, превышения лимитов). 5- Нашел более 20 ошибочно выданных льготных кредитов, а по одному из нарушений мы даже инициировали возврат бюджетной субсидии.

А как у вас обстоят дела с легаси-отчетами? Лечите или терпите? 👇