Почему отчёты расходятся на 5 млн: иллюзия темпоральности в корпоративных данных Два отчёта по одной компании показывают разную выручку. ИТ виноваты? Нет. Виновата архитектура хранения данных. Финансовый директор открывает два отчёта за один и тот же год. Старая система говорит: 150 миллионов рублей. Новая CRM — 145 миллионов. Разница в 5 миллионов рублей, и первая реакция предсказуема: «ИТ что-то сломали при миграции». Начинается поиск виноватых, разборы полётов, объяснительные. Но скрипты миграции здесь ни при чём. Проблема называется иначе — иллюзия темпоральности. Это когда система хранит только последнее известное состояние данных, игнорируя то, что реальный бизнес меняется непрерывно. Клиенты переезжают, меняют сегменты лояльности, паспортные данные. Товары проходят ребрендинг. Сотрудники переходят из отдела в отдел. Если зафиксировать только сегодняшний срез — прошлое в отчётах неизбежно исказится. ▍ Что такое SCD и почему это не только для дата-инженеров Методология Slowly Changing Dimensions — медленно меняющиеся измерения — была формализована Ральфом Кимбаллом, одним из основоположников теории хранилищ данных. По сути, это набор стратегий: как именно система должна реагировать, когда описательный атрибут объекта меняется. Клиент переехал из Казани в Москву — что делать с его историческими продажами? Это не вопрос для дата-инженера в вакууме. Это архитектурное решение, которое принимается совместно с бизнесом и определяет, насколько достоверной будет аналитика на годы вперёд. CIO, который не участвует в этом разговоре, рискует получить красивую витрину данных, которая врёт. ▍ Четыре типа стратегий — и где каждый ломается Типов SCD несколько, и у каждого есть своя область применения — и свои точки отказа. • Тип 0 — фиксированные атрибуты. Дата рождения, год открытия счёта — данные, которые не меняются никогда. Основа стабильной идентификации. • Тип 1 — перезапись. Новое значение затирает старое. Подходит только для исправления явных ошибок ввода. Применять для реальных бизнес-изменений — значит гарантированно получить те самые «пропавшие» 5 миллионов: историческая отчётность пересчитается задним числом. • Тип 2 — добавление новой строки. Основной рабочий инструмент. При изменении атрибута старая запись закрывается с датой окончания, новая открывается с текущей датой. Позволяет восстановить состояние данных на любой момент в прошлом. • Тип 3 — добавление нового столбца. Хранит одно предыдущее значение. Даёт ограниченное сравнение «было — стало», но для полноценного исторического анализа не подходит. • Типы 4 и 6 — гибридные подходы. Тип 4 разделяет основную и историческую таблицы для производительности. Тип 6 объединяет механизмы типов 1, 2 и 3 — для тех, кому нужны…

— ВКонтакте Одноклассники Дзен Telegram Habr TenChat LinkedIn