📊 Команда Qlever разработала DWH, которое помогает сети дискаунтеров объединить 15 ТБ данных для быстрой аналитики Источниками данных выступили кассовая система Set Retail на PostgreSQL и ERP-система на базе Oracle Symphony G.O.L.D.

❌ Что было не так:

• Данные по продажам, логистике, складскому учету приходилось выгружать и перепроверять вручную

• Нагрузка на текущую инфраструктуру была очень высокой, годовой отчет выгружался несколько десятков минут

• Производительность аналитических запросов напрямую к системам-источникам была низкой

💚 Ограничения проекта:

• Источник Oracle Symphony G.O.L.D не локализован, документация на французском языке

• Клиент хотел использовать только open-source стек, в том числе, настроенную ранее шину данных Apache Kafka

• Некоторые данные было важно получать на DDS за секунды, чтобы реализовать отчеты в режиме live

• Для отслеживания истории изменений требовалось обеспечить полную репликацию с версионностью для таблиц Oracle без первичного ключа

О том, как эксперты Qlever преодолели все вызовы проекта и реализовали корпоративное хранилище данных (DWH) для сети FMCG – читайте на нашем сайте 🚀

В описании проекта рассказываем о собственной разработке - консюмере на базе Kafka, который обеспечивает появление данных из Oracle на DDS уже через 30–40 секунд и позволяет создавать отчеты в режиме реального времени.