Последние 10–15 лет проходят в том числе под знаменем Big Data. Благодаря которому бизнес обладает возможностью, например, строить прогностические ML-модели и визуализировать результаты сложных процессов в виде информативных дашбордов.

Однако речь идет не только о конечных инструментах. Своеобразным «посредником» стали DWH. Ибо корпоративные БД мало того, что адаптированы под целевую логику, отличную от аналитической, так еще и специфические запросы к ним способны запросто положить работу сервисов. Поэтому в качестве определенной прослойки используют другую БД, куда импортируют сырую либо уже предобработанную информацию.

Как рассказывал ранее, стандартом для DWH является ClickHouse. Эта СУБД эффективно работает с большими объемами данных в силу колоночности, пакетной обработке, императивного параллелизма, движка MergeTree и специализированных кодеков, сжимающих информацию в 10 раз сильнее, чем известные реляционные аналоги. Тем не менее существенным изъяном ClickHouse остаются JOIN’ы, поскольку запросы там целиком проглатывают правые таблицы. Из-за чего желательно строить там плоские таблицы, а не организовывать архитектуру «звездочка», когда центральная таблица с фактами связана с несколькими справочниками.

Но что делать, если бизнес-логика обязывает использовать именно «звездочку»? В таком случае уместно обратить внимание на GreenPlum. Эта аналитическая СУБД была создана на основе PostgreSQL, в котором применение больше одного JOIN’а не окажется серьезным вызовом. Вдобавок ко всему встроенное шардирование в GreenPlum обеспечивает масштабируемость хранения и манипуляций с информацией размером вплоть до 10 ТБ. Единственное, что за подобные блага приходится расплачиваться сложностью настройки под конкретные нужды.

Также необходимо отметить, что как такового официального Docker-образа GreenPlum нет. В связи с чем рекомендуется обратить внимание на форки. В частности, в контексте импортозамещения и согласованности с требованиями ФСТЭК будет актуальна GreenageDB от отечественной компании ArenaData.

Что выбрать: ClickHouse или форк GreenPlum? Зависит прежде всего от бизнес-логики, а не от того, что сейчас является стильным, модным и молодежным. Из-за чего вдумчиво и критически нужно подходить к вопросу выбора СУБД для DWH, а не слепо полагаться на то, что посоветует LLM.