2017–2021: как платформа обрастала инструментами
С ростом Greenplum команда вновь вернулась к вопросам надежности: был развернут третий кластер для DR, а внутренний дистрибьютор данных заложил фундамент будущей мультикластерной архитектуры. В 2017–2021 платформа быстро росла, и почти каждая новая задача получала отдельный инструмент. Нужен быстрее ETL - появлялся свой контур. Нужен каталог - появлялся отдельный сервис. Нужны быстрые аналитические сценарии - добавлялся новый движок. Локально все выглядело разумно, но в итоге система стала перегруженной: количество компонентов росло быстрее, чем появлялось единое понимание архитектуры и согласованность между командами. Стало понятно, что для следующего этапа потребуется уже другая архитектурная модель.
