Платформа данных нужна для обработки данных — это очевидно. Но вот вопрос интереснее: как все эти данные туда вообще попадают?

В T мы загружаем порядка 27 тысяч различных таблиц, а ежедневный инкремент тянет на 9 Тб. Писать отдельный загрузчик под каждый источник — огромная работа, которую потом еще и нужно поддерживать в рабочем состоянии.

Чтобы не изобретать велосипед заново каждый раз, мы разработали собственные инструменты — SDP и Chrono, а заодно подключили NiFi. Все вместе они образуют то, что мы называем Платформой загрузки данных (Ingest Platform).

В следующих постах разберем каждый инструмент подробнее: как работает, где спасает, а где может больно выстрелить в ногу.