Итак, у нас три инструмента для поставки данных в платформу — и каждый занимает свою нишу:

SDP — если источник может отправлять события сам и команда готова поддерживать эту зависимость. Надежно, предсказуемо. Chrono — если трогать источник нельзя или нет времени. Быстрый старт, но выше риск поломок при изменениях в БД. NiFi — если источник нестандартный: файлы, API, сложные трансформации. Гибко, но плохо масштабируется.

Универсального ответа нет — выбор зависит от конкретной ситуации. Но именно наличие всех трех инструментов позволяет нам поставлять 9 Тб данных ежедневно из 27 тысяч таблиц без потери управляемости 🙂

А как вы загружаете данные для аналитики в свою платформу? #overview