Сегодня хочу рассказать про свой опыт работы с Arenadata Streaming. Он включает работу на двух проектах с этой системой, примерно в одинаковой комплектации: Внешние сервисы + Kafka + Apache NiFi + PostgreSQL.

Мне даже пришлось пройти обучение по эксплуатации ADS.

Что мне нравится в ADS как инженеру - это не наличие какого-то одного универсального стека или конвейера, а возможность собирать архитектуру из нужных сервисов под конкретную задачу, а чаще всего - под инструменты, которыми уже пользуется заказчик.

Классическая архитектура интеграции данных обычно включает источники, целевые системы, брокер сообщений, шину.

В ADS можно построить гораздо больше: NiFi, Kafka Connect, Schema Registry, ksqlDB, Kafka REST Proxy, MiNiFi. Управление кластером выполняется через ADCM, а управление доступом может быть интегрировано с ADPS/Ranger.

В моих проектах одним из типовых сценариев была связка: Источник → Kafka → NiFi → PostgreSQL

Внешние системы передавали сообщения в Kafka, NiFi забирал их из топиков, выполнял необходимую трансформацию и загружал данные в БД. Иногда NiFi использовался и для перемещения и обработки данных между слоями DWH.

Но здесь есть один важный момент: шина в виде NiFi нужна далеко не всегда.

Если задача сводится к передаче данных между системами, может оказаться достаточно Kafka с коннекторами.

На мой взгляд, это один из удобных моментов ADS: не обязательно использовать все компоненты платформы. Можно выбрать тот набор инструментов, который действительно нужен для конкретного процесса.

Ещё одна интересная часть ADS - MiNiFi.

Это облегчённый NiFi для сбора данных непосредственно на периферийных устройствах, где полноценный NiFi не развернуть: например, на сетевом оборудовании, вышках связи и т.д.

MiNiFi Agent получает конфигурацию (flow) от C2 Server, а собранные с источников данные передает в основной NiFi.

С MiNiFi у меня пока только учебный опыт: развёртывание связки C2 Server + агенты MiNiFi на учебных стендах. Хотелось бы поработать с ним на реальных проектах.

А какой опыт работы с Arenadata Streaming есть у вас?

Особенно интересно послушать об опыте использования Агентов MiNiFi насколько эта система востребована и какие реально задачи решает?

#Arenadata #ArenadataStreaming #DataEngineering #ApacheNiFi #ApacheKafka #DataIntegration #MiNiFi