Иногда источник данных — это не привычная база, а что-то куда более нестандартное: файл-выгрузка, внешний API или система с нетривиальной логикой преобразования. Вот тут в игру вступает NiFi.

Он позволяет строить произвольные потоки доставки данных и по пути делать нужные трансформации. На выходе — все те же сообщения в Kafka, которые дальше обрабатываются стандартным способом.

Главный плюс — гибкость. Можно собрать практически любой поток под любой каприз источника.

Главный минус — это low-code «коробка», которая плохо масштабируется. Чем больше таких потоков, тем сложнее всем этим управлять.

Поэтому NiFi — скорее инструмент для исключений, чем основной путь. #overview