NiFi

Управление потоками данных с использованием Apache NiFi

Apache NiFi простая платформа обработки событий (сообщений), предоставляющая возможности управления потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Программа Apache NiFi написана на Java  и была разработана Агентством Национальной Безопасности  (NSA) под кодовым названием «Niagara Files» для диспетчеризации данных поддерживающих работу как  с разнообразными небольшими сетевыми граничными устройствами, такими как Raspberry Pi. так и крупными кластерами данных и облачной инфраструктурой.  Apache NiFi использует концепцию потока рассматриваемую как последовательность операций(таких как передача, преобразование данных, обогащение данных) над последовательностью отдельных событий (events),  вместо того чтобы рассматривать поток как большая batch операция, требующая выполнения первоначальной загрузки всех данных  перед тем как начать процессинг. База данных SQL с миллионами строк данных,  таким образом рассматривается Apache NiFi как милионы отдельных строк требующие Далее …