Сегодня разберем типичный для современной дата-инженерии кейс построения конвейера обработки измененных данных на Apache NiFi с учетом безопасности и масштабируемости API-вызовов. Также рассмотрим, зачем использовать Apache NiFi при межсистемной интеграции…
Рубрика: NiFi
Платформа аналитики больших данных Леруа Мерлен: потоковый CDC с Apache Kafka, NiFi, AirFlow и Flink в DWH на Greenplum
Автор Анна ВичуговаКатегория AirFlow, Flink, Greenplum, Kafka, NiFi, Spark, Статьи
Чтобы добавить в наши курсы для дата-инженеров по технологиям Apache Kafka, Spark, AirFlow, NiFi, Flink и Greenplum, еще больше практических примеров, сегодня разберем кейс ритейлера Леруа Мерлен. Читайте далее, как…
Детектирование устройств с WURFL: потоковый конвейер в Apache NiFi
Автор Анна ВичуговаКатегория NiFi, Статьи
Развивая наши курсы по Apache NiFi для дата-инженеров и администраторов, сегодня рассмотрим, как как обогатить поток данных, сделав информацию об устройстве доступной для систем, которые хранят или потребляют данные в…
ТОП-10 практик разработки и развертывания Data Flow в Apache NiFi от Cloudera
Автор Анна ВичуговаКатегория NiFi, Статьи
В рамках обучения дата-инженеров сегодня заглянем под капот системы Cloudera Flow Management, которая является частью платформы Cloudera DataFlow и основана на Apache NiFi. Вас ждет разбор основных концепций жизненного цикла…
Apache NiFi для всех: Cloudera Flow Management в публичном облаке
Автор Анна ВичуговаКатегория Cloudera, NiFi, Статьи
Чтобы сделать наши курсы по Apache NiFi для дата-инженеров еще более полезными, сегодня рассмотрим новые возможности последнего релиза Cloudera Flow Management 2.1.1 на базе этого фреймворка. Выпущенная в апреле 2021…
Безопасность в режиме онлайн: SIEM-система на базе Apache NiFi от Cloudera
Автор Анна ВичуговаКатегория Internet of Things, NiFi, Use Cases, Статьи
В этой статье для дата-инженеров рассмотрим, что такое Cloudera Flow Management и как это позволяет ускорить аналитику больших данных в кейсах информационной безопасности. Читайте далее о преимуществах SIEM-анализа, преобразования и…
Как перейти к Apache NiFi от Storm: пара практических кейсов
Автор Анна ВичуговаКатегория NiFi, Статьи
Apache Storm обычно сравнивают со другими популярными фреймворками потоковой аналитики больших данных: Spark и Flink. Однако для несложной обработки событий дата-инженер может заменить эти платформы более легким инструментом маршрутизации потоковых…
Как создать свой процессор с отношениями и Java-аннотациями: Apache NiFi для инженера данных
Автор Анна ВичуговаКатегория NiFi, Статьи
В этой статье в поддержку курсов по Apache NiFi заглянем под капот этой платформы маршрутизации потоковых данных и рассмотрим, как дата-инженер может создать собственный процессор. Смотрите далее, как устроены процессоры…
Я знаю ваш пароль: утечки конфиденциальных данных в Apache NiFi
Автор Анна ВичуговаКатегория NiFi, Статьи
Недавно мы рассказывали про новые функции обеспечения информационной безопасности в свежем релизе Apache NiFi 1.14.0. В продолжение темы cybersecurity, сегодня рассмотрим пару внутренних уязвимостей с умеренной степенью серьезности. Читайте далее,…
Apache NiFi 1.14.0: что нового? Главные обновления июля 2021
Автор Анна ВичуговаКатегория NiFi, Статьи
14 июля 2021 года вышел минорный релиз Apache NiFi – версия 1.14.0. Сегодня рассмотрим его главные фичи, исправленные ошибки и улучшения, уделив особое внимание новым функциям обеспечения информационной безопасности в…
