CDC-конвейер для MySQL на Apache NiFi: практический пример

Автор Категория ,
CDC-конвейер для MySQL на Apache NiFi: практический пример

Сегодня разберем типичный для современной дата-инженерии кейс построения конвейера обработки измененных данных на Apache NiFi с учетом безопасности и масштабируемости API-вызовов. Также рассмотрим, зачем использовать Apache NiFi при межсистемной интеграции…

Платформа аналитики больших данных Леруа Мерлен: потоковый CDC с Apache Kafka, NiFi, AirFlow и Flink в DWH на Greenplum

Автор Категория , , , , , ,
Платформа аналитики больших данных Леруа Мерлен: потоковый CDC с Apache Kafka, NiFi, AirFlow и Flink в DWH на Greenplum

Чтобы добавить в наши курсы для дата-инженеров по технологиям Apache Kafka, Spark, AirFlow, NiFi, Flink и Greenplum, еще больше практических примеров, сегодня разберем кейс ритейлера Леруа Мерлен. Читайте далее, как…

Детектирование устройств с WURFL: потоковый конвейер в Apache NiFi

Автор Категория ,
Детектирование устройств с WURFL: потоковый конвейер в Apache NiFi

Развивая наши курсы по Apache NiFi для дата-инженеров и администраторов, сегодня рассмотрим, как как обогатить поток данных, сделав информацию об устройстве доступной для систем, которые хранят или потребляют данные в…

ТОП-10 практик разработки и развертывания Data Flow в Apache NiFi от Cloudera

Автор Категория ,
ТОП-10 практик разработки и развертывания Data Flow в Apache NiFi от Cloudera

В рамках обучения дата-инженеров сегодня заглянем под капот системы Cloudera Flow Management, которая является частью платформы Cloudera DataFlow и основана на Apache NiFi. Вас ждет разбор основных концепций жизненного цикла…

Apache NiFi для всех: Cloudera Flow Management в публичном облаке

Автор Категория , ,
Apache NiFi для всех: Cloudera Flow Management в публичном облаке

Чтобы сделать наши курсы по Apache NiFi для дата-инженеров еще более полезными, сегодня рассмотрим новые возможности последнего релиза Cloudera Flow Management 2.1.1 на базе этого фреймворка. Выпущенная в апреле 2021…

Безопасность в режиме онлайн: SIEM-система на базе Apache NiFi от Cloudera

Автор Категория , , ,
Безопасность в режиме онлайн: SIEM-система на базе Apache NiFi от Cloudera

В этой статье для дата-инженеров рассмотрим, что такое Cloudera Flow Management и как это позволяет ускорить аналитику больших данных в кейсах информационной безопасности. Читайте далее о преимуществах SIEM-анализа, преобразования и…

Как перейти к Apache NiFi от Storm: пара практических кейсов

Автор Категория ,
Как перейти к Apache NiFi от Storm: пара практических кейсов

Apache Storm обычно сравнивают со другими популярными фреймворками потоковой аналитики больших данных: Spark и Flink. Однако для несложной обработки событий дата-инженер может заменить эти платформы более легким инструментом маршрутизации потоковых…

Как создать свой процессор с отношениями и Java-аннотациями: Apache NiFi для инженера данных

Автор Категория ,
Как создать свой процессор с отношениями и Java-аннотациями: Apache NiFi для инженера данных

В этой статье в поддержку курсов по Apache NiFi заглянем под капот этой платформы маршрутизации потоковых данных и рассмотрим, как дата-инженер может создать собственный процессор. Смотрите далее, как устроены процессоры…

Я знаю ваш пароль: утечки конфиденциальных данных в Apache NiFi

Автор Категория ,
Я знаю ваш пароль: утечки конфиденциальных данных в Apache NiFi

Недавно мы рассказывали про новые функции обеспечения информационной безопасности в свежем релизе Apache NiFi 1.14.0. В продолжение темы cybersecurity, сегодня рассмотрим пару внутренних уязвимостей с умеренной степенью серьезности. Читайте далее,…

Apache NiFi 1.14.0: что нового? Главные обновления июля 2021

Автор Категория ,
Apache NiFi 1.14.0: что нового? Главные обновления июля 2021

14 июля 2021 года вышел минорный релиз Apache NiFi – версия 1.14.0. Сегодня рассмотрим его главные фичи, исправленные ошибки и улучшения, уделив особое внимание новым функциям обеспечения информационной безопасности в…