В рамках обучения разработчиков Data Flow и инженеров данных разберем основные принципы внутреннего языка выражений Apache NiFi: что такое атрибуты FlowFile, как манипулировать ими. Синтаксис функций, типы данных, иерархия переменных…
Метка: NiFi
Последний релиз 2021: новинки Apache NiFi 1.15.2
Автор Анна ВичуговаКатегория NiFi, Статьи
Всего через 1,5 месяца после выпуска версии 1.15.0, 22 декабря 2021 года вышел очередной релиз Apache NiFi. Разбираем главные новинки и исправленные баги, а также смотрим, как команда разработчиков решила…
Бессерверный парсинг веб-сайтов на Apache NiFi и OpenFaaS с Selenium
Автор Анна ВичуговаКатегория NiFi, Статьи
Сегодня разберемся с serverless-технологиями и рассмотрим, как самостоятельно создать и интегрировать бессерверный парсер Selenium с Apache Nifi. Краткий ликбез по OpenFaaS, Selenium и Chromium, а также преимущества serverless-технологий и пример…
Apache NiFi 1.15.0: что нового в ноябрьском релизе 2021?
Автор Анна ВичуговаКатегория NiFi, Статьи
7 ноября 2021 года вышел очередной релиз Apache NiFi с новыми фичами, улучшениями и исправлениями ошибок. Краткий обзор самых важных новинок: от постоянного хранилища для stateless-потоков и настроек облачных провайдеров…
Контейнеризация Apache NiFi: безопасность конвейеров и потоков данных с Docker и Kubernetes
Автор Анна ВичуговаКатегория NiFi, Статьи
Сегодня рассмотрим, как организовать полностью сохраняемый сервис Apache NiFi с помощью Docker, чтобы обеспечить безопасность конвейеров и потоков данных при изменении конфигураций и перезапуске служб. А также разберем, как дата-инженеру…
Комбо Apache Airflow и NiFi для запланированного запуска ETL-конвейеров: практическая инженерия Big Data
Автор Анна ВичуговаКатегория AirFlow, NiFi, Статьи
Чтобы сделать наши курсы для дата-инженеров еще более полезными, сегодня рассмотрим, как объединить Apache NiFi и Airflow в рамках одного ETL-конвейера обработки данных. Читайте далее, зачем совмещать эти технологии и…
Из CSV-файла в GridDB: ETL-конвейер на Apache NiFi для анализа данных временных рядов
Автор Анна ВичуговаКатегория NiFi, Use Cases, Статьи
Чтобы добавить в наши курсы для дата-инженеров еще больше полезных примеров, сегодня рассмотрим, как построить конвейер преобразования CSV-файлов и загрузить данные в масштабируемую NoSQL-СУБД GridDB с помощью Apache NiFi. Краткий…
CDC-конвейер для MySQL на Apache NiFi: практический пример
Автор Анна ВичуговаКатегория NiFi, Статьи
Сегодня разберем типичный для современной дата-инженерии кейс построения конвейера обработки измененных данных на Apache NiFi с учетом безопасности и масштабируемости API-вызовов. Также рассмотрим, зачем использовать Apache NiFi при межсистемной интеграции…
Платформа аналитики больших данных Леруа Мерлен: потоковый CDC с Apache Kafka, NiFi, AirFlow и Flink в DWH на Greenplum
Автор Анна ВичуговаКатегория AirFlow, Flink, Greenplum, Kafka, NiFi, Spark, Статьи
Чтобы добавить в наши курсы для дата-инженеров по технологиям Apache Kafka, Spark, AirFlow, NiFi, Flink и Greenplum, еще больше практических примеров, сегодня разберем кейс ритейлера Леруа Мерлен. Читайте далее, как…
Детектирование устройств с WURFL: потоковый конвейер в Apache NiFi
Автор Анна ВичуговаКатегория NiFi, Статьи
Развивая наши курсы по Apache NiFi для дата-инженеров и администраторов, сегодня рассмотрим, как как обогатить поток данных, сделав информацию об устройстве доступной для систем, которые хранят или потребляют данные в…
