Apache NiFi 1.18.0: новинки октябрьского релиза 2022

Apache NiFi администрирование дата-инженерия новый релиз примеры курсы обучение, Apache NiFi курсы примеры обучение, курсы дата-инженеров, обучение инженеров данных, обучение большим данным, Школа Больших Данных Учебный Центр Коммерсант

10 октября 2022 года вышел очередной релиз Apache NiFi. Разбираемся с его ключевыми новинками: провайдеры параметров, подключаемый реестр клиентов, новые процессоры и улучшения протокола MQTT. Самые главные фичи свежего выпуска для дата-инженера и администратора кластера Apache NiFi.

ТОП-7 новых фич свежего релиза

Будучи популярным инструментов современной дата-инженерии, Apache NiFi активно развивается. Всего несколько месяцев прошло с предыдущего выпуска, о котором мы писали здесь, а разработчики уже выложили новый релиз в открытый доступ. В версии 1.18.0 Apache NiFi более 20 новых фичей, а также около сотни исправленных ошибок и улучшений.

Ключевыми аспектами выпуска 1.18.0 можно назвать следующие:

  • Провайдеры параметров – чтобы не хранить конфиденциальные данные, такие как пароли и другие определения потока данных в NiFi, можно использовать провайдеров параметров, таких как HashiCorp Vault, внешняя база данных, AWS или GCP Secrets Management. Вскоре этот список будет расширен, в частности, ожидается добавление Azure и прочих провайдеров.
  • Реестр подключаемых клиентов, чтобы использовать репозитории git в качестве версионируемого реестра потоков данных.
  • Процессор CompressContent теперь поддерживает ZStd и Brotli. Этот процессор сжимает или распаковывает содержимое потоковых файлов с помощью заданного пользователем алгоритма сжатия и соответствующим образом обновляет атрибут type. Он эффективно использует память, позволяя обрабатывать очень большие объекты, выходящие далеко за пределы размера JVM-кучи. Напомним, Blotli считается очень перспективным алгоритмом сжатия данных с открытым исходным кодом. Он основан на современном варианте алгоритма LZ77, энтропийном кодировании Хаффмана и моделировании контекста 2-го порядка. Сегодня blotli активно набирает обороты в сфере интернета вещей, поэтому неудивительно, что Apache NiFi внедрил поддержку этого алгоритма.
  • Добавлен целый ряд новых процессоров для вывода списка и выборки данных с использованием SMB, QueryAirtable, просмотра и извлечения данных из Dropbox, Workday, Zendesk и HubSpot;
  • Реализован новый компонент AzureEventHubRecordSink для использования хаба событий Azure в качестве приемника записей;
  • добавлена возможность настройки длительности выполнения процессоров по умолчанию;

  • улучшено взаимодействие с протоколом MQTT – теперь можно публиковать данные, используя эффективный и гибкий механизм записи. Напомним, MQTT — это облегченный протокол обмена сообщениями публикации/подписки, который идеально подходит для подключения удаленных устройств с небольшим объемом кода и минимальной пропускной способностью сети. В 2013 году MQTT стал стандартным протоколом обмена сообщениями OASIS для Интернета вещей (IoT). В Apache NiFi18 поддерживается протокол v5 для существующих процессоров MQTT, используя клиентскую библиотеку HiveMQ. Для версий протокола 3.1.x применяется библиотека Paho, что безопаснее клиент HiveMQ в этом случае. Подробнее об этом читайте в нашей новой статье.

Наконец, обновлено множество зависимостей для улучшения безопасности и поведения Apache NiFi, исправлена ​​масса ошибок и улучшена производительность кластера.

Кроме вышеотмеченных новых фич, реализовано стандартное логирование устаревших возможностей, поскольку из-за непрерывного выпуска новых версий и многочисленных улучшений некоторые участки кода стали устаревшими. Хотя эти устаревшие классы, методы и свойства все еще необходимы для обеспечения совместимости при обновлении между минорными релизами, разработчикам и пользователям сложно отслеживать все случаи их использования. Поэтому в Apache NiFi 1.18 реализовано стандартное ведение журнала для устаревших фичей. Конфигурация логирования по умолчанию включает новый файл журнала, посвященный устаревшим шаблонам использования. Реализация предоставляет стандартное ведение журналов SLF4J и общий стандарт для имен регистраторов. Этот подход упрощает добавление предупреждений журнала устаревания во все приложение, а также облегчает пользователям определение того, используются ли в их конфигурации устаревшие функции.

Кроме того, наличие специального журнала для устаревших фичей обеспечит администратору системы простой способ определить, можно ли обновить данную установку NiFi до будущих мажорных релизов.

Освойте администрирование и эксплуатацию Apache NiFi  для построения эффективных ETL-конвейеров потоковой аналитики больших данных на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Источники

  1. https://cwiki.apache.org/confluence/display/NIFI/Release+Notes#ReleaseNotes-Version1.18.0
  2. https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12352150

Поиск по сайту