Все курсы

курс по Apache NiFi- кластер потоковой обработки данных в Data Lake

Администрирование кластера Apache NiFi

Ближайшая дата курса
27 февраля 2023
24 апреля 2023
04 июля 2023
Стоимость обучения 40 000 руб. Регистрация
Длительность обучения 16 ак.часов
Код курса NIFI

2-хдневный практический курс по Администрированию кластера Apache NiFi для специалистов, отвечающих за администрирование, настройку и сопровождение потоковой обработки информации в озеро данных (Data Lake) на базе кластера NiFi.

Что такое Apache NiFi и где это используется

Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.

На практике Apache NiFi широко используется в следующих задачах:

  • распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
  • ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
  • средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
  • маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
  • шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

Для кого предназначен курс Apache NiFi

Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.

Если вы хотите получить следующие знания и навыки:

  • понять, что такое Apache NiFi;
  • уяснить отличия NiFi и MiniFi;
  • освоить принципы потоковой обработки данных в экосистеме Hadoop;
  • научиться устанавливать, настраивать и поддерживать кластер NiFi;
  • освоить методы администрирования кластера NiFi;
  • настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
  • интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,

все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.

Предварительный уровень подготовки:

  • Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
  • Начальный опыт работы с Hadoop

 

 

Как устроены практические курсы по администрированию кластера NiFi

Продолжительность: 2 дня, 16 академических часов.

Соотношение теории к практике 50/50

2дневный  курс обучения по NiFi позволит вам получить и систематизировать знания по использованию НайФай для машрутизации и преобразования распределенных потоков больших данных.  Курс содержит расширенные сведения по установке распределенного кластера Apache NiFi, администрированию и интеграции этой платформы с другими технологиями Big Data в соответствии с лучшими практиками (best practices).

Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этой платформы маршрутизации, преобразования и доставки данных из множества сторонних систем и узнаете некоторые особенности управления кластером НайФай. Преподаватель курса администрирования Apache NiFi подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.
На практике вы развернете собственный кластер Apache NiFi, настроив его конфигурацию, создадите свои сценарии и схемы потоковой обработки информации, реализовав собственный конвейер данных (data pipeline). 

 

 

Программа курса Администрирование кластера Apache NiFi

  1. Введение в Apache NiFi
    • Архитектура Hadoop Data Flow
    • Архитектура решения и ключевые концепции Apache NiFi :
      • Принципы потоковой обработки данных
      • FlowFile
      • processor
      • connector
      • FlowFile Repository
      • Content Repository
      • Provenance Repository
    • Data Lineage и Data Provenance (Data Provenance Events)
    • Функционал NiFi по управлению потоковой обработкой данных:
      • гарантированная доставка
      • управление каналом (буферизация, pressure)
      • QoS
      • версионность
  2. Администрирование NiFi
    • Установка и настройка кластера Apache NiFi
    • Управление кластером NiFi
    • Создание NiFi DataFlow
    • Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
    • Процессорные группы (Remote Processor Group)
    • Использование NiFi шаблонов
    • Оптимизация DataFlow
    • Инструменты мониторинга и уведомлений NiFi
    • Apache NiFi Registry версионность и поддержка production deployment
  3. Интеграция и масштабирование
    • Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
    • Доступные расширения и готовые «из коробки» процессоры и коннекторы
    • Возможности интеграции кластера NiFi (consumer/provider) с Kafka
    • Apache Nifi vs MiniFi
    • Интеграция Apache Kafka, NiFi, MiNiFi
    • Типовые сценарии/схемы потоковой обработки данных
Скачать программу курса «Администрирование кластера Apache NiFi» в формате pdf

Отправить ссылку на:

Если у Вас остались вопросы Вы можете позвонить к нам по телефону +7 (495) 414-11-21  или заполнить форму обратной связи на сайте.
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Поиск по сайту