Курс Кластер Apache NiFi

Apache NiFi- кластер потоковой обработки данных в Data Lake

курсы обучения Hadoop и машинного обучения2-хдневный практический курс по Apache NiFi для специалистов, отвечающих за администрирование, настройку и сопровождение потоковой обработки информации в озеро данных (Data Lake) на базе кластера NiFi.

Ближайшая дата курса по NiFi 13 — 14 мая
  23-24 сентября
   
Стоимость обучения    36.000 рублей
Код курса    NIFI

Что такое Apache NiFi и где это используется

Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.

На практике Apache NiFi широко используется в следующих задачах:

  • распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
  • ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
  • средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
  • маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
  • шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

Для кого предназначен курс Apache NiFi

Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.

Если вы хотите получить следующие знания и навыки:

  • понять, что такое Apache NiFi;
  • уяснить отличия NiFi и MiniFi;
  • освоить принципы потоковой обработки данных в экосистеме Hadoop;
  • научиться устанавливать, настраивать и поддерживать кластер NiFi;
  • освоить методы администрирования кластера NiFi;
  • настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
  • интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,

все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.

Предварительный уровень подготовки:

  • Начальный опыт работы в Unix
  • Начальный опыт работы с Hadoop

Программа курса обучения

Как устроены практические курсы по администрированию кластера NiFi

Продолжительность: 2 дня, 16 академических часов.

Соотношение теории к практике 50/50

2дневный  курс обучения по NiFi позволит вам получить и систематизировать знания по использованию НайФай для машрутизации и преобразования распределенных потоков больших данных.  Курс содержит расширенные сведения по установке распределенного кластера Apache NiFi, администрированию и интеграции этой платформы с другими технологиями Big Data в соответствии с лучшими практиками (best practices).

Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этой платформы маршрутизации, преобразования и доставки данных из множества сторонних систем и узнаете некоторые особенности управления кластером НайФай. Преподаватель курса администрирования Apache NiFi подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.
На практике вы развернете собственный кластер Apache NiFi, настроив его конфигурацию, создадите свои сценарии и схемы потоковой обработки информации, реализовав собственный конвейер данных (data pipeline). 

курсы обучения администраторов Apache Kafka и Confluent

Программа курса Кластер Apache NiFi

  1. Введение в Apache NiFi

    • Архитектура Hadoop Data Flow
    • Архитектура решения и ключевые концепции Apache NiFi :
      • Принципы потоковой обработки данных
      • FlowFile
      • processor
      • connector
      • FlowFile Repository
      • Content Repository
      • Provenance Repository
    • Data Lineage и Data Provenance (Data Provenance Events)
    • Функционал NiFi по управлению потоковой обработкой данных:
      • гарантированная доставка
      • управление каналом (буферизация, pressure)
      • QoS
      • версионность
  2. Администрирование NiFi

    • Установка и настройка кластера Apache NiFi
    • Управление кластером NiFi
    • Создание NiFi DataFlow
    • Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
    • Процессорные группы (Remote Processor Group)
    • Использование NiFi шаблонов
    • Оптимизация DataFlow
    • Инструменты мониторинга и уведомлений NiFi
    • Apache NiFi Registry версионность и поддержка production deployment
  3. Интеграция и масштабирование

    • Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
    • Доступные расширения и готовые «из коробки» процессоры и коннекторы
    • Возможности интеграции кластера NiFi (consumer/provider) с Kafka
    • Apache Nifi vs MiniFi
    • Интеграция Apache Kafka, NiFi, MiNiFi
    • Типовые сценарии/схемы потоковой обработки данных

курсы обучения Hadoop и машинного обучения

Скачать программу курса «Администрирование кластера Apache NiFi» в формате pdf

Курс Apache AirFlow

Курс Администрирование кластера Kafka