Версия сайта для слабовидящих
Эксплуатация Apache NIFI
3-хдневный практический курс по эксплуатации кластера Apache NiFi для дата-инженеров, проектирующих конвейеры потоковой обработки данных, и администраторов кластера Apache NiFi
| Код курса | Даты начала курса | Стоимость обучения | Длительность обучения | Формат обучения |
|---|---|---|---|---|
| NIFI3 | 13 мая 2024 24 июля 2024 25 сентября 2024 |
72 000 руб. | 24 ак.часов | Дистанционный |
Практическая польза Apache NiFi для дата-инженера
Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять конвейерами обработки данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Этот отказоустойчивый ETL-фреймворк с наглядным GUI и открытым исходным кодом обеспечивает визуальное проектирование потоковых конвейеров и их надежную реализацию с гарантированной доставкой потоков данных и возможность хранить их до выгрузки их во внешние системы.
На практике Apache NiFi широко используется в следующих задачах:
- распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
- ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
- средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
- маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
- шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.
Программа курса "NIFI3: Эксплуатация Apache NIFI"
1. День 1
1. Введение в Apache NiFi
-
- Архитектура Hadoop Data Flow
- Архитектура решения и ключевые концепции Apache NiFi: Принципы потоковой обработки данных
- Data Lineage и Data Provenance (Data Provenance Events)
- Функционал NiFi по управлению потоковой обработкой данных: гарантированная доставка, управление каналом (буферизация, pressure), QoS, версионность
2. Создание DataFlow
-
- Создание dataflow: работа с атрибутами FlowFile, маршрутизация, source и sink
- Репозитории FlowFile Repository, Content Repository, Provenance Repository. Анатомия FlowFile, процессоры и коннекторы
- Мониторинг dataflow
- Параметризация dataflow: переменные и параметры
День 2
3. Программная обработка FlowFile
-
- Использование скриптов в NiFi: работа с атрибутами и данными FlowFile,
программная маршрутизация FlowFile - Сбор данных в месте их производства с помощью Apache minifi
- Использование скриптов в NiFi: работа с атрибутами и данными FlowFile,
4. Работа с Records и Local State
-
- Controlling service и работа с Records и State: формат FlowFile и его
преобразование, State Manager и его использование - Reporting tasks и обработка результатов
- Происхождение данных: анализ provenance и lineage
- Apache NiFi Registry версионность и поддержка production deployment
- Controlling service и работа с Records и State: формат FlowFile и его
День 3
5. Интеграция и масштабирование
-
- Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
- Доступные расширения и готовые «из коробки» процессоры и коннекторы
- Возможности интеграции кластера NiFi (consumer/provider) с Kafka
- Интеграция Apache Kafka, NiFi
- Типовые сценарии/схемы потоковой обработки данных
- Процессорные группы (Remote Processor Group)
6. Задачи администрирование NiFi
-
- Установка и настройка кластера Apache NiFi
- Управление кластером NiFi
- Оптимизация DataFlow
- Инструменты мониторинга и уведомлений NiFi
- Безопасность для Apache NiFi (SSL, Аутентификация LDAP)
Программа курса «NIFI3: Эксплуатация Apache NIFI»
Укажите e-mail, на который будет оправлена ссылка для скачивания файла:
Серия видео про Apache NiFi
Apache NiFi — это популярный ETL/ELT-фреймворк с открытым исходным кодом для экосистемы Hadoop. Он поддерживает парадигму Low Code благодаря наглядному GUI и широкому набору предустановленных обработчиков (процессоров), а также интеграции со множеством систем хранения и обработки данных. Впрочем, дата-инженер может разработать собственные процессоры для сложных вычислительных операций.
Кому нужно обучение по Apache Nifi
Цель курса:
Аудитория:
- Инженеры данных, cистемные администраторы, системные архитекторы, разработчики Hadoop
- Желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера Apache NiFi
Предварительный уровень подготовки:
- Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
- Начальный опыт работы с Hadoop или NiFi
Как проходят курсы
Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель - рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются кейсы из реального бизнеса, а также лучшие практики проектирования потоковых конвейеров и настройки отказоустойчивых высокопроизводительных кластеров
Продолжительность курса: 24 академических часа, 3 дня
Соотношение теории к практике: 50/50
По завершении обучения вы получите
Кто проводит курс
Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
- Сертифицированный тренер Arenadata (2019)
- Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
- EMC Certified Instructor (2007)
- Dell EMC Specialist – Cloud Architect (2006)
- Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
- IT Service Manager (2006)
- Certified Information System Security Professional (CISSP) (2006 -2010)
- Certified Information Security Manager (CISM)
География наших клиентов
- Москва
- Санкт-Петербург
- Нижний Новгород
- Екатеринбург
- Казань
- Краснодар
- Красноярск
- Перьм
- Челябинск
- Новосибирск
- Томск
- Тверь
- Саратов
- Самара
- Ростов-на-Дону
- Хабаровск
- Волгоград
- Калуга
- Якутск
- Севастополь
- Тольяти
- Владивоссток
- Тюмень
- Южно-Сахалинск
- Уфа
- Ставрополь
- Минск
- Алматы
- Астана
- Ташкент
- Душанбе
- Бешкек
«Школа Больших Данных»
Адрес:
127576, г. Москва, м. Алтуфьево,
Илимская ул. 5 корпус 2, офис 319, БЦ «Бизнес-Депо»
Телефон:
+7 (495) 414-11-21
+7 (995) 100-45-63
E-mail:
Часы работы:
Понедельник - Пятница: 09.00 – 18.00
Остались вопросы?
Звоните нам +7 (495) 41-41-121 или отправьте сообщение через контактную форму. Также вы можете найти ответы на ваши вопросы в нашем сборнике часто задаваемых вопросов.