Все курсы

Arenadata Streaming, Apache Kafka, Администрирование кластера Аренадата, авторизованные курсы от Школы Больших Данных

Администрирование Arenadata Streaming Kafka

Ближайшая дата курса
12 октября 2022
19 декабря 2022
12 апреля 2023
Стоимость обучения 60 000 руб. Регистрация
Длительность обучения 24 ак.часов
Код курса ADS-KAFKA

3 дня практического обучения администрированию и эксплуатации Arenadata Streaming — отечественной корпоративной платформы потоковой обработки данных в режиме реального времени на базе Apache Kafka и Apache Nifi – проектов с открытым исходным кодом.

Обучение проводится на платформе ADS Arenadata Streaming Community Edition

Что такое Arenadata Streaming

Arenadata Streaming (ADS) – эффективное масштабируемое отказоустойчивое решение для потоковой обработки данных в режиме реального времени, зарегистрированное в государственном реестре программ для ЭВМ, адаптированное для корпоративного использования и построенное на базе проектов с открытым исходным кодом – Apache Kafka и Apache Nifi.

Платформа передачи потоковой информации Arenadata Streaming обеспечит надежное хранение и оперативную обработку потоков записей по мере их возникновения в системах реального времени. На практике эта система используется для реализации оперативных и безопасных процессов сбора, агрегации, обработки и передачи информации от:

  • устройств интернета вещей (Internet Of Things);
  • внешних баз данных;
  • Big Data сервисов и распределенных приложений.

Arenadata Streaming зарегистрирована в Едином реестре российских программ, соответствует политике импортозамещения и может использоваться в проектах цифровизации государственных организаций и частных компаний России.

 

О курсе Arenadata Streaming Kafka

3 дня практического обучения для специалистов, желающих получить и систематизировать знания по использованию платформы Arenadata Streaming Kafka для организации распределенной потоковой обработки событий (Event Streaming Processing) в реальном времени. Курс администрирования Arenadata Streaming построен на реальных примерах и содержит расширенные сведения по установке распределенного кластера Arenadata Streaming Kafka, настройке безопасности Kerberos и интеграции с другими продуктами мониторинга и оптимизации Kafka в соответствии с лучшими практиками (best practices). Для операций развертывания и управления кластером Arenadata Streaming используется консоль ADCM.


Соотношение теории к практике 40/60

По завершении курса вы получите следующие документы:

  • сертификат нашего учебного центра «Школа Больших Данных».

Кому нужен курс администрирования Arenadata Streaming

Практический курс администрирования Arenadata Streaming предназначен для системных администраторов, инженеров данных и разработчиков Big Data, которые хотят:

  • изучить методы администрирования и настройки кластера Arenadata Streaming Kafka;
  • узнать примеры интеграции Аренадата Кафка со сторонними системами;
  • получить навыки мониторинга и оптимизации кластера Kafka с использованием лучших практик:
  • освоить методы настройки безопасности Kafka с SSL и Kerberos.

Необходимая предварительная подготовка

  • Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
  • Основы Hadoop

Программа курса Arenadata Streaming KAFKA

  1. Введение в Arenadata Streaming
    • Архитектурные особенности Arenadata Streaming
    • Что такое Kafka?
    • Сценарии использования Kafka
    • Компоненты Kafka и Kafka экосистемы дистрибутива ADS (Arenadata Streaming)
    • Кластер Zookeeper
    • Потоковая Обработка Событий (Event Stream Processing): терминология и основные концепции
  2. Основные концепции Kafka
    • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных
    • Брокеры (Brokers): Развертывание. Конфигурация Multibroker
    • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers Параметры конфигурации. Java API
    • Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting)
  3. Установка кластера Arenadata Streaming
    • Требования по установке кластера
    • Автоматизация развертывания с использованием ADCM – Arenadata Cluster Manager
    • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper
    • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners
    • Установка кластера Kafka на Yandex Cloud
  4. Базовые операции в Kafka
    • Семантика операций в Arenadata Streaming.
    • Гарантия очередности. Гарантия доставки.
    • Операции с Топиками (Topic)
    • Публикация данных с консольного Producer
    • Получение данных с консольного Consumer
    • Разбор примера кода producer
    • Разбор примера кода consumer
  5. Оптимизация кластера Kafka
    • Выполнение операций обслуживания кластера Arenadata Streaming с ADCM
    • Оптимизация производительности компонент кластера
    • Масштабирование кластера
    • Балансировка разделов(partition) и использование Partition Reassignment Tools в Kafka Topics
    • Мониторинг кластера Kafka с использованием Grafana и JMX
    • Best Practices
  6. Интеграция Arenadata Streaming с Arenadata Hadoop
    • Использование Arenadata NiFi для потоковой обработки данных
    • Интеграция Flume с Kafka для файловых операций с HDFS
  7. Расширенная конфигурация кластера Kafka
    • Геораспределенная конфигурация с использованием ADS Mirror Maker
    • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
    • Настройка Schema Registry
  8. Безопасность в Kafka
    • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов.
    • Аутентификация SSL/SASL
    • Аутентификация Kerberos: Настройка Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos.
    • Авторизация в Управление списками управления доступом (ACL)

Примечание: Обучение проводится на Community версии ADS Arenadata Streaming ( Для корпоративных курсов возможно проведение курса на Enterprise Edition при наличии лицензии Заказчика)

Скачать программу курса «Администрирование кластера Arenadata Streaming Kafka» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Если у Вас остались вопросы Вы можете позвонить к нам по телефону +7 (495) 414-11-21  или заполнить форму обратной связи на сайте.
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Поиск по сайту