ADS-KAFKA: Администрирование кластера Arenadata Streaming Kafka

Arenadata Streaming, Apache Kafka, Администрирование кластера Аренадата, авторизованные курсы от Школы Больших Данных

Курсы Arenadata> Курсы администрирования кластера Arenadata Streaming Kafka в учебном центре «Школы Больших Данных»

Ближайшая дата курса по администрированию кластера Arenadata Streaming Kafka
   
   
Стоимость обучения    

курсы по администрированию кластера Hadoop и машинного обучения

3 дня авторизованного практического обучения администрированию и эксплуатации Arenadata Streaming — отечественной корпоративной платформы потоковой обработки данных в режиме реального времени на базе Apache Kafka и Apache Nifi – проектов с открытым исходным кодом.

О курсе

-дневный курс для специалистов, желающих получить и систематизировать знания по использованию платформы Arenadata Streaming Kafka для организации распределенной потоковой обработки событий (Event Streaming Processing) в реальном времени. Курс построен на практических примерах и содержит расширенные сведения по установке распределенного кластера Arenadata Streaming Kafka, настройке безопасности Kerberos и интеграции с другими продуктами мониторинга и оптимизации Kafka в соответствии с лучшими практиками (best practices). Для операций развертывания и управления кластером Arenadata Streaming используется консоль ADCM.

Аудитория

Специалисты, желающие изучить методы администрирования и настройки кластера Arenadata Streaming Kafka, настройку безопасности Kafka с SSL и Kerberos, примеры интеграции, мониторинг и оптимизацию кластера Kafka с использованием практических примеров

Соотношение теории к практике 40/60

Необходимая предварительная подготовка

  • Базовый опыт работы в Unix
  • Текстовый редактор vi
  • Основы Hadoop

Программа курса ADSKAFKA

  1. Введение в Arenadata Streaming
  • Архитектурные особенности Arenadata Streaming
  • Что такое Kafka?
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы дистрибутива ADS (Arenadata Streaming)
  • Кластер Zookeeper
  • Потоковая Обработка Событий (Event Stream Processing): терминология и основные концепции
  1. Основные концепции Kafka
  • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
  • Брокеры (Brokers): Развертывание. Конфигурация Multibroker.
  • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API.
  • Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).
  1. Установка кластера Arenadata Streaming
  • Требования по установке кластера
  • Автоматизация развертывания с использованием ADCM – Arenadata Cluster Manager
  • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
  • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners.
  • Установка кластера Kafka на Yandex Cloud
  1. Базовые операции в Kafka
  • Семантика операций в Arenadata Streaming.
  • Гарантия очередности. Гарантия доставки.
  • Операции с Топиками (Topic)
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer
  • Разбор примера кода producer
  • Разбор примера кода consumer
  1. Оптимизация кластера Kafka
  • Выполнение операций обслуживания кластера Arenadata Streaming с ADCM
  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Балансировка разделов(partition) и использование Partition Reassignment Tools в Kafka Topics
  • Мониторинг кластера Kafka с использованием Grafana и JMX
  • Best Practices
  1. Интеграция Arenadata Streaming с Arenadata Hadoop
  • Использование Arenadata NiFi для потоковой обработки данных
  • Интеграция Flume с Kafka для файловых операций с HDFS
  1. Расширенная конфигурация кластера Kafka
  • Геораспределенная конфигурация с использованием ADS Mirror Maker
  • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
  • Настройка Schema Registry
  1. Безопасность в Kafka
  • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов.
  • Аутентификация SSL/SASL
  • Аутентификация Kerberos: Настройка Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos.
  • Авторизация в Управление списками управления доступом (ACL)

Для регистрации на курсы «ADS-KAFKA: Администрирование кластера Arenadata Streaming Kafka»  заполните форму по ссылке внизу или позвоните по телефону +7 (915) 307-00-74

курсы администрированию кластера Hadoop, курсы администрирования HortonWorks,курсы администрирования Cloudera,курсы администрирования Аренадата

Скачать программу курса «ADS-KAFKA: Администрирование кластера Arenadata Streaming Kafka» в формате pdf