Apache Kafka для инженеров данных
(Core Apache Kafka)

2х-дневный курс для специалистов, желающих получить и систематизировать знания по использованию Apache Kafka для организации асинхронного взаимодействия систем и надежной передачи данных между приложениями в реальном времени
Код курса
KFDE
Ближайшая дата курса
13 марта, 2023
22 мая, 2023
Длительность обучения
16 ак.часов
Стоимость обучения
44 000 руб.

Apache Kafka для инженеров данных

На курсе вы научитесь создавать приложения, работающие с распределенным журналом Kafka, а также использовать его в парадигмах «издатель -подписчик» (Pub/Sub) и очередь сообщений (Message Queue). Вы узнаете, как публиковать и подписываться на топики Kafka, а также познакомитесь с лучшими практиками применения этой распределенной платформы потоковой обработки событий.

В теоретической части вы узнаете об основных API (Producer API, Consumer API), архитектуре Kafka и внутренних принципах ее работы, а также об особенностях реализации этой платформы, тонкостях сериализации и десериализации данных, структуре хранения и сжатия логов.

Чтобы закрепить полученные знания, на практике вы напишете несколько собственных приложений продюсеров и потребителей. Благодаря подробным объяснениям и комментариям, вы поймете, как наилучшим образом использовать предоставляемые Apache Kafka API для решения своих бизнес-задач.

Кому нужно обучение по Apache Kafka

Цель курса:

Научиться создавать приложения, работающие с распределенным журналом Kafka, и использовать его в парадигмах Pub/Sub и Message Queue, освоить лучшие практики потоковой обработки событий.

Аудитория:

Практические курсы по разработке с использованием основных API платформы Kafka и интеграции ее с другими системами ориентированы на дата-инженеров, программистов, разработчиков Big Data и специалистов, которые хотят:

Предварительный уровень подготовки:

Как проходят курсы

Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель - рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются кейсы из реального бизнеса и лучшие практики применения Apache Kafka для распределенной обработки событий в реальном времени. На практике вы освоите Producer и Consumer API как способы записать информацию в Kafka и считать ее оттуда. Знакомясь с этими API, вы узнаете, как работают механизмы сериализации и десериализации данных в Apache Kafka, создав свои собственные приложения-продюсеры и потребители событий.

Продолжительность курса: 16 академических часов, 2 дня

Соотношение теории к практике: 50/50

По завершении обучения вы получите

Успешно окончив курс "Apache Kafka для инжеренов данных" в нашем лицензированном учебном центре «Школа Больших Данных»вы получите сертификат или удостоверение установленного образца, которые могут засчитываться в качестве свидетельств о повышении квалификации.
lic_2020-scaled.jpg
Государственная лицензия на образовательную деятельность – Школа Больших Данных (ООО “Учебный центр “Коммерсант”)

Программа курса

«Apache Kafka для инженеров данных»

  • Архитектура и история возникновения Kafka
  • Основные абстракции и понятия
  • Основные API

Изучим основные компоненты и API Kafka, принципы их взаимодействия и killer features.

  • Понятие топика, раздела и смещения
  • Управление Topic-ами из консоли
  • Отслеживание последнего прочитанного сообщения
  • Семантики доставки сообщений (at least once, at most once, exactly once)

Разберемся в анатомии топика, использовании механизмов партиционирования и consumer групп.

  • Программная публикация сообщений в топики Kafka
  • Управление партиционированием

Погрузимся в детальную настройку и использование Kafka Producer-а и best practices на стороне производителя сообщений.

  • Прием сообщений point-to-point
  • Kafka Broadcasting и группы
  • Управление смещением

Научимся принимать сообщения и на практике реализуем минимальное приложение, работающее с Kafka.

Познакомимся с концепцией групп (consumer groups) и научимся настраивать группы для работы с сообщениями в режиме broadcasting.

  • Особенности хранения данных
  • Сериализация и десериализация данных и Confluent Registry
  • Компактируемые топики и retention
  • Конфигурация и производительность процесса работы с данными в Kafka
  • ksqlDB как способ создания не сложных потоковых приложений

Познакомимся с внутренним устройством топиков, партиций и сегментов. Поймем влияние параметров конфигурации на производительность процесса публикации потребления сообщений.

Научимся сериализовать и десериализовать данные с использованием Avro, познакомимся с ksqlDB, его особенностями и применимостью.

Для практических упражнение во время курса мы будем использовать Python или Java.

Скачать программу курса «Apache Kafka для инженеров данных» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Кто проводит курс

prepod-ermilov-dmitrij-mihajlovich.jpg

Ермилов Дмитрий

Академия Федеральной службы безопасности Российской Федерации (Москва, 2012)
Профессиональные компетенции:

Записаться на курс

Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам?
Оставьте номер телефона или e-mail и мы оперативно проконсультируем вас в течение рабочего дня.
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Поиск по сайту