Курс Kafka Интеграция для разработчиков

Курсы обучения программистов Big Data по Apache Kafka

курс DEVKA2: «Kafka Integration для разработчиков»

Ближайшая дата: курс Kafka Integration для разработчиков 25 — 26 июня 
  24 — 25 сентября
   
Стоимость курса   36.000 рублей
Код курса    DEVKA2

курсы обучения администраторов Apache Kafka и Confluent

2х-дневный курс для специалистов и разработчиков, желающих получить и систематизировать знания по интеграции Apache Kafka с различными внешними системами в рамках распределенной потоковой обработки событий (Event Streaming Processing).

Что такое Apache Kafka Connect и где это используется

Apache Kafka Connect — это общая платформа для издателей (producers) и подписчиков (consumers) распределенного брокера сообщений Кафка. Этот полезный инструмент разработчика Big Data систем включает API, Runtime и REST Service, которые позволяют программисту определять коннекторы (Connectors). Это необходимо для перемещения больших наборов данных в кластер Apache Kafka и считывания из него в режиме реального времени.

На практике интеграция Кафка с внешними системами востребована в следующих случаях:

  • построение конвейеров (data pipeline) непрерывного обмена и потоковой обработки данных;
  • реализация единого информационного пространства;
  • взаимодействие микросервисов.

Программа курса обучения

Кому нужны курсы по Кафка «Kafka Интеграция для разработчиков«

Практические курсы по Кафка и интеграции ее с другими системами ориентированы на программистов, разработчиков Big Data и специалистов, которые хотят:

  • изучить методы интеграции Apache Kafka с внешними системами, как самописными, так и проприетарными;
  • узнать практические примеры интеграции;
  • освоить лучшие практики (best practices) по реализации процессов автоматического обмена данными между Apache Kafka и внешними системами.

Предварительный уровень подготовки:

  • Начальный опыт работы в Unix

  • Начальный опыт программирования на Java

  • Опыт работы с Distributed File System (необязательно)

  • Прохождение курса Курс Kafka Streams for Developers

Как построен курс по интеграции Apache Kafka

Продолжительность: 2 дня, 16 академических часов.

Соотношение теории к практике 50/50.

На наших курсах обучения по Кафка вы узнаете необходимый теоретический минимум, чтобы эффективно создавать, настраивать и использовать процессы интеграции Apache Kafka с другими системами стека Big Data или локальными базами данных.

На практике в рамках курса «Kafka интеграция для разработчиков» вы научитесь:

  • принимать и отдавать целые базы данных;
  • собирать метрики;
  • работать с необычными форматами данных;
  • собирать журналы со всех своих серверов приложений в разделы Apache Kafka, делая данные доступными для потоковой обработки с малой задержкой времени (low latency)
  • интегрировать Apache Kafka с другими Big Data системами потоковой обработки в интерактивном режиме (Apache Spark, Storm), а также внешними сервисами AWS.
Программа курса обучения курсы обучения администраторов Apache Kafka и Confluent

Программа курса Kafka Integration для разработчиков

1. Kafka интеграция 

    • Виды Kafka Connector-ов
      Разберемся в том, какие Connector-ы есть в Kafka, а также мотивацию их
      применения в разных случаях
    • Режимы работы Kafka — распределенный и standalone
      Изучим отличия разных режимов работы Kafka, их преимущества и принципы
      применения
    • Автоматическая работа с offset
      Научимся работать со смещениями в процессах Kafka Integration
    • Group management protocol
      Научимся управлять группами в процессах интеграции Kafka
    • Batching в Kafka
      Сможем компоновать данные для отсылки их по каналам интеграции

2. Интеграция с Apache Spark

Как работать с Apache Spark из Kafka, применять Spark трансформации в Kafka, а
также пересылать сообщения в формате Spark.

3. Интеграция со Apache Storm

Научимся взаимодействовать с распределенной вычислительной системой Apache Storm.

4. Интеграция с AWS

Как работать с любыми сервисами Amazon Web Services и использовать
дополнительные возможности AWS в работе с Kafka.

5. Msgpack в Java

Как компоновать необычные форматы данных в простые сообщения.

    • Сериализация и десериализация
    • Применение Msgpack в процессе messaging-а в рамках Kafka процесса

курсы  Apache Kafka и Confluent

Скачать программу курса «Kafka Integration для разработчиков» в формате pdf

 

https://www.bigdataschool.ru/bigdata/событие/course_kafka_administrator-2-2