Курс Kafka Интеграция для разработчиков

Курсы обучения программистов Big Data по Apache Kafka

курс DEVKA2: «Kafka Integration для разработчиков»

Ближайшая дата: курс Kafka Integration для разработчиков 05 — 06 ноября
  01 — 02 апреля
  01 — 02 июля
Стоимость курса   36.000 рублей
Код курса    DEVKA2

2х-дневный курс для специалистов и разработчиков, желающих получить и систематизировать знания по интеграции Apache Kafka с различными системами в рамках распределенной потоковой обработки событий (Event Stream Processing).

Что такое Apache Kafka Connect и где это используется

Apache Kafka Connect — это общая платформа для издателей (producers) и подписчиков (consumers) распределенного брокера сообщений Кафка. Этот полезный инструмент разработчика Big Data систем включает API, Runtime и REST Service, которые позволяют программисту определять коннекторы (Connectors). Это необходимо для перемещения больших наборов данных в кластер Apache Kafka и считывания из него в режиме реального времени.

Вы изучите Producer/Consumer API, с помощью которых можно быстро разработать Kafka Consumer и Kafka Producer для взаимодействия с очередями Kafka.

Большой упор в курсе сделан на Kafka Connect — общую платформу масштабируемого и надежного перемещения большого объема потоковых данных между Kafka и другими системами.

Apache Kafka Connect предлагает API, Runtime и REST Service, что позволяет разработчикам определять коннекторы, которые перемещают большие наборы данных в Apache Kafka и из него в режиме реального времени.

В рамках курса научимся принимать и отдавать целые базы данных, собирать метрики, собирать журналы с серверов приложений в разделы Apache Kafka, делая потоковые данные доступными для обработки с минимальной задержкой.

На практике интеграция Кафка с внешними системами востребована в следующих случаях:

  • построение конвейеров (data pipeline) непрерывного обмена и потоковой обработки данных;
  • реализация единого информационного пространства;
  • взаимодействие микросервисов.

Кому нужны курсы по Кафка «Kafka Интеграция для разработчиков«

Практические курсы по Кафка и интеграции ее с другими системами ориентированы на программистов, разработчиков Big Data и специалистов, которые хотят:

  • изучить методы интеграции Apache Kafka с внешними системами, как самописными, так и проприетарными;
  • узнать практические примеры интеграции;
  • освоить лучшие практики (best practices) по реализации процессов автоматического обмена данными между Apache Kafka и внешними системами.

Предварительный уровень подготовки:

  • Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
  • Начальный опыт программирования на Java

  • Опыт работы с Distributed File System (необязательно)

  • Прохождение курса Курс Kafka Streams for Developers

Как построен курс по интеграции Apache Kafka

Продолжительность: 2 дня, 16 академических часов.

Соотношение теории к практике 50/50.

На наших курсах обучения по Кафка вы узнаете необходимый теоретический минимум, чтобы эффективно создавать, настраивать и использовать процессы интеграции Apache Kafka с другими системами стека Big Data или локальными базами данных.

На практике в рамках курса «Kafka интеграция для разработчиков» вы научитесь:

  • принимать и отдавать целые базы данных;
  • собирать метрики;
  • работать с необычными форматами данных;
  • собирать журналы со всех своих серверов приложений в разделы Apache Kafka, делая данные доступными для потоковой обработки с малой задержкой времени (low latency)
  • интегрировать Apache Kafka с другими Big Data системами потоковой обработки в интерактивном режиме (Apache Spark, Storm), а также внешними сервисами AWS.

Программа курса Kafka Integration для разработчиков

1. Основные концепции и архитектура Apache Kafka

    • Основные термины
    • Основные API
    • Варианты интеграции с другими системами

2. Семантики доставки сообщений

    • at least once
    • at most once
    • exactly once
    • гарантии Kafka и средства обеспечения надежности

3. Producer API

    • Публикация сообщений с помощью кода

4. Consumer API

    • Прием сообщений point-to-point
    • Kafka Broadcasting and Groups
    • Гибкий процесс приема сообщений

5. Kafka Connect

    • Виды Kafka Connectors
    • Режимы работы Kafka Connect — распределенный и standalone
    • Автоматическая работа с offset
    • Трансформации потоковых данных
    • Оптимизация процесса интеграции

6. Использование Kafka с Apache Spark

    • Интеграция Apache Kafka с Apache Spark

7. Использование Kafka с Apache Storm

    • Интеграция с Apache Storm

8. Kafka в облаках

    • Kafka в Amazon Web Services 

Программа курса «Kafka Integration для разработчиков»

Скачать программу курса «Kafka Integration для разработчиков» в формате pdf

Отправить ссылку на: