Ближайшая дата: курс Kafka Integration для разработчиков	в архиве
Стоимость курса
Код курса	DEVKA2

2х-дневный курс для специалистов и разработчиков, желающих получить и систематизировать знания по интеграции Apache Kafka с различными системами в рамках распределенной потоковой обработки событий (Event Stream Processing).

Что такое Apache Kafka Connect и где это используется

Apache Kafka Connect – это общая платформа для издателей (producers) и подписчиков (consumers) распределенного брокера сообщений Кафка. Этот полезный инструмент разработчика Big Data систем включает API, Runtime и REST Service, которые позволяют программисту определять коннекторы (Connectors). Это необходимо для перемещения больших наборов данных в кластер Apache Kafka и считывания из него в режиме реального времени.

Вы изучите Producer/Consumer API, с помощью которых можно быстро разработать Kafka Consumer и Kafka Producer для взаимодействия с очередями Kafka.

Большой упор в курсе сделан на Kafka Connect – общую платформу масштабируемого и надежного перемещения большого объема потоковых данных между Kafka и другими системами.

Apache Kafka Connect предлагает API, Runtime и REST Service, что позволяет разработчикам определять коннекторы, которые перемещают большие наборы данных в Apache Kafka и из него в режиме реального времени.

В рамках курса научимся принимать и отдавать целые базы данных, собирать метрики, собирать журналы с серверов приложений в разделы Apache Kafka, делая потоковые данные доступными для обработки с минимальной задержкой.

На практике интеграция Кафка с внешними системами востребована в следующих случаях:

• построение конвейеров (data pipeline) непрерывного обмена и потоковой обработки данных;
• реализация единого информационного пространства;
• взаимодействие микросервисов.

Кому нужны курсы по Кафка “Kafka Интеграция для разработчиков“

Практические курсы по Кафка и интеграции ее с другими системами ориентированы на программистов, разработчиков Big Data и специалистов, которые хотят:

• изучить методы интеграции Apache Kafka с внешними системами, как самописными, так и проприетарными;
• узнать практические примеры интеграции;
• освоить лучшие практики (best practices) по реализации процессов автоматического обмена данными между Apache Kafka и внешними системами.

Предварительный уровень подготовки:

• Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)

• Начальный опыт программирования на Java

• Опыт работы с Distributed File System (необязательно)

• Прохождение курса Курс Kafka Streams for Developers

Как построен курс по интеграции Apache Kafka

Продолжительность: 2 дня, 16 академических часов.

Соотношение теории к практике 50/50.

На наших курсах обучения по Кафка вы узнаете необходимый теоретический минимум, чтобы эффективно создавать, настраивать и использовать процессы интеграции Apache Kafka с другими системами стека Big Data или локальными базами данных.

На практике в рамках курса “Kafka интеграция для разработчиков” вы научитесь:

• принимать и отдавать целые базы данных;
• собирать метрики;
• работать с необычными форматами данных;
• собирать журналы со всех своих серверов приложений в разделы Apache Kafka, делая данные доступными для потоковой обработки с малой задержкой времени (low latency)
• интегрировать Apache Kafka с другими Big Data системами потоковой обработки в интерактивном режиме (Apache Spark, Storm), а также внешними сервисами AWS.

Программа курса Kafka Integration для разработчиков

1. Основные концепции и архитектура Apache Kafka

• • Основные термины
  • Основные API
  • Варианты интеграции с другими системами

2. Семантики доставки сообщений

• • at least once
  • at most once
  • exactly once
  • гарантии Kafka и средства обеспечения надежности

3. Producer API

• • Публикация сообщений с помощью кода

4. Consumer API

• • Прием сообщений point-to-point
  • Kafka Broadcasting and Groups
  • Гибкий процесс приема сообщений

5. Kafka Connect

• • Виды Kafka Connectors
  • Режимы работы Kafka Connect – распределенный и standalone
  • Автоматическая работа с offset
  • Трансформации потоковых данных
  • Оптимизация процесса интеграции

6. Использование Kafka с Apache Spark

• • Интеграция Apache Kafka с Apache Spark

7. Использование Kafka с Apache Storm

• • Интеграция с Apache Storm

8. Kafka в облаках

• • Kafka в Amazon Web Services