Версия сайта для слабовидящих
Практический курс Основы Apache Kafka
| Код курса | Даты начала курса | Стоимость обучения | Длительность обучения | Формат обучения |
|---|---|---|---|---|
| BOKA | 27 июня 2024 23 сентября 2024 |
36 000 руб. | 16 ак.часов | Дистанционный |
Что такое Apache Kafka и где это используется
Apache Kafka – это распределенная отказоустойчивая платформа потоковой передачи событий. Этот фреймворк с открытым исходным кодом активно используется в качестве middlware-слоя для асинхронной интеграции корпоративных приложений и построения микросервисной EDA-архитектуры.
Благодаря своим архитектурным особенностям Kafka имеет высокую пропускную способность и обеспечивает долговременное хранение сообщений с гарантией строго однократной доставки. Kafka — это не только брокер сообщений, а целая экосистема, которая включает широкий набор инструментов для решения различных задач: KSQL, Kafka Streams, Kafka Connect с source- и sink-коннекторами к разным хранилищам. Поэтому с помощью Kafka можно организовать интерактивный сбор, агрегации и аналитику данных в крупных масштабах.
На практике Apache Kafka активно используется в системах интернета вещей (IoT/IIoT), а также в различных бизнес-приложениях, где нужно собирать, агрегировать и обрабатывать данные в режиме онлайн из множества различных источников: транзакционные и аналитические СУБД, файловые хранилища, системы веб-аналитики и пр.
Программа курса "BOKA: Основы Apache Kafka"
1. Введение в Kafka
- Что такое Apache Kafka?
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka
2. Основные концепции Kafka
- Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
- Брокеры (Brokers): Развертывание. Конфигурация Multibroker
- Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
- Потребители данных (Consumers): Очереди Consumers.
3. Установка кластера Apache Kafka
- Требования по установке кластера Kafka
- Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
- Установка кластера Kafka без использования Zookeeper KIP-500
- Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
- Установка кластера Kafka на Yandex Cloud
- Использование и настройка Yandex Managed service для Apache Kafka
4. Базовые операции в Apache Kafka
- Операции с Топиками (Topic): Изменение конфигурации топиков, масштабирование топиков
- Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах
- Публикация данных с консольного Producer
- Получение данных с консольного Consumer
5. Администрирование кластера Apache Kafka
- Утилиты командной строки для администрирования Kafka
- Управление группами потребителей (Consumer Group).
- Отказоустойчивость кластера Kafka
- Балансировка разделов(partition) и использование Partition Reassignment Tools
- Графические пользовательские интерфейсы GUI для работы с Kafka
6. Мониторинг производительности кластера Apache Kafka
- Оптимизация производительности компонент кластера
- Масштабирование кластера
- Best Practices Kafka/Confluent
- Мониторинг кластера Kafka
- Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana
7. Интеграция с Apache Kafka
- Интеграция Kafka с внешними системами
- Утилита Kafka Connect: Архитектура Kafka Connect. Примеры настройки коннекторов
- Сценарии интеграции с Apache Kafka
8. Расширенная конфигурация кластера Kafka
- Kafka REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и AVRO-файлы
- Организация доступа к Kafka через REST Proxy
- Schema Registry
- Что такое Kafka Schema registry
- Как работает Schema Registry
9. Основы Mirror Maker 2.0
- Зеркалирование кластера Apache Kafka и сценарии использования
- Утилита Mirror Maker 2.0
10. Основы безопасности кластера Apache Kafka
- Архитектура безопасности Apache Kafka
- Аутентификация и авторизация для кластера Apache Kafka
Программа курса «BOKA: Основы Apache Kafka»
Укажите e-mail, на который будет оправлена ссылка для скачивания файла:
Кому нужно обучение по Основам Apache Kafka
Аудитория:
Цель курса:
- понять основные принципы потоковой передачи событий и EDA-архитектуры
- познакомиться с особенностями работы Apache Kafka
- научиться использовать работы Apache Kafka для решения задач обработки потоковых данных и интеграции приложений в реальном времени
- освоить основы администрирования кластера и утилиты этой платформы
Предварительный уровень подготовки:
- Уверенное знание базовых команд Linux: опыт работы с командной строкой, файловой системой, POSIX
- Владение текстовыми редакторами vi, nano
Чему вы научитесь
В результате обучения вы приобретете базовые знания и навыки, необходимые для эффективной работы с Apache Kafka, и сможете:
Установить и настроить кластер Apache Kafka
Обеспечить безопасность и высокую доступность кластера, в т.ч. с помощью зеркальной репликации
Администрировать кластер с помощью утилит командной строки
Выполнять мониторинг производительности кластера
Проводить базовые операции в Apache Kafka
Реализовать асинхронную интеграцию приложений, публикуя и получая данные в реальном времени
Как проходят курсы
Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель - рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются реальные бизнес-кейсы и лучшие практики разработки высоконагруженных приложений для анализа больших данных
Продолжительность курса: 16 ак.часов контактных занятий с преподавателем + дополнительные 8 часов самостоятельной работы на кластере
Соотношение теории к практике: 60/40
Инструментальные средства: для практических занятий используются бесплатные среды для разработки и решения с открытым исходным кодом
По завершении обучения вы получите
Кто проводит курс
Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
- Сертифицированный тренер Arenadata (2019)
- Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
- EMC Certified Instructor (2007)
- Dell EMC Specialist – Cloud Architect (2006)
- Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
- IT Service Manager (2006)
- Certified Information System Security Professional (CISSP) (2006 -2010)
- Certified Information Security Manager (CISM)
География наших клиентов
- Москва
- Санкт-Петербург
- Нижний Новгород
- Екатеринбург
- Казань
- Краснодар
- Красноярск
- Перьм
- Челябинск
- Новосибирск
- Томск
- Тверь
- Саратов
- Самара
- Ростов-на-Дону
- Хабаровск
- Волгоград
- Калуга
- Якутск
- Севастополь
- Тольяти
- Владивоссток
- Тюмень
- Южно-Сахалинск
- Уфа
- Ставрополь
- Минск
- Алматы
- Астана
- Ташкент
- Душанбе
- Бешкек
«Школа Больших Данных»
Адрес:
127576, г. Москва, м. Алтуфьево,
Илимская ул. 5 корпус 2, офис 319, БЦ «Бизнес-Депо»
Телефон:
+7 (495) 414-11-21
+7 (995) 100-45-63
E-mail:
Часы работы:
Понедельник - Пятница: 09.00 – 18.00
Остались вопросы?
Звоните нам +7 (495) 41-41-121 или отправьте сообщение через контактную форму. Также вы можете найти ответы на ваши вопросы в нашем сборнике часто задаваемых вопросов.