А вы любите Kafka? Открытый тест из 10 вопросов на знание популярной Big Data платформы

Чтобы сделать ваше самостоятельное обучение Apache Kafka и прочим технологиям Big Data по статьям нашего блога еще более интересным, сегодня мы предлагаем вам открытый интерактивный тест по этой платформе потоковой обработки событий. Ответьте на 10 простых вопросов и узнайте, насколько хорошо вы знакомы с особенностями администрирования и эксплуатации этого популярного брокера сообщений и средства построения event-streaming решений для интеграции информационных систем и аналитики больших данных.

Проверь себя: практические основы Big Data

В рамках разговора про Apache Kafka для начинающих и основы больших данных, сегодня вам предлагается интерактивный тест из 10 вопросов на знание основ и простых задач, которые часто встречаются на практике при администрировании кластеров и разработке Kafka-приложений. Ответы на многие из этих вопросов мы разбирали в нашем блоге. Подробно изучить темы, упоминаемые в тесте, вы сможете вы сможете на специализированных курсах Школы Больших Данных у нас в лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве.

Интерактивный тест по основам Apache Kafka: 10 вопросов для начинающих

Выбирайте из предложенных вариантов тот, который считаете верным. Правильный ответ с объяснением вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1.

Можно создавать Kafka-приложения на Python?

 Да, с использованием специальных библиотек, предоставляющих API Python для Kafka

 Нет, Python не подходит для потоковой обработки событий

 Да, универсальность Kafka позволяет писать приложения на любом языке программирования

 Нет, Kafka предоставляет только Java и Scala API

2.

Может ли Apache Kafka работать без службы Zookeeper?

 Да, Apache Kafka является самодостаточной отказоустойчивой распределенной системой и не нуждается в дополнительных сервисах.

 Нет, ZooKeeper является встроенным механизмом платформы Apache Kafka.

 Нет, ZooKeeper обязателен для любых распределенных систем, т.к. обеспечивает синхронизацию кластерных узлов.

 Да, если используется другой механизм обеспечения надежной согласованности состояния кластера и его конфигурации.

3.

Отметьте все способы интеграции Apache Kafka и Spark Streaming

 получение сообщений через службу синхронизации Zookeeper с помощью высокоуровневого API Кафка

 непосредственная передача данных путем отслеживания смещений в разделах (partition) топика (topic) Кафка через контрольные точки (checkpoints)

 передача данных через механизм SQL-запросов

 использование внешней системы, например, Hadoop или Hive, в качестве временного хранилища данных для обмена

4.

Как связать Apache Kafka с внешними источниками данных?

 С помощью коннекторов на базе компонента Connect

 Через непосредственную запись сообщений в топики Kafka

 Через механизм SQL-запросов, реализованный в KSQL

 С помощью команды потокового чтения данных

5.

Выберите способы повышения производительности Apache Kafka.

 Увеличение коэффициента репликации

 Замена HDD-дисков на SSD

 Ограничение размера сообщений с помощью параметра message.max.bytes

 Увеличение плотности разделов на каждом брокере

6.

Где Apache Kafka хранит данные?

 во внешней базе данных

 нигде, это платформа потоковой обработки событий, а не хранения данных

 в разделах своих топиков

 в распределенной файловой системе Hadoop HDFS

7.

Отметьте альтернативы Apache Kafka, которые могут заменить эту платформу потоковой обработки событий в высоконагруженных Big Data проектах

 Apache Storm

 Apache Spark

 RabbitMQ

 Apache Pulsar

8.

Выберите все механизмы обеспечения отказоустойчивости этой платформы

 Распределенный характер работы с данными

 Репликация данных по узлам кластера с синхронизацией реплик

 Возможность восстановить необработанное сообщение по смещению (offset) в разделе топика

 Разбиение топиков на разделы

9.

Можно ли на базе Apache Kafka создавать stateful-приложения в микросервисной архитектуре?

 Нет, Kafka предназначена для потоковой обработки событий в рамках одной монолитной системы и не подходит для микросервисной архитектуры

 Да, эта платформа отлично подходит для хранения состояний микросервисов

 Да, но с подключением внешнего хранилища состояний, например, Hadoop HDFS

 Нет, возможна реализация только stateless-приложений

10.

С какими форматами данных может работать Apache Kafka?

 бинарный формат (binary)

 Только JSON и AVRO

 С любыми благодаря механизму работы с разными схемами данных, реализованному в компоненте Schema Registry.

 только Parquet

 Загрузка …

В заключение подчеркнем, что данный тест не претендует на звание профессионального экзамена или квалификационного испытания по самой популярной платформе потоковой обработки событий в области Big Data. Однако, такое небольшое упражнение поможет начинающим стажерам и студентам, которые самостоятельно изучают этот инструмент работы с большими данными, пытаясь разобраться с огромным объемом новой информации, систематизировать ее и применить к решению практических задач.

А детально освоить все упоминаемые в тесте темы и другие вопросы администрирования кластеров и разработки Kafka-приложений для аналитики больших данных, вы сможете на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

• Администрирование кластера Kafka
• Apache Kafka для разработчиков