Насколько ты знаком с Apache AirFlow: открытый тест для инженеров Big Data

Хорошие курсы дата-инженеров предполагают не только изучение теории и практики, но и проверку полученных знаний. Поэтому сегодня мы предлагаем вам открытый интерактивный тест по Apache AirFlow. Ответьте на 10 простых вопросов и узнайте, насколько хорошо вы знакомы с особенностями администрирования и эксплуатации этого популярного фреймворка для автоматизации batch-заданий обработки и аналитики больших данных.

10 вопросов по Apache AirFlow

Apache AirFlow считается одним из самых популярных инструментов современного дата-инженера, поэтому сегодняшний тест мы посвятили этой технологии. Ответы на многие из вопросов этого теста мы неоднократно разбирали в статьях нашего блога. А подробно изучить темы, упоминаемые в упражнении, вы сможете вы сможете на специализированных курсах Школы Больших Данных в нашем лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве.

Выбирайте из предложенных вариантов тот, который считаете верным. Правильный ответ с объяснением вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1.

Можно ли запустить конвейер AirFlow в кластере Kubernetes?

 Нет, AirFlow не предполагает контейнерной виртуализации Kubernetes

 Да, используя готовый оператор Kubernetes Operator

 Нет, это совершенно разные технологии, совмещение которых не имеет никакого практического смысла

 Да, но понадобится написать собственный оператор и исполнитель

2.

AirFlow поддерживает следующий характер работы с данными:

 Потоковый

 Многопоточный

 Пакетный

 Процессный

3.

Как обеспечить межзадачное взаимодействие в рамках одной DAG-цепочки?

 Через общий контекст разных операторов

 С использованием REST API Apache Livy

 Никак, в процессе выполнения задачи DAG не могут пересекаться, так как они выполняются на разных объектах и в разное время.

 С помощью технологии XCom

4.

Выберите наиболее типичные случаи применения Apache AirFlow

 Маршрутизация микросервисов

 Автоматизация ETL-задач для Big Data

 Разработка, планирование и мониторинг пакетных процессов работы с большими данными

 Организация потокового конвейера Spark-заданий

5.

Какова связь между задачей и оператором? Отметьте все верные утверждения

 В AirFlow есть множество готовых операторов и можно написать собственный

 Задача отвечает на вопрос «Что запускать?», а оператор — «Как запускать?»

 Задача отвечает на вопрос «Как запускать?», а оператор — «Что запускать?»

 Задачи и операторы не связаны между собой, задача — это пользовательская функция, а оператор — встроенная в систему

6.

Последовательность задач для их выполнения по расписанию в AirFlow называется

 Поток

 DAG

 CronTab

 Оператор

7.

Какие языки программирования поддерживает AirFlow?

 Java

 Scala

 C#

 Python

8.

Что такое датчик или сенсор (sensor)?

 особый вид определенной пользователем задачи

 триггер запуска задачи по внешнему событию

 исполнитель задачи

 особый вид оператора, нужный для ожидания некоторого триггера, например, успешного завершения внешней задачи

9.

Каким образом пользователь может взаимодействовать с Apache AirFlow? Отметьте все возможные варианты.

 RPC

 SOAP

 веб-GUI

 интерфейс командной строки (CLI)

10.

Отметьте наиболее значительные с практической точки зрения недостатки или ограничения Apache AirFlow

 в один момент времени может работать только один экземпляр планировщика

 большие накладные расходы (временная задержка 5-10 секунд) на постановку DAG’ов в очередь и приоритизацию задач при запуске

 запуск заданий по расписанию после окончания установленного периода планировщика

 невозможность отслеживать выполнение задачи в режиме реального времени

 разделение по операторам, когда каждый из них выполняется в отдельном интерпретаторе

 строгая привязка планировщика к времени UTC

 отсутствие встроенной базы данных

 Загрузка …

Как обычно, подчеркнем, что данный тест не претендует на звание профессионального экзамена или квалификационного испытания для инженера данных по Apache AirFlow. Однако, такое небольшое упражнение поможет начинающим стажерам и студентам, которые самостоятельно изучают этот Big Data фреймворк, пытаясь разобраться с огромным объемом новой информации по инженерии больших данных, систематизировать ее и применить к решению практических задач.

А детально освоить все упоминаемые в тесте темы и другие вопросы администрирования кластеров и эксплуатации Apache AirFlow для построения эффективных конвейеров аналитики больших данных вы сможете на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

• Apache AirFlow
• Построение конвейеров обработки данных с Apache Airflow и Arenadata Hadoop