Насколько ты знаешь Apache Spark: открытый тест на знание популярного Big Data фреймворка

Обучение Apache Spark, Kafka, Hadoop и прочим технологиям Big Data – это не только курсы, теоретические статьи и практические задания, но и проверка полученных знаний. Поэтому сегодня мы предлагаем вам открытый интерактивный тест по основам Спарк для начинающих. Проверьте, насколько хорошо вы знакомы с особенностями администрирования и эксплуатации этого популярного фреймворка обработки больших данных, ответив на 10 вопросов о Spark Core, SQL, Streaming и MLLib.

Насколько ты знаешь основы Apache Spark: интерактивный тест для начинающих

Продолжая разговор про Apache Spark и основы больших данных, сегодня вам предлагается интерактивный тест из 10 вопросов на знание основ и простых задач, которые часто встречаются на практике при администрировании кластеров и разработке Спарк-приложений. Ответы на многие из этих вопросов мы разбирали в статьях нашего блога. Подробно изучить темы, упоминаемые в тесте, вы сможете вы сможете на специализированных курсах Школы Больших Данных в нашем лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве.

10 вопросов по Спарк

Выбирайте из предложенных вариантов тот, который считаете верным. Правильный ответ с объяснением вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1.

Зачем нужен механизм Graceful Shutdown?

 предотвращает дублирование данных в потоковой передаче

 обеспечивает автоматический перезапуск Spark-заданий в случае сбоя

 организует непрерывное выполнение задач Spark-конвейера

 реализует плавное завершение текущих задач Spark-приложения, предотвращая потерю данных из-за немедленной остановки контекста в случае сбоя или запланированного перерыва

2.

В какой структуре данных Спарк нужно определять схему данных вручную

 RDD

 DataFrame

 Dataset

3.

Какая структура данных Спарк подойдет для низкоуровневых преобразований неструктурированных данных на языке R или Python

 DataFrame

 RDD

 Dataset

4.

Ускорить выполнение Spark SQL-запроса можно с помощью

 принудительного запуска Garbage Collector

 переменных связывания (bind variable)

 кэширования данных

 инструментов SQL-on-Hadoop, например, Apache Hive или Cloudera Impala

5.

Какая структура данных в Apache Spark обрабатывается медленнее

 DataFrame

 Dataset

 RDD

6.

Интегрировать приложение Apache Spark с внешними хранилищами данных для считывания из них нужной информации можно с помощью

 напрямую через механизм SQL-запросов

 коннекторов Spark SQL API

 импорта и экспорта файлов и таблиц с данными

 обмена сообщениями

7.

Повысить производительность Спарк-кластера можно с помощью увеличения

 числа операций перетасовки данных (shuffle)

 объема RAM

 уровня параллелизма вычислений

 количества исполнителей и процессорных ядер

8.

Spark Streaming реализует следующий подход к обработке данных

 потоковый

 распределенный

 процедурный

 микро-пакетный

9.

Распределенную работу Спарк-кластера обеспечивает

 Apache Zookeeper

 YARN

 GraphX

 Kubernetes

10.

Спарк-приложения выполняют вычисления MapReduce

 в кэше

 с использованием внешнего хранилища состояний, например, сторонней СУБД или файловой системы

 на жестком диске

 в оперативной памяти

 Загрузка …

Разумеется, данный тест не претендует на звание профессионального экзамена или квалификационного испытания по Спарк. Однако, такое небольшое упражнение поможет начинающим стажерам и студентам, которые самостоятельно изучают этот Big Data фреймворк, пытаясь разобраться с огромным объемом новой информации, систематизировать ее и применить к решению практических задач.

А детально освоить все упоминаемые в тесте темы и другие вопросы администрирования кластеров и разработки Спарк-приложений для аналитики больших данных, вы сможете на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

• Core Spark – Основы Apache Spark для разработчиков
• Анализ данных с Apache Spark
• Потоковая обработка в Apache Spark
• Машинное обучение в Apache Spark
• Графовые алгоритмы в Apache Spark