CORS: Основы Apache Spark для разработчиков

Практический курс «Основы Apache Spark для разработчиков и аналитиков Big Data»

Ближайшая дата курса
21 октября 2021
20 января 2022
Стоимость обучения 36.000 руб. Регистрация
Код курса CORS

Длительность: 16 ак. часов

О курсе

2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных.

Аудитория

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования базовых компонентов Apache Spark: Low Level API, Structured API и Spark SQL.

Соотношение теории к практике 50/50

Предварительная подготовка

  • Опыт работы в Unix/SQL;
  • Начальный опыт программирования (Python/Java);
  • Начальный опыт в экосистеме Hadoop

Программа курса

1. Обзор Apache Spark

  • Архитектура Spark
  • Обзор компонентов Spark и их назначения
  • Spark API и разработка программ.

2. Основные абстракции – знакомство со Spark RDD и Dataframe

  • Low Level API, использование Resilient Distributed Dataset
  • Structured API и основная абстракция Spark – Dataframe
  • Основные трансформации и действия.

3. Работа с источниками данных

  • Ввод и вывод данных в Spark
  • Работа с файлами и базами данных
  • Совместная работа с Apache Hive

4. Apache Spark SQL

  • Получение данных из SQL-источников
  • Обработка данных с помощью Spark SQL
  • Интероперабельность Dataframe и SQL

5. Основы настройки и конфигурирования

  • Знакомство с основными Shell
  • Запуск приложений с помощью spark-submit
  • Конфигурирование Spark
  • Планы запросов и Web GUI

 

 

 

Программа курса «CORS Core Spark»

Скачать программу курса «CORS Core Spark» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла: