Все курсы

Потоковая обработка в Apache Spark

курс «Потоковая обработка в Apache Spark»

Код курса Даты начала курса Стоимость обучения Длительность обучения Формат обучения
SPOT
16 мая 2024
08 августа 2024
07 ноября 2024
48 000 руб. 16 ак.часов Дистанционный
Регистрация

2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных

Аудитория

Практический курс по потоковой обработке с использованием Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования механизмов потоковой обработки с разными видами источников данных и нюансами практического использования возможностей Structured Streaming.

Соотношение теории к практике 50/50

Предварительная подготовка

  • Опыт работы в Unix/SQL;
  • Начальный опыт программирования (Python/Java);
  • Знания в объеме, аналогичном курсу Core Spark
  • Начальный опыт в экосистеме Hadoop
  • Базовые знания Kafka

Программа курса

1. Введение в потоковую обработку
  • Потоковая и пакетная обработка данных
  • Особенности потоковой обработки
  • Надежность и потоковая обработка.
2. Потоковая обработка в Apache Spark
  • Два вида потоков (на основе RDD и Dataframe)
  • Парадигма потоковой обработки в Structured Streaming
  • Источники (sources и sink).
3. Совместное использование Batch и Streaming
  • Трансформации и действия в Apache Spark
  • Объединение данных в Spark (join)
  • Особенности использования трансформаций при работе с потоковыми данными
4. Источники потоковых данных
  • Файловый источник данных
  • Apache Kafka как источник данных
  • Другие источники потоковых данных
5. Обеспечение надежности потоковой обработки в Apache Spark
  • Механизм checkpoint в Apache Spark
  • Настройка streaming checkpoint

 

Кто проводит курс

prepod-mihail-korolev.jpg
Преподаватель Школы Больших Данных

Королев Михаил

МГУ им. М.В. Ломоносова (Москва, 1992)
Профессиональные компетенции:

География наших клиентов

  • Москва
  • Санкт-Петербург
  • Нижний Новгород
  • Екатеринбург
  • Казань
  • Краснодар
  • Красноярск
  • Перьм
  • Челябинск
  • Новосибирск
  • Томск
  • Тверь
  • Саратов
  • Самара
  • Ростов-на-Дону
  • Хабаровск
  • Волгоград
  • Калуга
  • Якутск
  • Севастополь
  • Тольяти
  • Владивоссток
  • Тюмень
  • Южно-Сахалинск
  • Уфа
  • Ставрополь
  • Минск
  • Алматы
  • Астана
  • Ташкент
  • Душанбе
  • Бешкек

Программа курса «SPOT: Потоковая обработка в Apache Spark»

Скачать программу курса «Потоковая обработка в Apache Spark» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Если у Вас остались вопросы Вы можете позвонить к нам по телефону +7 (495) 414-11-21  или заполнить форму обратной связи на сайте.
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Поиск по сайту