Курс Core Spark для разработчиков

О продукте

Apache Spark – это фреймворк с открытым исходным кодом для разработки приложений распределённых пакетных и потоковых вычислений над большим объемом неструктурированных и слабоструктурированных данных. Он входит в экосистему проектов Hadoop, поддерживает вычислительную модель MapReduce, но сохраняет промежуточные результаты вычислений в памяти вместо записи на диск. Поэтому Spark работает гораздо быстрее и позволяет создавать высокопроизводительные приложения, способные быстро выполнять множество операций с огромными объемами данных. Фреймворк имеет модульный состав, поддерживая различные сценарии использования распределенных приложений, от интернета вещей до машинного обучения. Поэтому Spark-приложения активно используются в различных бизнес-задачах анализа и обработки больших данных.

Аудитория

• разработчики Big Data;
• дата инженеры;
• аналитики данных;
• Data Scientist;
• другие специалисты по большим данным, которые хотят получить опыт настройки и использования базовых компонентов Apache Spark: Low Level API, Structured API и Spark SQL.

Уровень подготовки

• Опыт работы в Unix/SQL;
• Уверенный опыт программирования (Python/Scala);
• Начальный опыт в экосистеме Hadoop.

О курсе

Наш курс поможет освоить Apache Spark с нуля или углубить свои знания. В рамках курса вы познакомитесь с архитектурой Spark, его основными компонентами и API, научитесь работать с данными и оптимизировать процессы обработки, сможете самостоятельно разрабатывать и настраивать Spark-приложения, эффективно работать с большими объемами данных и использовать Spark для решения задач анализа и обработки данных.

Практические занятия будут проводиться на языках Python или Scala.