Вчера мы упоминали, что использование Spark или Tez в качестве движка исполнения SQL-запросов в Apache Hive вместо классического Hadoop MapReduce намного ускоряет аналитику больших данных. Сегодня рассмотрим подробнее, чем отличаются…
Рубрика: Spark
5 вопросов про масштабирование Spark-приложений
Автор Анна ВичуговаКатегория Spark, Статьи
Чтобы добавить в наши курсы по Spark еще больше практических кейсов, сегодня ответим на самые частые вопросы относительно масштабирования распределенных приложений, написанных с помощью этого фреймворка. Читайте далее о пользе…
JVM Garbage Collection и не только: 7 причин OOM-ошибки в Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
Обучая разработчиков Big Data, сегодня рассмотрим, почему в распределенных приложениях Apache Spark случаются OOM-ошибки. Читайте далее, как работает сборка мусора JVM в Spark-приложениях, почему из-за нее случаются утечки памяти и…
Что посмотреть в Apache Spark UI: 5 полезных кейсов для разработчика Big Data
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье по обучению Apache Spark рассмотрим, чем графический веб-интерфейс этого фреймворка полезен разработчику распределенных приложений. Читайте далее, где посмотреть кэшированные данные, визуализацию DAG, переменные среды, исполняемые SQL-запросы, а…
Что не так с UDF-функциями в Apache Spark SQL и как это исправить
Автор Анна ВичуговаКатегория Spark, Статьи
Продвигая наши курсы по Apache Spark для разработчиков, сегодня рассмотрим пользовательские функции и особенности работы с ними в API SQL-модуле этого фреймворка. Читайте далее про идемпотентность UDF-функций и их влияние…
Особенности оконных функций и кэширования датафреймов в Apache Spark SQL
Автор Анна ВичуговаКатегория Spark, Статьи
В рамках обучения разработчиков Apache Spark, сегодня рассмотрим еще несколько интересных особенностей этого фреймворка, ограничивающих его типовые возможности и на PySpark-примерах разберем, как с этим бороться. Читайте далее, что такое…
Еще 3 причуды API DataFrame в Apache Spark, о которых вы не знали
Автор Анна ВичуговаКатегория Spark, Статьи
Чтобы сделать наши курсы по Apache Spark еще более полезными, мы рассказываем о неочевидных тонкостях этого фреймворка, знание которых позволит разработчику распределенных приложений использовать возможности этой технологии более эффективно. Сегодня…
Преобразования vs действия: под капотом операций Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
Продолжая разговор про вычислительные операции над датафреймами в Apache Spark, сегодня рассмотрим, какие преобразования (transformations) и действия (actions) чаще всего используются при разработке распределенных приложений и аналитике больших данных. Читайте…
Как быстрее обработать массив в Apache Spark 3.1: сравнение 9 разных методов
Автор Анна ВичуговаКатегория Spark, Статьи
Apache Spark предоставляет для разработчика распределенных приложений множество возможностей, позволяя достигать одной целей разными способами. Чтобы проиллюстрировать это, сегодня рассмотрим бенчмаркинговое сравнение 9 методов обработки массивов в Spark 3.1, обращая…
Кейс потоковой аналитики больших данных с Apache Kafka, Spark (Flink) и BI-системами
Автор Анна ВичуговаКатегория Flink, Greenplum, Kafka, Machine Learning, Spark, Use Cases, Статьи
Сегодня рассмотрим пример построения системы потоковой аналитики больших данных на базе Apache Kafka, Spark, Flink, NoSQL-СУБД, BI-системой Tableau или визуализацией в Kibana. Читайте далее, кому и зачем исследовать Twitter-посты в…
