Чем хороши JSON-файлы и как с ними работать в Apache Spark и Hive: проблемы обработки вложенных структур данных и способы их решения на практических примерах. Как автоматизировать переименование некорректных названий…
Метка: Spark SQL
Как работает AggregateByKey() в Apache Spark: краткий ликбез и пара примеров
Автор Анна ВичуговаКатегория Spark, Статьи
В рамках обучения дата-аналитиков и разработчиков Spark-приложений, сегодня рассмотрим одну из агрегатных функций обработки данных в этом распределенном вычислительном фреймворке. Чем aggregateByKey() отличается от reduceByKey() и groupByKey(), и когда стоит…
Знай свое место: локальность данных в Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
В рамках обучения разработчиков Spark-приложений и дата-инженеров, сегодня рассмотрим, что такое локальность данных и как это влияет на производительность заданий. А также разберем, где в UI Apache Spark посмотреть нахождение…
Найти и обезвредить Spill в Spark-приложениях: причины и решения
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье для разработчиков распределенных приложений разберем проблему с производительностью Apache Spark из-за неоптимальной стратегии переброса данных между оперативной и постоянной памятью. Что такое spill-эффект, почему он случается, как…
На заметку разработчику Spark-приложений: 3 ошибки PySpark и тонкости Outer Join
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье для дата-аналитиков и разработчиков распределенных приложений рассмотрим несколько распространенных ошибок, которые можно сделать в PySpark-коде. Когда PySpark-код на DataFrame DSL лучше запросов Spark SQL, как изящно решить…
4 причины сбоя в системах на Apache Hadoop, Spark и Livy + способы их лечения от дата-инженеров Pinterest
Автор Анна ВичуговаКатегория Spark, Статьи
Сегодня разберем типовые ошибки, которые часто возникают в системах аналитики больших данных на базе Apache Hadoop YARN, Spark и RESTful-интерфейсу Livy, а также каким образом их избежать. В качестве практического…
Бакетирование vs партиционирование в Apache Hive и Spark
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
В этой статье рассмотрим 2 способа физической группировки данных для ускорения последующей обработки в Apache Hive и Spark: партиционирование и бакетирование. Чем они отличаются друг от друга, что между ними…
Графовая аналитика больших данных с DataStax Enterprise Graph на Cassandra и Spark SQL
Автор Анна ВичуговаКатегория Spark, Статьи
В рамках продвижения нашего нового курса по графовой аналитике больших данных в бизнес-приложениях, сегодня рассмотрим, что такое DataStax Enterprise Graph. Читайте далее, как немецкая ИТ-компания Traversals с помощью этой распределенной графовой…
Интерактивная аналитика больших данных с Apache Spark SQL и Livy: кейс Pinterest
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
Сегодня в качестве полезного примера для обучения дата-инженеров и разработчиков Spark-приложений, разберем кейс компании Pinterest по интерактивной аналитике больших данных средствами SQL-модуля этого популярного фреймворка. Читайте далее, почему дата-инженеры решили…
Потоковая аналитика больших данных на Flink SQL и Redpanda вместо Apache Spark с Kafka
Автор Анна ВичуговаКатегория Flink, Kafka, Spark, Статьи
В продолжение недавней статьи для дата-инженеров про альтернативные платформы потоковой передачи событий вместо Apache Kafka, сегодня рассмотрим пример аналитики больших данных средствами Flink SQL, записи результатов в Elasticsearch и их…
