Чем хороши JSON-файлы и как с ними работать в Apache Spark и Hive: проблемы обработки вложенных структур данных и способы их решения на практических примерах. Как автоматизировать переименование некорректных названий…
Метка: PySpark
На заметку разработчику Spark-приложений: 3 ошибки PySpark и тонкости Outer Join
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье для дата-аналитиков и разработчиков распределенных приложений рассмотрим несколько распространенных ошибок, которые можно сделать в PySpark-коде. Когда PySpark-код на DataFrame DSL лучше запросов Spark SQL, как изящно решить…
Проблема вызовов REST API в Apache Spark и способы ее решения
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье для разработчиков Apache Spark разберем, что не так с вызовами REST API в этом фреймворке, и как решить эту проблему с помощью готовых библиотек или создания собственных…
Как повысить прозрачность Apache Spark: 3 способа мониторинга качества данных
Автор Анна ВичуговаКатегория Spark, Статьи
В рамках обучения разработчиков Spark-приложений, аналитиков данных и дата-инженеров, сегодня рассмотрим, как улучшить и визуализировать понимание обработки данных в этом Big Data фреймворке. Читайте далее про API встроенных механизмов наблюдения…
Что не так с UDF-функциями в Apache Spark SQL и как это исправить
Автор Анна ВичуговаКатегория Spark, Статьи
Продвигая наши курсы по Apache Spark для разработчиков, сегодня рассмотрим пользовательские функции и особенности работы с ними в API SQL-модуле этого фреймворка. Читайте далее про идемпотентность UDF-функций и их влияние…
Особенности оконных функций и кэширования датафреймов в Apache Spark SQL
Автор Анна ВичуговаКатегория Spark, Статьи
В рамках обучения разработчиков Apache Spark, сегодня рассмотрим еще несколько интересных особенностей этого фреймворка, ограничивающих его типовые возможности и на PySpark-примерах разберем, как с этим бороться. Читайте далее, что такое…
Еще 3 причуды API DataFrame в Apache Spark, о которых вы не знали
Автор Анна ВичуговаКатегория Spark, Статьи
Чтобы сделать наши курсы по Apache Spark еще более полезными, мы рассказываем о неочевидных тонкостях этого фреймворка, знание которых позволит разработчику распределенных приложений использовать возможности этой технологии более эффективно. Сегодня…
Преобразования vs действия: под капотом операций Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
Продолжая разговор про вычислительные операции над датафреймами в Apache Spark, сегодня рассмотрим, какие преобразования (transformations) и действия (actions) чаще всего используются при разработке распределенных приложений и аналитике больших данных. Читайте…
Как быстрее обработать массив в Apache Spark 3.1: сравнение 9 разных методов
Автор Анна ВичуговаКатегория Spark, Статьи
Apache Spark предоставляет для разработчика распределенных приложений множество возможностей, позволяя достигать одной целей разными способами. Чтобы проиллюстрировать это, сегодня рассмотрим бенчмаркинговое сравнение 9 методов обработки массивов в Spark 3.1, обращая…
Не только AirFlow: как упростить тестирование и отладку Big Data конвейеров из Spark-приложений с Dagster
Автор Анна ВичуговаКатегория AirFlow, Spark, Статьи
Apache Spark + AirFlow – известная каждому дата-инженеру комбинация технологий Big Data для запуска сложных конвейеров обработки данных. Но совместное использование этих фреймворков ограничено недостатками AirFlow, часть из которых можно…
