Специально для обучения начинающих аналитиков данных и дата-инженеров сегодня рассмотрим примеры выполнения простых SQL-запросов и оконных функций в Apache Spark на Google Colab. Как быстро проанализировать датафрейм из CSV-файлов с…
Рубрика: Spark
Анализ данных Youtube в реальном времени с Apache NiFi, Kafka и Spark Streaming
Автор Анна ВичуговаКатегория Kafka, NiFi, Spark, Статьи
В этой статье для дата-инженеров рассмотрим пример конвейера анализа потокового видео с Youtube-каналов на Kafka, Spark Streaming и Elasticsearch c Kibana, связанных через процессоры Apache NiFi. Постановка задачи: ETL-конвейер анализа…
3 режима вывода в Apache Spark Structured Streaming
Автор Анна ВичуговаКатегория Spark, Статьи
Какие бывают режимы вывода в структурированной потоковой передаче Spark, чем они отличаются и как их использовать на практике: разбираемся на практическом примере. Краткий ликбез по output modes в Apache Spark…
3 метода управления разделами в Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
Мы уже рассказывали про функции перераспределения данных по разделам coalesce() и repartition(). Сегодня сравним их работу с еще одним методом управления разделами в Apache Spark и разберем, как все они могут помочь…
Настройка кластера Apache Spark и Hive на Hadoop
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
Как настроить Apache Spark 3.0.1 и Hive 3.1.2 на Hadoop 3.3.0: тонкости установки и конфигурирования для обучения администраторов кластера и инженеров с примерами команд и кода распределенных приложений. Запуск Spark-приложения…
Тонкости SparkSession в Apache Spark Structured Streaming
Автор Анна ВичуговаКатегория Spark, Статьи
Может ли быть несколько сеансов в одном Spark-приложении с разной конфигурацией, зачем нужен метод foreachBatch() в структурированной потоковой передаче и чем он отличается от foreach(), почему возникает ошибка Table or…
От Derby к Hive: хранилище метаданных для Apache Spark
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
Сегодня заглянем под капот Apache Spark и разберем, для чего этому популярному вычислительному движку база метаданных, как ее назначить и что не так с хранилищем данных по умолчанию. Зачем уходить…
Бессерверный Apache Spark в Google Dataproc
Автор Анна ВичуговаКатегория AirFlow, Spark, Статьи
Недавно в Google Dataproc появился бессерверный Apache Spark. Разбираемся, что это такое и зачем нужно дата-инженерам. Как работает serverless Spark в облачной платформе Google и почему выбирать между Dataflow и…
Широковещательное соединение в Apache Spark SQL: ликбез и примеры
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье для дата-инженеров и аналитиков данных, рассмотрим, что такое широковещательные соединение в Apache Spark SQL, чем оно полезно и как работает на практических примерах. BROADCAST JOIN в SELECT-запросах…
Ускорение PySpark-приложений с PyArrow: лайфхаки Apache Spark для разработчиков
Автор Анна ВичуговаКатегория Spark, Статьи
В рамках обучения разработчиков Spark-приложений и дата-инженеров, сегодня рассмотрим, как повысить эффективность выполнения Python-кода с помощью кросс-языковой платформы Apache Arrow. Что такое PyArrow и как это улучшает производительность PySpark-программ. Почему…
