Специально для обучения начинающих аналитиков данных и дата-инженеров сегодня рассмотрим примеры выполнения простых SQL-запросов и оконных функций в Apache Spark на Google Colab. Как быстро проанализировать датафрейм из CSV-файлов с…
Метка: Spark
Анализ данных Youtube в реальном времени с Apache NiFi, Kafka и Spark Streaming
Автор Анна ВичуговаКатегория Kafka, NiFi, Spark, Статьи
В этой статье для дата-инженеров рассмотрим пример конвейера анализа потокового видео с Youtube-каналов на Kafka, Spark Streaming и Elasticsearch c Kibana, связанных через процессоры Apache NiFi. Постановка задачи: ETL-конвейер анализа…
3 режима вывода в Apache Spark Structured Streaming
Автор Анна ВичуговаКатегория Spark, Статьи
Какие бывают режимы вывода в структурированной потоковой передаче Spark, чем они отличаются и как их использовать на практике: разбираемся на практическом примере. Краткий ликбез по output modes в Apache Spark…
3 метода управления разделами в Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
Мы уже рассказывали про функции перераспределения данных по разделам coalesce() и repartition(). Сегодня сравним их работу с еще одним методом управления разделами в Apache Spark и разберем, как все они могут помочь…
Обнаружение мошенничества при скимминге банковских карт c Apache Kafka, Flink и HBase
Автор Анна ВичуговаКатегория Flink, HBase, Kafka, Статьи
Пример выявления финансового мошенничества при скимминге банковских карт в банкоматах с помощью технологий Big Data. Как Apache Kafka, Flink и HBase помогут обнаружить злоумышленников в режиме реального времени. Что такое…
Настройка кластера Apache Spark и Hive на Hadoop
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
Как настроить Apache Spark 3.0.1 и Hive 3.1.2 на Hadoop 3.3.0: тонкости установки и конфигурирования для обучения администраторов кластера и инженеров с примерами команд и кода распределенных приложений. Запуск Spark-приложения…
Тонкости SparkSession в Apache Spark Structured Streaming
Автор Анна ВичуговаКатегория Spark, Статьи
Может ли быть несколько сеансов в одном Spark-приложении с разной конфигурацией, зачем нужен метод foreachBatch() в структурированной потоковой передаче и чем он отличается от foreach(), почему возникает ошибка Table or…
2 подхода к динамической фильтрации потоковых данных в Apache Flink
Автор Анна ВичуговаКатегория Flink, Статьи
Как изменять правила фильтрации данных без перезапуска потокового Flink-приложения: практический пример для разработчиков и дата-инженеров. Чем подход с ключами состояний отличается от широковещательных соединений, каковы достоинства и недостатки этих альтернатив.…
Практический MLOps: 4 стратегии развертывания систем Machine Learning
Автор Анна ВичуговаКатегория Machine Learning, Статьи
Сегодня рассмотрим наиболее распространенные в MLOps стратегии развертывания, т.е. подходы к внедрению моделей машинного обучения в производство. Выбор стратегии зависит от бизнес-требований и от контекста применения результатов ML-моделирования. Какие бывают…
От Derby к Hive: хранилище метаданных для Apache Spark
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
Сегодня заглянем под капот Apache Spark и разберем, для чего этому популярному вычислительному движку база метаданных, как ее назначить и что не так с хранилищем данных по умолчанию. Зачем уходить…
