Сегодня рассмотрим пример построения системы аналитики больших данных для мониторинга финансовых транзакций в реальном времени на базе облачного Delta Lake и конвейера распределенных приложений Apache Kafka, Spark Structured Streaming и…
Метка: Spark SQL
Что такое SnappyData (TIBCO ComputeDB) и при чем здесь Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
Недавно мы уже упоминали о некоторых продуктах на базе Apache Spark. Продолжая обучение основам Big Data, сегодня рассмотрим, что такое SnappyData или TIBCO ComputeDB и как это связано с популярным…
Что такое бакетирование таблиц в Apache Spark SQL и как это улучшает аналитику больших данных
Автор Анна ВичуговаКатегория Spark, Статьи
Сегодня поговорим про бакетирование таблиц в Apache Spark для оптимизации производительности заданий и снижения затрат на кластер при их выполнении. Читайте далее, что такое Bucketing в Spark SQL и как…
Быстрая OLAP-аналитика больших данных в Delta Lake c Apache Spark SQL и Presto
Автор Анна ВичуговаКатегория Hive, Spark, Use Cases, Статьи
В этой статье рассмотрим, как сделать SQL-запросы к колоночному хранилищу больших данных с поддержкой ACID-транзакций Delta Lake еще быстрее с помощью Apache Presto. Читайте далее про синергию совместного использования Apache…
Ускоряем конвейеры Apache Spark: 3 простых способа
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
Сегодня рассмотрим несколько простых способов ускорить обработку больших данных в рамках конвейера задач Apache Spark. Читайте далее про важность тщательной оценки входных и выходных данных, рандомизацию рабочей нагрузки Big Data…
Stateful-проблемы JOIN-операций в Apache Spark Structured Streaming и их решения
Автор Анна ВичуговаКатегория Spark, Статьи
Недавно мы уже рассматривали выполнение Join-операций в Apache Spark SQL. Сегодня поговорим про особенности потокового соединения в модуле Structured Streaming этого популярного фреймворка аналитики больших данных. Читайте далее, в чем…
Безопасность + надежность: чем хорош транзакционный протокол фиксации Spark-заданий от Databricks
Автор Анна ВичуговаКатегория Spark, Статьи
Продолжая разговор про фиксацию заданий Apache Spark при работе с облачными хранилищами больших данных, сегодня подробнее рассмотрим, насколько эффективны commit-протоколы экосистемы Hadoop, предоставляемые по умолчанию, и почему известный разработчик Big…
Сложности перехода: от локальных Hadoop-кластеров к облачным объектным хранилищам для приложений Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
Сегодня поговорим про особенности транзакций в Apache Spark, что такое фиксация заданий в этом Big Data фреймворке, как она связано с протоколами экосистемы Hadoop и чем это ограничивает переход в…
Большая разница: чем структурированная потоковая передача в Apache Spark отличается от Spark Streaming
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье рассмотрим, что такое Apache Spark Structured Streaming и Spark Streaming, чем они отличаются и что общего между этими 2-мя способами обработки потоковых данных в самом популярном фреймворке…
Ускоряем и масштабируем Apache Spark Structured Streaming: 2 проблемы строго однократной доставки и их решения
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
Вчера мы говорили про реализацию exactly once семантики доставки сообщений в Apache Spark Structured Streaming. Сегодня рассмотрим, что не так с размером компактных файлов для хранения контрольных точек потоковой передачи,…
