16 июня 2022 года вышла новая версия Apache Spark – 3.3.0. Разбираем главные фичи этого минорного релиза, особенно важные для дата-инженера и разработчика распределенных приложений: от расширения поддержки ANSI SQL…
Метка: архитектура
Происхождение данных в Apache Spark со Spline и не только
Автор Анна ВичуговаКатегория Spark, Статьи
Вчера мы рассказывали, почему важна наблюдаемость данных какие платформы помогают комплексно обеспечить все ее аспекты. В продолжение этой темы сегодня заглянем под капот происхождения данных в Apache Spark с помощью…
Что такое наблюдаемость данных и как ее обеспечить
Автор Анна ВичуговаКатегория Статьи, Цифровая трансформация
Сегодня рассмотрим, почему наблюдаемость данных так важная для проектов Big Data, какие компоненты обеспечивают ценную информацию о качестве и надежности данных, чем это похоже на DataOps, а также как эти…
Потоки и пакеты: сходства, отличия и примеры применения
Автор Анна ВичуговаКатегория Статьи
Сегодня рассмотрим 2 основные категории технологий обработки данных: пакетную и потоковую. Что общего между batch и stream processing, где они применяются, какими технологиями поддерживаются, можно ли их использовать вместе и…
Мониторинг заданий Apache Spark с помощью слушателей
Автор Анна ВичуговаКатегория Spark, Статьи
Что такое SparkListener, какие встроенные слушатели бывают в Apache Spark, как написать собственный перехватчик событий и зачем это нужно разработчику распределенного приложения. Также рассмотрим, как реализовать свой слушатель для приложения…
Data Fabric и Data Mesh: versus или вместе?
Автор Анна ВичуговаКатегория Статьи, Цифровая трансформация
В недавней статье про современные архитектуры данных мы упоминали Data Fabric и Data Mesh. Сегодня поговорим про эти стратегии Data Governance более подробно: разберем их главные достоинства и недостатки, основные…
Как определить оптимальную конфигурацию Spark-приложения
Автор Анна ВичуговаКатегория Spark, Статьи
Сколько ядер ЦП выделить на каждый исполнитель и каково оптимальное количество памяти для Spark-приложения при статическом и динамическом выделении ресурсов. Важные вопросы эффективной утилизации кластера, с которыми сталкивается каждый дата-инженер…
От Лямбда до Data Mesh: 7 архитектур данных для Big Data систем
Автор Анна ВичуговаКатегория Machine Learning, Use Cases, Статьи
Что такое архитектура данных, какие модели чаще всего используются в современных Big Data системах, почему традиционные BI-системы не справляются со всем разнообразием текущих бизнес-сценариев, чем Лямбда отличается от Каппа, а…
Как повысить эффективность кластера Apache HBase: YCSB-тестирование региональных серверов
Автор Анна ВичуговаКатегория HBase, Статьи
Сегодня затронем тему администрирования кластеров Apache HBase и рассмотрим, приносит ли реальную пользу совместное размещение нескольких региональных серверов (RegionServer) на одном узле кластера. Сравнительный анализ по тестам YCSB-бенчмарка. Регионы и…
2 подхода к динамической фильтрации потоковых данных в Apache Flink
Автор Анна ВичуговаКатегория Flink, Статьи
Как изменять правила фильтрации данных без перезапуска потокового Flink-приложения: практический пример для разработчиков и дата-инженеров. Чем подход с ключами состояний отличается от широковещательных соединений, каковы достоинства и недостатки этих альтернатив.…
