Увеличение пропускной способности и повышение скорости обработки данных на любой Big Data платформе при приемлемых затратах – одна из главных задач дата-инженера. Сегодня мы рассмотрим, как улучшить производительность множества экземпляров…
Метка: Big Data
Не только AirFlow: как упростить тестирование и отладку Big Data конвейеров из Spark-приложений с Dagster
Автор Анна ВичуговаКатегория AirFlow, Spark, Статьи
Apache Spark + AirFlow – известная каждому дата-инженеру комбинация технологий Big Data для запуска сложных конвейеров обработки данных. Но совместное использование этих фреймворков ограничено недостатками AirFlow, часть из которых можно…
Как ускорить Greenplum: настраиваем память хостов и сегментов
Автор Анна ВичуговаКатегория Greenplum, Статьи
Продолжая рассказывать про наш новый курс «Greenplum для инженеров данных», сегодня поговорим про особенности конфигурирования памяти в этой MPP-СУБД: разберем, как память хоста распределяется между сегментами и рассмотрим, как администратор…
Практическая дата-инженерия: мониторинг data pipeline’ов в Apache Airflow и Dagster
Автор Анна ВичуговаКатегория AirFlow, Статьи
Apache AirFlow – это не только инструмент планирования batch-процессов, но и средство мониторинга ETL-задач и конвейеров обработки данных. Однако, наблюдать за выполнением data pipeline’а в веб-интерфейсе этого фреймворка не всегда…
Как избавиться от перекосов в Apache Spark: coalesce vs repartition
Автор Анна ВичуговаКатегория Spark, Статьи
Чтобы сделать обучение разработчиков Apache Spark, дата-аналитиков и инженеров Big Data еще более наглядным, сегодня рассмотрим проблему JOIN-соединений при неравномерном распределении данных по узлам кластера и способы ее решения. Читайте…
3 проблемы приложений Apache Kafka Streams из-за RocksDB и способы их решения
Автор Анна ВичуговаКатегория Kafka, Статьи
Вчера мы рассказывали, почему некоторые OOM-ошибки stateful-приложений Kafka Streams могут быть вызваны некорректной работой RocksDB – встроенного key-value NoSQL-хранилище состояний. Сегодня рассмотрим, какие проблемы с дисковыми операциями характерны для этой…
Исправляем OOM-ошибки приложений Apache Kafka Streams через конфигурирование RocksDB
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня заглянем под капот stateful-приложений Kafka Streams и рассмотрим, что такое RocksDB, как устроено это key-value NoSQL-хранилище и почему его необходимо настраивать для быстрой и безотказной работы приложений потоковой аналитики…
Большие данные под защитой: лучшие практики cybersecurity в Greenplum
Автор Анна ВичуговаКатегория Greenplum, Use Cases, Статьи
Хотя наш новый курс «Greenplum для инженеров данных» и не предполагает подробное изучение инструментов администрирования кластера этой MPP-СУБД, сегодня мы рассмотрим некоторые из них. Читайте далее про особенности шифрования в…
Планируем и запускаем дата-конвейеры с Apache AirFlow и Dagster
Автор Анна ВичуговаКатегория AirFlow, Статьи
Продолжая сравнивать Apache AirFlow с Dagster, сегодня рассмотрим особенности развертывания и эксплуатации этих оркестраторов ETL-процессов и конвейеров обработки данных. Читайте далее о плюсах изоляции процессов, отделения системных служб от пользовательского…
Real-time аналитика больших данных о сетевом трафике с Apache Kafka и Spark
Автор Анна ВичуговаКатегория Kafka, Spark, Use Cases, Статьи
Продолжая добавлять в наши практические курсы по Apache Kafka и Spark еще больше интересных примеров, сегодня рассмотрим, как с помощью этих технологий Big Data анализировать метаданные сетевых потоков в реальном…
