Сегодня рассмотрим, как упростить работу дата-инженера в Apache AirFlow, автоматизировав процесс создания DAG’ов из одного или нескольких Python-файлов. На практических примерах разберем достоинства и недостатки 5 способов динамической генерации, а…
Метка: SQL
Tez vs Spark: что выбрать для Apache Hive
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
Вчера мы упоминали, что использование Spark или Tez в качестве движка исполнения SQL-запросов в Apache Hive вместо классического Hadoop MapReduce намного ускоряет аналитику больших данных. Сегодня рассмотрим подробнее, чем отличаются…
Как ускорить SQL-запросы в Apache Hive: ТОП-5 методов оптимизации
Автор Анна ВичуговаКатегория Hive, Статьи
Apache Hive – востребованный инструмент класса SQL-on-Hadoop, который также активно используется в работе с фреймворком Spark. Поэтому сегодня разберем важную тему из обучения дата-инженеров и аналитиков больших данных про оптимизацию…
5 вопросов про масштабирование Spark-приложений
Автор Анна ВичуговаКатегория Spark, Статьи
Чтобы добавить в наши курсы по Spark еще больше практических кейсов, сегодня ответим на самые частые вопросы относительно масштабирования распределенных приложений, написанных с помощью этого фреймворка. Читайте далее о пользе…
Еще больше потоковой аналитики Big Data с Kafka Streams: обработка больших сообщений
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня рассмотрим проблему обработки больших сообщений в Apache Kafka Streams и способы ее решения с помощью средства сериализации и десериализации (SerDe) от немецкой ИТ-компании Bakdata. Узнайте, почему максимального лимита конфигурации…
Читаем планы SQL-запросов Greenplum на практическом примере и разбираемся с операциями
Автор Анна ВичуговаКатегория Greenplum, Статьи
В недавней статье про оптимизацию SQL-запросов в Greenplum мы рассказывали про планы их выполнения и операторы просмотра этих планов. Сегодня разберем подробнее, какие операции с данными могут встретиться в отчете,…
JVM Garbage Collection и не только: 7 причин OOM-ошибки в Apache Spark
Автор Анна ВичуговаКатегория Spark, Статьи
Обучая разработчиков Big Data, сегодня рассмотрим, почему в распределенных приложениях Apache Spark случаются OOM-ошибки. Читайте далее, как работает сборка мусора JVM в Spark-приложениях, почему из-за нее случаются утечки памяти и…
Кастомизация Apache Airflow: мониторинг исполнения Big Data pipeline’ов со своими KPI
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
Добавляя в наши курсы по Apache AirFlow еще больше полезных практик, сегодня разберем опыт дата-инженеров американской компании Groupon по настройке этого фреймворка. Читайте далее, как добавить собственные KPI исполнения конвейеров…
Как устроен JDBC-коннектор источника Kafka Confluent и при чем здесь реестр схем
Автор Анна ВичуговаКатегория Kafka, Статьи
Недавно мы рассматривали пример потоковой передачи данных между реляционными СУБД с помощью готовых JDBC-коннекторов через cURL-вызовы к REST API Kafka Connect. Сегодня заглянем под капот такой интеграции и разберем подробнее,…
Как читать планы SQL-запросов в Greenplum: советы аналитику и дата-инженеру
Автор Анна ВичуговаКатегория Greenplum, Статьи
Обучая дата-аналитиков и инженеров данных тонкостям MPP-СУБД Greenplum, сегодня разберем, какой оператор помогает просмотреть план выполнения SQL-запроса, почему добавлять ANALYZE к EXPLAIN нужно с осторожностью и где найти универсальное решение…
