В этой статье для разработчиков Data Flow, инженеров данных и администраторов Apache AirFlow рассмотрим, как организовать мониторинг этого batch-оркестратора через популярный корпоративный мессенджер Slack. Хотя по умолчанию Airflow имеет встроенную…
Метка: ETL
Под капотом Apache NiFi: внутренний язык выражений
Автор Анна ВичуговаКатегория NiFi, Статьи
В рамках обучения разработчиков Data Flow и инженеров данных разберем основные принципы внутреннего языка выражений Apache NiFi: что такое атрибуты FlowFile, как манипулировать ими. Синтаксис функций, типы данных, иерархия переменных…
Синергия Apache Airflow и Great Expectations для высокого качества больших данных
Автор Анна ВичуговаКатегория AirFlow, Статьи
Сегодня рассмотрим, что такое Great Expectations, чем этот инструмент полезен для специалистов по Data Science и дата-инженеров, а также как связать его с Apache Airflow, какую пользу это принесет в…
Apache Airflow vs Beam: сходства и отличия
Автор Анна ВичуговаКатегория AirFlow, Статьи
В этой статье по обучению дата-инженеров разберем, что такое Apache Beam, чем этот фреймворк отличается от AirFlow и что между ними общего. На первый взгляд Apache Airflow и Beam являются…
Как сократить стоимость и время обработки данных в Spark-приложений: кейс AppsFlyer
Автор Анна ВичуговаКатегория Spark, Статьи
Сегодня рассмотрим кейс международной ИТ-компании AppsFlyer, которая создает SaaS-решения для маркетинговой аналитики в режиме онлайн. В этой статье команда разработки аналитического продукта Data Locker делится опытом оптимизации ETL-приложений Apache Spark…
Управление зависимостями между конвейерами данных в Apache Airflow и Prefect
Автор Анна ВичуговаКатегория AirFlow, Статьи
Дополняя наши курсы для дата-инженеров по Apache AirFlow полезными примерами, сегодня поговорим про сложности управления зависимыми конвейерами данных в этом batch-оркестраторе. Как решить проблемы связанных DAG’ов в AirFlow и в…
Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
Развивая наши курсы для дата-инженеров по Apache AirFlow, сегодня рассмотрим, как автоматизировать развертывание сложных DAG’ов с помощью Docker и Kubernetes на примере управления конвейерами обработки данных. Лучшие практики и советы…
Apache NiFi 1.15.0: что нового в ноябрьском релизе 2021?
Автор Анна ВичуговаКатегория NiFi, Статьи
7 ноября 2021 года вышел очередной релиз Apache NiFi с новыми фичами, улучшениями и исправлениями ошибок. Краткий обзор самых важных новинок: от постоянного хранилища для stateless-потоков и настроек облачных провайдеров…
Польза умных сенсоров Apache Airflow: Smart Sensor для LRLW-задач
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
Добавляя в наши курсы для дата-инженеров еще больше полезных примеров, сегодня рассмотрим, как Airbnb развивает Apache AirFlow и на практике используют эту платформу для создания, планирования и мониторинга конвейеров данных.…
Контейнеризация Apache NiFi: безопасность конвейеров и потоков данных с Docker и Kubernetes
Автор Анна ВичуговаКатегория NiFi, Статьи
Сегодня рассмотрим, как организовать полностью сохраняемый сервис Apache NiFi с помощью Docker, чтобы обеспечить безопасность конвейеров и потоков данных при изменении конфигураций и перезапуске служб. А также разберем, как дата-инженеру…
