В этой статье для разработчиков Data Flow, инженеров данных и администраторов Apache AirFlow рассмотрим, как организовать мониторинг этого batch-оркестратора через популярный корпоративный мессенджер Slack. Хотя по умолчанию Airflow имеет встроенную…
Рубрика: AirFlow
Синергия Apache Airflow и Great Expectations для высокого качества больших данных
Автор Анна ВичуговаКатегория AirFlow, Статьи
Сегодня рассмотрим, что такое Great Expectations, чем этот инструмент полезен для специалистов по Data Science и дата-инженеров, а также как связать его с Apache Airflow, какую пользу это принесет в…
Apache Airflow vs Beam: сходства и отличия
Автор Анна ВичуговаКатегория AirFlow, Статьи
В этой статье по обучению дата-инженеров разберем, что такое Apache Beam, чем этот фреймворк отличается от AirFlow и что между ними общего. На первый взгляд Apache Airflow и Beam являются…
Управление зависимостями между конвейерами данных в Apache Airflow и Prefect
Автор Анна ВичуговаКатегория AirFlow, Статьи
Дополняя наши курсы для дата-инженеров по Apache AirFlow полезными примерами, сегодня поговорим про сложности управления зависимыми конвейерами данных в этом batch-оркестраторе. Как решить проблемы связанных DAG’ов в AirFlow и в…
Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
Развивая наши курсы для дата-инженеров по Apache AirFlow, сегодня рассмотрим, как автоматизировать развертывание сложных DAG’ов с помощью Docker и Kubernetes на примере управления конвейерами обработки данных. Лучшие практики и советы…
Польза умных сенсоров Apache Airflow: Smart Sensor для LRLW-задач
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
Добавляя в наши курсы для дата-инженеров еще больше полезных примеров, сегодня рассмотрим, как Airbnb развивает Apache AirFlow и на практике используют эту платформу для создания, планирования и мониторинга конвейеров данных.…
Комбо Apache Airflow и NiFi для запланированного запуска ETL-конвейеров: практическая инженерия Big Data
Автор Анна ВичуговаКатегория AirFlow, NiFi, Статьи
Чтобы сделать наши курсы для дата-инженеров еще более полезными, сегодня рассмотрим, как объединить Apache NiFi и Airflow в рамках одного ETL-конвейера обработки данных. Читайте далее, зачем совмещать эти технологии и…
Синергия Apache Airflow и Ray для MLOps-конвейеров: инженерия Data Science
Автор Анна ВичуговаКатегория AirFlow, Machine Learning, Статьи
MLOps и построение конвейеров машинного обучения – одни из самых актуальных задач современной Data Science. Сегодня рассмотрим, чем совместное использование Apache Airflow и Ray полезно для дата-инженера и ML-разработчика. Читайте…
Соединения и хуки в Apache Airflow: разбираем на примере SQLite
Автор Роман КотюбеевКатегория AirFlow, Статьи
В прошлый раз мы говорили о способе взаимодействия задач между собой в Apache Airflow. Сегодня поговорим о таких сущностях, как соединение (connections) и хуки (hooks). Читайте в этой статье: что…
Как задачи в Airflow взаимодействуют друг с другом через XCom и Variables
Автор Роман КотюбеевКатегория AirFlow, Статьи
В одной из статей мы говорили о TaskFlow API, который позволяет задачам передавать и получить друг от друга информацию. За кулисами этого приема и передачи в Apache Airflow лежит XCom.…
