AirFlow

Что такое AirFlow

Apache AirFlow — это open-source инструмент, который позволяет разрабатывать, планировать и осуществлять мониторинг сложных рабочих процессов. Главной особенностью является то, что для описания процессов используется язык программирования Python. Airflow используется как планировщик ETL/ELT-процессов.

Основные сущности рабочего процесса на Apache Airflow:

  • Направленные ациклические графы (DAG)
  • Планировщик (Scheduler)
  • Операторы (Operators)
  • Задачи (Tasks)

DAG узнать на курсах по Apache AirFlow в Школе Больших Данных г. Москва


Подробнее о том, как используется AirFlow на практике, мы рассказываем в отдельной статье на примере реальных кейсов из Mail.ru, онлайн-кинотеатра IVI и маркетплейса одежды и аксессуаров Lamoda.

Курс Apache AirFlow

Что такое AirFlow?