При том, что Apache Airflow сегодня считается главным инструментом дата-инженерии, он далеко не единственное средство оркестрации пакетных заданий и построения конвейеров обработки больших данных. В рамках продвижения наших курсов для…
Рубрика: AirFlow
Строим масштабируемые ETL/ELT-конвейеры обработки данных с Apache Spark и AirFlow: 4 совета дата-инженеру
Автор Анна ВичуговаКатегория AirFlow, Spark, Статьи
В этой статье для дата-инженеров мы собрали лучшие практики построения масштабируемых конвейеров обработки данных, а также популярные рекомендации по проектированию ETL/ELT-процессов с Apache Spark, AirFlow и другими технологиями Big Data.…
Airflow и TaskFlow: композиция операторов и задач с TaskGroup
Автор Роман КотюбеевКатегория AirFlow, Статьи
В предыдущей статье мы рассмотрели TaskFlow API, повившийся в Apache Airflow 2.0. Сегодня поговорим о способах задания операторов, отличных от PythonOperator, а также о способе группировки задач TaskGroup. Читайте в…
Создавайте графы в Apache Airflow с помощью TaskFlow API
Автор Роман КотюбеевКатегория AirFlow, Статьи
В предыдущей статье мы говорили о том, как начать работать с Apache Airflow. Сегодня пойдет речь о новом инструменте, появившемся в Airflow 2, — TaskFlow API. Он обеспечивает кросс-коммуникацию между…
Начало работы с Apache Airflow
Автор Роман КотюбеевКатегория AirFlow, Статьи
В прошлой статье мы рассмотрели установку Apache Airflow на свой компьютер. Данная платформа предназначена для планирования задач, например, выполнения скриптов Bash и Python в заданное время, в заданной последовательности. Сегодня…
2 способа установки Apache Airflow
Автор Роман КотюбеевКатегория AirFlow, Статьи
Apache Airflow имеет множество зависимостей, поэтому установка может быть проблематичной. В отличие от 1-й версии, Airflow 2 устанавливается гораздо проще. В этой статье разберем установку Apache Airflow через пакетный менеджер…
Как Apache AirFlow под капотом Zapier обеспечивает low-code интеграцию веб-приложений
Автор Анна ВичуговаКатегория AirFlow, Статьи
Инженерия данных нужна не только большим компаниям с крупными Big Data проектами. Сегодня рассмотрим, как Apache AirFlow повышает эффективность low-code фреймворка Zapier с помощью своего REST API и Amazon SQS.…
Как упростить загрузку данных в Data Lake с Apache AirFlow
Автор Анна ВичуговаКатегория AirFlow, Статьи
Чтобы добавить в курсы по Apache AirFlow еще больше полезных примеров, сегодня рассмотрим, как избежать дублирования кода при загрузке данных. Этот пример пригодится дата-инженерам в работе с ELT-процессами наполнения информацией…
В помощь дата-инженеру: 3 главных плюса реестра провайдеров Apache Airflow от Astronomer
Автор Анна ВичуговаКатегория AirFlow, Статьи
Мы уже писали про преимущества разделения пакетов в Apache AirFlow 2.0. Сегодня рассмотрим, как открытый реестр Python-пакетов от компании Astronomer облегчает разработку конвейеров обработки данных, чем провайдеры отличаются от модулей…
Динамическая генерация DAG в Apache Airflow: 5 способов автоматизации рутинных задач
Автор Анна ВичуговаКатегория AirFlow, Статьи
Сегодня рассмотрим, как упростить работу дата-инженера в Apache AirFlow, автоматизировав процесс создания DAG’ов из одного или нескольких Python-файлов. На практических примерах разберем достоинства и недостатки 5 способов динамической генерации, а…
