В предыдущей статье мы рассмотрели TaskFlow API, повившийся в Apache Airflow 2.0. Сегодня поговорим о способах задания операторов, отличных от PythonOperator, а также о способе группировки задач TaskGroup. Читайте в…
Метка: Python
Создавайте графы в Apache Airflow с помощью TaskFlow API
Автор Роман КотюбеевКатегория AirFlow, Статьи
В предыдущей статье мы говорили о том, как начать работать с Apache Airflow. Сегодня пойдет речь о новом инструменте, появившемся в Airflow 2, — TaskFlow API. Он обеспечивает кросс-коммуникацию между…
Начало работы с Apache Airflow
Автор Роман КотюбеевКатегория AirFlow, Статьи
В прошлой статье мы рассмотрели установку Apache Airflow на свой компьютер. Данная платформа предназначена для планирования задач, например, выполнения скриптов Bash и Python в заданное время, в заданной последовательности. Сегодня…
Как упростить загрузку данных в Data Lake с Apache AirFlow
Автор Анна ВичуговаКатегория AirFlow, Статьи
Чтобы добавить в курсы по Apache AirFlow еще больше полезных примеров, сегодня рассмотрим, как избежать дублирования кода при загрузке данных. Этот пример пригодится дата-инженерам в работе с ELT-процессами наполнения информацией…
Как создать микросервисный ML-конвейер в реальном времени на Apache Kafka и Spark
Автор Анна ВичуговаКатегория Kafka, Spark, Use Cases, Статьи
Чтобы дополнить наши курсы по Kafka и Spark интересными примерами, сегодня рассмотрим практический кейс разработки микросервисного конвейера машинного обучения на этих фреймворках. Читайте далее, зачем выносить ML-компонент в отдельное Python-приложение…
Непредсказуемость Apache Spark SQL и как от нее избавиться: про UDF и Catalyst
Автор Анна ВичуговаКатегория Spark, Статьи
Сегодня в рамках обучения разработчиков Apache Spark и дата-аналитиков, поговорим про детерминированность UDF-функций и особенности их обработки оптимизатором SQL-запросов Catalyst. На практических примерах рассмотрим, как оптимизатор Spark SQL обрабатывает недетерминированные…
В помощь дата-инженеру: 3 главных плюса реестра провайдеров Apache Airflow от Astronomer
Автор Анна ВичуговаКатегория AirFlow, Статьи
Мы уже писали про преимущества разделения пакетов в Apache AirFlow 2.0. Сегодня рассмотрим, как открытый реестр Python-пакетов от компании Astronomer облегчает разработку конвейеров обработки данных, чем провайдеры отличаются от модулей…
Динамическая генерация DAG в Apache Airflow: 5 способов автоматизации рутинных задач
Автор Анна ВичуговаКатегория AirFlow, Статьи
Сегодня рассмотрим, как упростить работу дата-инженера в Apache AirFlow, автоматизировав процесс создания DAG’ов из одного или нескольких Python-файлов. На практических примерах разберем достоинства и недостатки 5 способов динамической генерации, а…
Лучшие практики разработки Big Data pipeline’ов в Apache Airflow: 10 советов дата-инженеру
Автор Анна ВичуговаКатегория AirFlow, Статьи
В рамках практического обучения дата-инженеров сегодня мы собрали 10 лучших практик проектирования конвейеров обработки данных в рамках Apache AirFlow, которые касаются не только особенностей этого фреймворка. Также рассмотрим, какие принципы…
Кастомизация Apache Airflow: мониторинг исполнения Big Data pipeline’ов со своими KPI
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
Добавляя в наши курсы по Apache AirFlow еще больше полезных практик, сегодня разберем опыт дата-инженеров американской компании Groupon по настройке этого фреймворка. Читайте далее, как добавить собственные KPI исполнения конвейеров…
