Интеграция Apache Airflow с инструментами CI/CD является одной из лучших практик современной дата-инженерии, о чем мы недавно писали. Читайте далее, зачем нужно управлять кодом DAG с помощью популярных систем управления…
Метка: DAG
От контекста до драйвера: что под капотом Spark-приложения
Автор Анна ВичуговаКатегория Spark, Статьи
Поскольку наши курсы по Apache Spark предполагают практическое обучение с глубоким погружением в особенности разработки и настройки распределенных приложений, сегодня рассмотрим, как именно выполняются кластерные вычисления в рамках этого Big…
3 новинки для DAG в Apache AirFlow 2.0
Автор Анна ВичуговаКатегория AirFlow, Статьи
В поддержку наших полностью обновленных авторских курсов для инженеров данных по Apache AirFlow, сегодня рассмотрим новые способы определения DAG, которые были добавлены в релизе 2.0. Читайте далее, что под капотом…
Apache Airflow
Автор Nikolay KomissarenkoКатегория AirFlow, Новости, СтатьиВ этой статье я бы хотел рассказать об основных концепциях Airflow и как с ним работать. Что такое Airflow? Airflow – это open-source оркестратор для управления процессами загрузки и обработки…
Что такое AirFlow?
Автор Nikolay KomissarenkoКатегория AirFlow, Новости, СтатьиПланируем рабочие процессы вместе с Apache Airflow Почему Apache Airflow? Большинство процессов обработки данных строятся на определении набора «задач» для извлечения, анализа, преобразования, загрузки и хранения данных. Например, последовательность обработки…
