Что такое AirFlow Kubernetes Operator и как это работает: обзор решений от K8s и Google

Автор Категория , ,
Что такое AirFlow Kubernetes Operator и как это работает: обзор решений от K8s и Google

Вчера мы рассказали, почему запускать Airflow на Kubernetes – это эффективно и выгодно для всех участников batch-процессов с большими данными (Big Data): разработчиков Data Flow, Data Scientist’ов, аналитиков и инженеров.…

AirFlow на Kubernetes: DevOps-подход к автоматизации batch-процессов в Big Data

Автор Категория , , ,
AirFlow на Kubernetes: DevOps-подход к автоматизации batch-процессов в Big Data

Чтобы обучение Airflow было максимально приближенным к практике, сегодня мы поговорим про особенности реального внедрения этого фреймворка для разработки, планирования и мониторинга пакетных процессов обработки больших данных (Big Data) с…

7 достоинств и 5 недостатков Apache AirFlow

Автор Категория , , , ,
7 достоинств и 5 недостатков Apache AirFlow

Продолжая говорить про обучение Airflow, сегодня мы рассмотрим ключевые преимущества и основные проблемы этой библиотеки для автоматизации часто повторяющихся batch-задач обработки больших данных (Big Data). Также мы собрали для вас…

ETL для пакетов Big Data: 3 примера использования Apache AirFlow

Автор Категория , , , , ,
ETL для пакетов Big Data: 3 примера использования Apache AirFlow

В этой статье мы поговорим про Apache AirFlow – эффективный инструмент для пакетных ETL-задач при работе с большими данными (Big Data): что это такое, как работает и чем полезен для…

Что такое AirFlow?

Автор Категория , ,

Планируем рабочие процессы вместе с Apache Airflow Почему Apache Airflow? Большинство процессов обработки данных строятся на определении набора «задач» для извлечения, анализа, преобразования, загрузки и хранения данных. Например, последовательность обработки…