Мониторинг Apache Airflow через Slack

Автор Категория ,
Мониторинг Apache Airflow через Slack

В этой статье для разработчиков Data Flow, инженеров данных и администраторов Apache AirFlow рассмотрим, как организовать мониторинг этого batch-оркестратора через популярный корпоративный мессенджер Slack. Хотя по умолчанию Airflow имеет встроенную…

Синергия Apache Airflow и Great Expectations для высокого качества больших данных

Автор Категория ,
Синергия Apache Airflow и Great Expectations для высокого качества больших данных

Сегодня рассмотрим, что такое Great Expectations, чем этот инструмент полезен для специалистов по Data Science и дата-инженеров, а также как связать его с Apache Airflow, какую пользу это принесет в…

Apache Airflow vs Beam: сходства и отличия

Автор Категория ,
Apache Airflow vs Beam: сходства и отличия

В этой статье по обучению дата-инженеров разберем, что такое Apache Beam, чем этот фреймворк отличается от AirFlow и что между ними общего. На первый взгляд Apache Airflow и Beam являются…

Управление зависимостями между конвейерами данных в Apache Airflow и Prefect

Автор Категория ,
Управление зависимостями между конвейерами данных в Apache Airflow и Prefect

Дополняя наши курсы для дата-инженеров по Apache AirFlow полезными примерами, сегодня поговорим про сложности управления зависимыми конвейерами данных в этом batch-оркестраторе. Как решить проблемы связанных DAG’ов в AirFlow и в…

Как организовать Feature Engineering на SQL-запросах: инженерия Data Science

Автор Категория ,
Как организовать Feature Engineering на SQL-запросах: инженерия Data Science

В рамках наших курсов для дата-инженеров и специалистов в области Data Science, сегодня рассмотрим, как реализовать один из важнейших этапов машинного обучения – Feature Engineering. Читайте далее, как генерировать признаки…

Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand

Автор Категория , ,
Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand

Развивая наши курсы для дата-инженеров по Apache AirFlow, сегодня рассмотрим, как автоматизировать развертывание сложных DAG’ов с помощью Docker и Kubernetes на примере управления конвейерами обработки данных. Лучшие практики и советы…

Польза умных сенсоров Apache Airflow: Smart Sensor для LRLW-задач

Автор Категория , ,
Польза умных сенсоров Apache Airflow: Smart Sensor для LRLW-задач

Добавляя в наши курсы для дата-инженеров еще больше полезных примеров, сегодня рассмотрим, как Airbnb развивает Apache AirFlow и на практике используют эту платформу для создания, планирования и мониторинга конвейеров данных.…

Комбо Apache Airflow и NiFi для запланированного запуска ETL-конвейеров: практическая инженерия Big Data

Автор Категория , ,
Комбо Apache Airflow и NiFi для запланированного запуска ETL-конвейеров: практическая инженерия Big Data

Чтобы сделать наши курсы для дата-инженеров еще более полезными, сегодня рассмотрим, как объединить Apache NiFi и Airflow в рамках одного ETL-конвейера обработки данных. Читайте далее, зачем совмещать эти технологии и…

Синергия Apache Airflow и Ray для MLOps-конвейеров: инженерия Data Science

Автор Категория , ,
Синергия Apache Airflow и Ray для MLOps-конвейеров: инженерия Data Science

MLOps и построение конвейеров машинного обучения – одни из самых актуальных задач современной Data Science. Сегодня рассмотрим, чем совместное использование Apache Airflow и Ray полезно для дата-инженера и ML-разработчика. Читайте…

Соединения и хуки в Apache Airflow: разбираем на примере SQLite

Автор Категория ,
Соединения и хуки в Apache Airflow: разбираем на примере SQLite

В прошлый раз мы говорили о способе взаимодействия задач между собой в Apache Airflow. Сегодня поговорим о таких сущностях, как соединение (connections) и хуки (hooks). Читайте в этой статье: что…