Увеличение пропускной способности и повышение скорости обработки данных на любой Big Data платформе при приемлемых затратах – одна из главных задач дата-инженера. Сегодня мы рассмотрим, как улучшить производительность множества экземпляров…
Рубрика: AirFlow
Не только AirFlow: как упростить тестирование и отладку Big Data конвейеров из Spark-приложений с Dagster
Автор Анна ВичуговаКатегория AirFlow, Spark, Статьи
Apache Spark + AirFlow – известная каждому дата-инженеру комбинация технологий Big Data для запуска сложных конвейеров обработки данных. Но совместное использование этих фреймворков ограничено недостатками AirFlow, часть из которых можно…
Практическая дата-инженерия: мониторинг data pipeline’ов в Apache Airflow и Dagster
Автор Анна ВичуговаКатегория AirFlow, Статьи
Apache AirFlow – это не только инструмент планирования batch-процессов, но и средство мониторинга ETL-задач и конвейеров обработки данных. Однако, наблюдать за выполнением data pipeline’а в веб-интерфейсе этого фреймворка не всегда…
Планируем и запускаем дата-конвейеры с Apache AirFlow и Dagster
Автор Анна ВичуговаКатегория AirFlow, Статьи
Продолжая сравнивать Apache AirFlow с Dagster, сегодня рассмотрим особенности развертывания и эксплуатации этих оркестраторов ETL-процессов и конвейеров обработки данных. Читайте далее о плюсах изоляции процессов, отделения системных служб от пользовательского…
Apache AirFlow vs Dagster: еще одно сравнение Big Data и ML-оркестраторов
Автор Анна ВичуговаКатегория AirFlow, Статьи
Apache AirFlow – один из самых популярных инструментов современного дата-инженера для планирования и оркестрации batch-процессов. Повторить успех этого фреймворка стремятся многие компании и Big Data энтузиасты: недавно мы рассказывали про…
Аналитика больших данных с Apache Airflow без дата-инженера: Viewflow от DataCamp
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
В этой статье поговорим про Viewflow: что такое, как устроено, чем полезно аналитикам данных и Data Scientist’ам. Встречайте новый фреймворк на базе Apache AirFlow от DataCamp – американского edu-стартапа в…
3 оператора Apache Airflow для контейнерных конвейеров данных
Автор Анна ВичуговаКатегория AirFlow, Статьи
Совмещение Airflow с Kubernetes уже становится стандартом де-факто для дата-инженеров. Недавно мы рассказывали про 3 популярные среды развертывания и сопровождения этого ETL-фреймворка в Kubernetes. Продолжая эту тему, сегодня рассмотрим, какие…
Где развернуть Apache AirFlow: 3 инфраструктуры для дата-инженера
Автор Анна ВичуговаКатегория AirFlow, Статьи
Для практического использования Apache Airflow в production дата-инженеру необходимо не только обучение основам работы с этим фреймворком, но и знания о базовой инфраструктуре его развертывания. Поэтому сегодня поговорим о 3-х…
Разделяй и властвуй: управление зависимыми DAG в Apache AirFlow
Автор Анна ВичуговаКатегория AirFlow, Статьи
Чтобы сделать обучение дата-инженеров еще более полезным, сегодня мы рассмотрим проблему управления взаимозависимыми цепочками задач в Apache AirFlow. Читайте далее, как бразильская ИТ-компания QuintoAndar разработала промежуточный компонент Mediator на базе…
15 советов по работе с DAG в Apache AirFlow: лучшие практики дата-инженера
Автор Анна ВичуговаКатегория AirFlow, Статьи
Практическое обучение дата-инженеров – это не просто курсы по основам Big Data, а полезные рекомендации с реальными примерами. Поэтому сегодня рассмотрим, как работать с DAG в Apache AirFlow еще эффективнее…
