Увеличение пропускной способности и повышение скорости обработки данных на любой Big Data платформе при приемлемых затратах – одна из главных задач дата-инженера. Сегодня мы рассмотрим, как улучшить производительность множества экземпляров…
Метка: ETL
Не только AirFlow: как упростить тестирование и отладку Big Data конвейеров из Spark-приложений с Dagster
Автор Анна ВичуговаКатегория AirFlow, Spark, Статьи
Apache Spark + AirFlow – известная каждому дата-инженеру комбинация технологий Big Data для запуска сложных конвейеров обработки данных. Но совместное использование этих фреймворков ограничено недостатками AirFlow, часть из которых можно…
Практическая дата-инженерия: мониторинг data pipeline’ов в Apache Airflow и Dagster
Автор Анна ВичуговаКатегория AirFlow, Статьи
Apache AirFlow – это не только инструмент планирования batch-процессов, но и средство мониторинга ETL-задач и конвейеров обработки данных. Однако, наблюдать за выполнением data pipeline’а в веб-интерфейсе этого фреймворка не всегда…
Планируем и запускаем дата-конвейеры с Apache AirFlow и Dagster
Автор Анна ВичуговаКатегория AirFlow, Статьи
Продолжая сравнивать Apache AirFlow с Dagster, сегодня рассмотрим особенности развертывания и эксплуатации этих оркестраторов ETL-процессов и конвейеров обработки данных. Читайте далее о плюсах изоляции процессов, отделения системных служб от пользовательского…
Apache AirFlow vs Dagster: еще одно сравнение Big Data и ML-оркестраторов
Автор Анна ВичуговаКатегория AirFlow, Статьи
Apache AirFlow – один из самых популярных инструментов современного дата-инженера для планирования и оркестрации batch-процессов. Повторить успех этого фреймворка стремятся многие компании и Big Data энтузиасты: недавно мы рассказывали про…
Аналитика больших данных с Apache Airflow без дата-инженера: Viewflow от DataCamp
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
В этой статье поговорим про Viewflow: что такое, как устроено, чем полезно аналитикам данных и Data Scientist’ам. Встречайте новый фреймворк на базе Apache AirFlow от DataCamp – американского edu-стартапа в…
3 технологии высокой доступности Greenplum для администратора Big Data кластера
Автор Анна ВичуговаКатегория Greenplum, Статьи
Продолжая рассказывать про наш новый курс «Greenplum для инженеров данных», сегодня рассмотрим некоторые особенности хранения данных в этой MPP-СУБД, а также разберем связанные с ними лучшие практики ее администрирования. Читайте…
3 оператора Apache Airflow для контейнерных конвейеров данных
Автор Анна ВичуговаКатегория AirFlow, Статьи
Совмещение Airflow с Kubernetes уже становится стандартом де-факто для дата-инженеров. Недавно мы рассказывали про 3 популярные среды развертывания и сопровождения этого ETL-фреймворка в Kubernetes. Продолжая эту тему, сегодня рассмотрим, какие…
Разделяй и властвуй: управление зависимыми DAG в Apache AirFlow
Автор Анна ВичуговаКатегория AirFlow, Статьи
Чтобы сделать обучение дата-инженеров еще более полезным, сегодня мы рассмотрим проблему управления взаимозависимыми цепочками задач в Apache AirFlow. Читайте далее, как бразильская ИТ-компания QuintoAndar разработала промежуточный компонент Mediator на базе…
15 советов по работе с DAG в Apache AirFlow: лучшие практики дата-инженера
Автор Анна ВичуговаКатегория AirFlow, Статьи
Практическое обучение дата-инженеров – это не просто курсы по основам Big Data, а полезные рекомендации с реальными примерами. Поэтому сегодня рассмотрим, как работать с DAG в Apache AirFlow еще эффективнее…
