Apache Spark + AirFlow – известная каждому дата-инженеру комбинация технологий Big Data для запуска сложных конвейеров обработки данных. Но совместное использование этих фреймворков ограничено недостатками AirFlow, часть из которых можно…
Метка: Python
Практическая дата-инженерия: мониторинг data pipeline’ов в Apache Airflow и Dagster
Автор Анна ВичуговаКатегория AirFlow, Статьи
Apache AirFlow – это не только инструмент планирования batch-процессов, но и средство мониторинга ETL-задач и конвейеров обработки данных. Однако, наблюдать за выполнением data pipeline’а в веб-интерфейсе этого фреймворка не всегда…
Планируем и запускаем дата-конвейеры с Apache AirFlow и Dagster
Автор Анна ВичуговаКатегория AirFlow, Статьи
Продолжая сравнивать Apache AirFlow с Dagster, сегодня рассмотрим особенности развертывания и эксплуатации этих оркестраторов ETL-процессов и конвейеров обработки данных. Читайте далее о плюсах изоляции процессов, отделения системных служб от пользовательского…
Apache AirFlow vs Dagster: еще одно сравнение Big Data и ML-оркестраторов
Автор Анна ВичуговаКатегория AirFlow, Статьи
Apache AirFlow – один из самых популярных инструментов современного дата-инженера для планирования и оркестрации batch-процессов. Повторить успех этого фреймворка стремятся многие компании и Big Data энтузиасты: недавно мы рассказывали про…
Аналитика больших данных с Apache Airflow без дата-инженера: Viewflow от DataCamp
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
В этой статье поговорим про Viewflow: что такое, как устроено, чем полезно аналитикам данных и Data Scientist’ам. Встречайте новый фреймворк на базе Apache AirFlow от DataCamp – американского edu-стартапа в…
3 оператора Apache Airflow для контейнерных конвейеров данных
Автор Анна ВичуговаКатегория AirFlow, Статьи
Совмещение Airflow с Kubernetes уже становится стандартом де-факто для дата-инженеров. Недавно мы рассказывали про 3 популярные среды развертывания и сопровождения этого ETL-фреймворка в Kubernetes. Продолжая эту тему, сегодня рассмотрим, какие…
Машинное обучение с Apache Spark: битва пакетов или отличия библиотек MLLib от ML
Автор Анна ВичуговаКатегория Machine Learning, Spark, Статьи
Сегодня рассмотрим Apache Spark с точки зрения Data Science специалиста: поговорим про сходства и отличия библиотек машинного обучения в этом фреймворке. Также ответим на вопрос «Spark ML vs MLLib», разберем,…
На заметку разработчику: 3 причуды Apache Spark и как с ними бороться
Автор Анна ВичуговаКатегория Spark, Статьи
Развивая наши курсы по Apache Spark, сегодня мы рассмотрим несколько особенностей, с разработчик которыми может столкнуться при выполнении обычных операции, от чтения архивированного файла до обращения к сервисам Amazon. Читайте…
Вспомнить все: 6 сегментов памяти Apache Spark и параметры их конфигурирования
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье продолжим говорить про обучение разработчиков Apache Spark и рассмотрим, какие сегменты памяти есть в этом Big Data фреймворке и как с ними работать наиболее эффективно. Читайте далее,…
15 советов по работе с DAG в Apache AirFlow: лучшие практики дата-инженера
Автор Анна ВичуговаКатегория AirFlow, Статьи
Практическое обучение дата-инженеров – это не просто курсы по основам Big Data, а полезные рекомендации с реальными примерами. Поэтому сегодня рассмотрим, как работать с DAG в Apache AirFlow еще эффективнее…
