Чтобы добавить в наши обновленные авторские курсы для дата-инженеров по Apache AirFlow еще больше интересного, сегодня продолжим разбирать полезные дополнения релиза 2.0 и поговорим, почему разделение фреймворка на пакеты делает…
Рубрика: AirFlow
3 новинки для DAG в Apache AirFlow 2.0
Автор Анна ВичуговаКатегория AirFlow, Статьи
В поддержку наших полностью обновленных авторских курсов для инженеров данных по Apache AirFlow, сегодня рассмотрим новые способы определения DAG, которые были добавлены в релизе 2.0. Читайте далее, что под капотом…
Насколько ты знаком с Apache AirFlow: открытый тест для инженеров Big Data
Автор Анна ВичуговаКатегория AirFlow, Тесты
Хорошие курсы дата-инженеров предполагают не только изучение теории и практики, но и проверку полученных знаний. Поэтому сегодня мы предлагаем вам открытый интерактивный тест по Apache AirFlow. Ответьте на 10 простых…
Как протестировать Big Data Pipeline: тесты для Hadoop-конвейеров в Spark и Airflow
Автор Анна ВичуговаКатегория AirFlow, Spark, Статьи
Поскольку курсы инженеров Big Data предполагают практическое обучение на реальных кейсах, сегодня поговорим про тестирование конвейеров обработки и аналитики больших данных и разберем несколько прикладных примеров для компонентов экосистемы Apache…
Сложности перехода: 3 проблемы миграции на Apache AirFlow 2.0 и их решения
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
В рамках обучения инженеров больших данных, вчера мы рассказывали о новой версии Apache AirFlow 2.0, вышедшей в декабре 2020 года. Сегодня рассмотрим особенности перехода на этот релиз: в чем сложности…
Apache AirFlow 2.0: что нового?
Автор Анна ВичуговаКатегория AirFlow, Статьи
В конце 2020 года вышел мажорный релиз Apache AirFlow, основные фишки которого мы рассмотрим в этой статье. Читайте далее про 10 главных обновлений Apache AirFlow 2.0, благодаря которым этот DataOps-инструмент…
10 вопросов на знание основ Big Data: открытый интерактивный тест для начинающих
Автор Анна ВичуговаКатегория AirFlow, Hive, Kafka, Machine Learning, Spark, Use Cases, Статьи, Тесты
Чтобы сделать самостоятельное обучение технологиям Big Data по статьям нашего блога еще более интересным, сегодня мы предлагаем вам простой интерактивный тест по основам больших данных, включая администрирование кластеров, инженерию конвейеров…
Борьба за качество больших данных в Airbnb: 3 направления для Big Data Quality
Автор Анна ВичуговаКатегория AirFlow, Spark, Use Cases, Статьи
Аналитика больших данных напрямую связана с их качеством, которое необходимо отслеживать на каждом этапе непрерывного конвейера их обработки (Pipeline). Сегодня рассмотрим методы и средства обеспечения Data Quality на примере корпорации…
Чем отличаются Apache AirFlow и Luigi: выбираем оркестратор для Big Data Pipeline'ов
Автор Анна ВичуговаКатегория AirFlow, Hive, Статьи
Продвигая наши курсы по Apache AirFlow для инженеров Big Data, сегодня расскажем, чем этот фреймворк отличается от Luigi – другого достаточно известного инструмента оркестровки ETL-процессов и конвейеров обработки больших данных.…
Не только AirFlow: Apache Luigi и еще 3 ETL-оркестратора для Big Data Pipeline'ов
Автор Анна ВичуговаКатегория AirFlow, Machine Learning, Use Cases, Статьи
Чтобы максимально приблизить обучение Airflow к практической работе дата-инженера, сегодня мы рассмотрим, какие еще есть альтернативы для оркестрации ETL-процессов и конвейеров обработки больших данных. Читайте далее, что такое Luigi, Argo,…
