Дополняя наши курсы дата-инженеров полезными примерами, сегодня рассмотрим, как упростить разработку и мониторинг ETL-конвейеров с помощью дополнительных технологий Big Data, совместимых с Apache Spark. Читайте далее, когда и зачем инженеру…
Метка: Livy
Чем Apache Zeppelin лучше Jupyter Notebook для интерактивной аналитики Big Data: 4 ключевых преимущества
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
В этой статье мы рассмотрим, что такое Apache Zeppelin, как он полезен для интерактивной аналитики и визуализации больших данных (Big Data), а также чем этот инструмент отличается от популярного среди…
Как управлять собственным Data Flow на Apache Spark с NiFi через Livy: разбираемся с процессорами и контроллерами
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
Apache Livy полезен не только при организации конвейеров обработки больших данных (Big Data pipelines) на Spark и Airflow, о чем мы рассказывали здесь. Сегодня рассмотрим, как организовать запланированный запуск пакетных…
Apache Livy vs Oozie: сравнительный обзор инструментов удаленного запуска Spark-задач
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
Продолжая разговор про Apache Livy, сегодня мы сравним этот REST API для Spark c другой популярной Big Data системой планирования рабочих процессов для управления заданиями Hadoop – Oozie. Читайте в…
Что под капотом Apache Livy: принципы и особенности работы со Spark
Автор Анна ВичуговаКатегория AirFlow, Spark, Use Cases, Статьи
Вчера мы рассказывали про особенности совместного использования Apache Spark с Airflow и достоинства подключения Apache Livy к этой комбинации популярных Big Data фреймворков. Сегодня рассмотрим подробнее, как работает Apache Livy,…
Зачем вам Apache Livy или как скрестить Spark с Airflow для эффективных Big Data pipeline’ов
Автор Анна ВичуговаКатегория AirFlow, Internet of Things, Spark, Use Cases, Статьи
Сегодня поговорим про построение конвейеров обработки данных (data pipeline) на примере совместного использования Apache Spark с Airflow и рассмотрим типовые проблемы этой комбинации. Читайте в нашей статье, как автоматизировать задачи…
