Бессерверный парсинг веб-сайтов на Apache NiFi и OpenFaaS с Selenium

Автор Категория ,
Бессерверный парсинг веб-сайтов на Apache NiFi и OpenFaaS с Selenium

Сегодня разберемся с serverless-технологиями и рассмотрим, как самостоятельно создать и интегрировать бессерверный парсер Selenium с Apache Nifi. Краткий ликбез по OpenFaaS, Selenium и Chromium, а также преимущества serverless-технологий и пример…

Apache Kafka на Kubernetes vs KubeMQ

Автор Категория ,
Apache Kafka на Kubernetes vs KubeMQ

Недавно мы рассказывали про KubeMQ – stateless-сервис обмена сообщениями для Kubernetes, который может заменить собой сложное развертывание Apache Kafka на этой платформе управления контейнерами. Сегодня разберем, как устроен KubeMQ и…

Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand

Автор Категория , ,
Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand

Развивая наши курсы для дата-инженеров по Apache AirFlow, сегодня рассмотрим, как автоматизировать развертывание сложных DAG’ов с помощью Docker и Kubernetes на примере управления конвейерами обработки данных. Лучшие практики и советы…

Apache NiFi 1.15.0: что нового в ноябрьском релизе 2021?

Автор Категория ,
Apache NiFi 1.15.0: что нового в ноябрьском релизе 2021?

7 ноября 2021 года вышел очередной релиз Apache NiFi с новыми фичами, улучшениями и исправлениями ошибок. Краткий обзор самых важных новинок: от постоянного хранилища для stateless-потоков и настроек облачных провайдеров…

Зачем вам KubeMQ: брокер сообщений для Kubernetes вместо Apache Kafka

Автор Категория ,
Зачем вам KubeMQ: брокер сообщений для Kubernetes вместо Apache Kafka

Мы уже писали о сложностях развертывания Apache Kafka на платформе управления контейнерами Kubernetes. Некоторые из этих проблем отлично решает KubeMQ – брокер очередей сообщений на Kubernetes. Зачем нужна очередная служба…

Контейнеризация Apache NiFi: безопасность конвейеров и потоков данных с Docker и Kubernetes

Автор Категория ,
Контейнеризация Apache NiFi: безопасность конвейеров и потоков данных с Docker и Kubernetes

Сегодня рассмотрим, как организовать полностью сохраняемый сервис Apache NiFi с помощью Docker, чтобы обеспечить безопасность конвейеров и потоков данных при изменении конфигураций и перезапуске служб. А также разберем, как дата-инженеру…

Как Apache AirFlow под капотом Zapier обеспечивает low-code интеграцию веб-приложений

Автор Категория ,
Как Apache AirFlow под капотом Zapier обеспечивает low-code интеграцию веб-приложений

Инженерия данных нужна не только большим компаниям с крупными Big Data проектами. Сегодня рассмотрим, как Apache AirFlow повышает эффективность low-code фреймворка Zapier с помощью своего REST API и Amazon SQS.…

Как создать микросервисный ML-конвейер в реальном времени на Apache Kafka и Spark

Автор Категория , , ,
Как создать микросервисный ML-конвейер в реальном времени на Apache Kafka и Spark

Чтобы дополнить наши курсы по Kafka и Spark интересными примерами, сегодня рассмотрим практический кейс разработки микросервисного конвейера машинного обучения на этих фреймворках. Читайте далее, зачем выносить ML-компонент в отдельное Python-приложение…

3 оператора Apache Airflow для контейнерных конвейеров данных

Автор Категория ,
3 оператора Apache Airflow для контейнерных конвейеров данных

Совмещение Airflow с Kubernetes уже становится стандартом де-факто для дата-инженеров. Недавно мы рассказывали про 3 популярные среды развертывания и сопровождения этого ETL-фреймворка в Kubernetes. Продолжая эту тему, сегодня рассмотрим, какие…

3 достоинства и пара недостатков Apache Spark на Kubernetes

Автор Категория ,
3 достоинства и пара недостатков Apache Spark на Kubernetes

С учетом тренда на контейнеризацию при разработке и развертывании любых технологий, в т.ч. Big Data, сегодня рассмотрим плюсы и минусы совместного использования Apache Spark с Kubernetes. Читайте далее, как отправить…