Продолжая разговор про оптимизацию приложений Apache Spark в Kubernetes, сегодня разберем, как сократить расходы на облачный кластер с помощью спотовых узлов. А в качестве практического примера рассмотрим кейс компании Weather2020,…
Метка: DevOps
Оптимизация Apache Spark на Kubernetes: 4 способа ускорить контейнеризованные приложения
Автор Анна ВичуговаКатегория Spark, Статьи
Недавно мы рассказывали об особенностях запуска приложений Apache Spark в кластере Kubernetes с учетом новшеств релиза 3.1.1, где с этого варианта развертывания снят экспериментальный режим. В дополнение к ранее рассмотренным…
7 функций общей доступности Kubernetes в Apache Spark 3.1.1: мартовский релиз 2021
Автор Анна ВичуговаКатегория Spark, Статьи
Вчера мы упоминали, что с марта 2021 года в версии Apache Spark 3.1.1 с развертывания на Kubernetes снят экспериментальный режим, внесено множество улучшений для стабильной работы контейниризованных приложений и добавлены…
3 достоинства и пара недостатков Apache Spark на Kubernetes
Автор Анна ВичуговаКатегория Spark, Статьи
С учетом тренда на контейнеризацию при разработке и развертывании любых технологий, в т.ч. Big Data, сегодня рассмотрим плюсы и минусы совместного использования Apache Spark с Kubernetes. Читайте далее, как отправить…
Потоковая аналитика больших данных с ksqlDB на Kubernetes: практический пример
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
В этой статье поговорим про KSQL на примере кейса компании американской компании Pluralsight, которая предлагает различные обучающие видео-курсы для разработчиков ПО, ИТ-администраторов и творческих профессионалов. Читайте далее, как использовать Apache…
Пробуем приложения Apache Kafka Streams в Kubernetes: probe-механизм и проблемы stateful
Автор Анна ВичуговаКатегория Kafka, Статьи
Вчера мы говорили про сложности развертывания множества stateful-приложений Apache Kafka Streams в кластере Kubernetes и роль контроллера StatefulSet, который поддерживает состояние реплицированных задач за пределами жизненного цикла отдельных подов. В…
Как ваше состояние: запуск stateful-приложений Apache Kafka Streams в Kubernetes
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня рассмотрим особенности запуска приложений Apache Kafka Streams для потоковой обработки больших данных с отслеживанием состояния в кластере Kubernetes. Читайте далее, в чем проблема управления stateful-приложениями Kafka Streams в Kubernetes…
Как спроектировать идеальный Big Data Pipeline: 5 главных качеств конвейера обработки больших данных с примерами
Автор Анна ВичуговаКатегория Hive, Spark, Use Cases, Статьи
В этой статье разберем ключевые характеристики идеального конвейера обработки больших данных. Читайте далее, чем отличается Big Data Pipeline, а также какие приемы и технологии помогут инженеру данных спроектировать и реализовать…
Apache Kafka и прочая Big Data для железнодорожников: кейс Deutsche Bahn
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
Чтобы добавить в наш новый курс по Apache Kafka для разработчиков еще больше практических примеров, сегодня мы приготовили для вас кейс немецкой железнодорожной компании Deutsche Bahn AG. Читайте далее, почему…
От open-source до Confluent: 3 клиента Python для Apache Kafka
Автор Анна ВичуговаКатегория Kafka, Статьи
Развивая наш новый курс по Apache Kafka для разработчиков, сегодня мы рассмотрим 3 способа о взаимодействии с этой популярной Big Data платформой потоковой обработки событий с помощью языка Python, который…
