В рамках обучения дата-инженеров, сегодня рассмотрим проблему роста числа операций ввода-вывода в секунду (IOPS) при обработке большого количества данных в потоках Apache NiFi и способы ее решения. Читайте далее, как…
Метка: Kafka
Cloudera Manager и еще 7 инструментов администратора для мониторинга Kafka-кластера
Автор Анна ВичуговаКатегория Kafka, Статьи
Обновляя наши курсы для администраторов Apache Kafka, в этой статье разберем полезные средства, которые помогут вам следить за состоянием кластера, чтобы вовремя заметить существующие и предупредить возможные проблемы. Читайте далее,…
Тонкости интеграции Apache Kafka с Pinot для аналитики больших данных в реальном времени
Автор Анна ВичуговаКатегория Kafka, Статьи
Продолжая вчерашний разговор про потоковую аналитику больших данных на Apache Kafka и Pinot, сегодня рассмотрим особенности интеграции этих систем. Читайте далее, как входные данные Kafka разделяются, реплицируются и индексируются в…
Микросервисная real-time аналитика больших данных: потоковый OLAP на Apache Kafka, Pinot, Debezium и CDC
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
В этой статье разберем несколько популярных сценариев потоковой аналитики больших данных на Kafka, CDC-платформе Debezium и быстром OLAP-хранилище Apache Pinot. Читайте далее, почему все эти Big Data технологии отлично подходят…
7 важных функций, которых еще нет в новой Apache Kafka без Zookeeper
Автор Анна ВичуговаКатегория Kafka, Статьи
Вчера мы упоминали, как долгожданный KIP-500, реализованный в марте 2021 года, позволяет не только отказаться от Zookeeper в кластере Apache Kafka, но и снимает ограничение числа разделов, чтобы масштабировать брокеры…
Сколько разделов вам нужно и при чем здесь KIP-500: разбираемся с партиционированием в Apache Kafka
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня рассмотрим важную практическую задачу из курсов Kafka для разработчиков и администраторов кластера – разделение топиков по брокерам. Читайте далее, как пропускная способность всей Big Data системы зависит от числа…
Как достичь дзена CAP-теоремы в распределенных микросервисах или eventual consistency с Apache Kafka Streams
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
Продолжая включать интересные практические примеры в наши курсы Apache Kafka для разработчиков, сегодня поговорим о согласованности в распределенных системах с высокой доступностью. Читайте далее, что такое eventual consistency, почему это…
Как построить свой OAuth с аутентификацией и авторизацией для Kafka: кейс BlackRock
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
Чтобы сделать наши курсы по Apache Kafka еще более полезными, сегодня мы поговорим про базовые и расширенные возможности обеспечения информационной безопасности этой Big Data платформы. А в качестве практического примера…
Премиум-коннектор в люксовый enterprise: интеграция Apache Kafka с Oracle Database
Автор Анна ВичуговаКатегория Kafka, Статьи
В феврале 2021 года разработчики корпоративной версии Apache Kafka с коммерческой поддержкой, компания Confluent, выпустили премиум-коннектор к Oracle – одной из главных реляционных баз данных мира enterprise. Разбираемся, кому и…
От пакетного до потокового озера данных с Apache Kafka: кейс компании Trainline
Автор Анна ВичуговаКатегория Kafka, Статьи
Постоянно добавляя в наши курсы Apache Kafka для разработчиков интересные и практические примеры, сегодня мы разберем кейс тревел-площадки Trainline, которая агрегирует данные от 270 железнодорожных и автобусных компаний в 45…
