Сегодня рассмотрим проблему обработки больших сообщений в Apache Kafka Streams и способы ее решения с помощью средства сериализации и десериализации (SerDe) от немецкой ИТ-компании Bakdata. Узнайте, почему максимального лимита конфигурации…
Метка: Kafka
Как устроен JDBC-коннектор источника Kafka Confluent и при чем здесь реестр схем
Автор Анна ВичуговаКатегория Kafka, Статьи
Недавно мы рассматривали пример потоковой передачи данных между реляционными СУБД с помощью готовых JDBC-коннекторов через cURL-вызовы к REST API Kafka Connect. Сегодня заглянем под капот такой интеграции и разберем подробнее,…
3 вопроса про Apache NiFi от дата-инженеров: отвечает Cloudera
Автор Анна ВичуговаКатегория Cloudera, NiFi, Use Cases, Статьи
Запуская наш новый курс по Apache NiFi для инженеров данных, сегодня рассмотрим 3 популярных вопроса про этот Big Data фреймворк с комментариями компании Cloudera. Читайте далее, может ли NiFi заменить…
Всего 2 cURL-вызова для потокового обновления данных с Apache Kafka Connect
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
Сегодня в рамках обучения разработчиков распределенных приложений и дата-инженеров рассмотрим практический пример потоковой интеграции данных из 2-х разных источников с Apache Kafka. Читайте далее, как мгновенно передать данные между реляционными…
RocksDB как хранилище состояний для stateful-приложений Apache Flink
Автор Анна ВичуговаКатегория Flink, Статьи
Мы уже рассказывали, что приложения Kafka Streams используют RocksDB в качестве хранилища состояний. Сегодня рассмотрим, как это key-value NoSQL-СУБД используется для разработки stateful-приложений Apache Flink. Читайте далее о преимуществах и…
Согласованность и полнота распределенной обработки потоков в Apache Kafka Streams
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня рассмотрим 2 важных понятия архитектуры распределенных систем для хранения и аналитики больших данных на примере платформы потоковой обработки событий Apache Kafka.Читайте далее, что такое согласованность и полнота, а также…
Кейс потоковой аналитики больших данных с Apache Kafka, Spark (Flink) и BI-системами
Автор Анна ВичуговаКатегория Flink, Greenplum, Kafka, Machine Learning, Spark, Use Cases, Статьи
Сегодня рассмотрим пример построения системы потоковой аналитики больших данных на базе Apache Kafka, Spark, Flink, NoSQL-СУБД, BI-системой Tableau или визуализацией в Kibana. Читайте далее, кому и зачем исследовать Twitter-посты в…
3 проблемы приложений Apache Kafka Streams из-за RocksDB и способы их решения
Автор Анна ВичуговаКатегория Kafka, Статьи
Вчера мы рассказывали, почему некоторые OOM-ошибки stateful-приложений Kafka Streams могут быть вызваны некорректной работой RocksDB – встроенного key-value NoSQL-хранилище состояний. Сегодня рассмотрим, какие проблемы с дисковыми операциями характерны для этой…
Исправляем OOM-ошибки приложений Apache Kafka Streams через конфигурирование RocksDB
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня заглянем под капот stateful-приложений Kafka Streams и рассмотрим, что такое RocksDB, как устроено это key-value NoSQL-хранилище и почему его необходимо настраивать для быстрой и безотказной работы приложений потоковой аналитики…
Real-time аналитика больших данных о сетевом трафике с Apache Kafka и Spark
Автор Анна ВичуговаКатегория Kafka, Spark, Use Cases, Статьи
Продолжая добавлять в наши практические курсы по Apache Kafka и Spark еще больше интересных примеров, сегодня рассмотрим, как с помощью этих технологий Big Data анализировать метаданные сетевых потоков в реальном…
