Снова про Apache Kafka на Kubernetes: Strimzi в помощь

Автор Категория ,
Снова про Apache Kafka на Kubernetes: Strimzi в помощь

При том, что развертывание и эксплуатация Apache Kafka на Kubernetes требуют от администратора кластера много сил и времени, эта идея имеет массу достоинств, о чем мы писали здесь. Поэтому появляются…

Потоковый веб-парсинг на Apache Flink + RabbitMQ: кейс от дата-инженеров FiscalNote

Автор Категория ,
Потоковый веб-парсинг на Apache Flink + RabbitMQ: кейс от дата-инженеров FiscalNote

В этой статье для дата-инженеров и разработчиков распределенных приложений разберем кейс американской ИТ-компании FiscalNote, которая использует Apache Flink в качестве движка потоковой обработки информации со сторонних веб-сайтов. Трудности сериализации сообщений…

ksqlDB 0.22.0: ноябрьское обновление компонента Apache Kafka от Confluence

Автор Категория ,
ksqlDB 0.22.0: ноябрьское обновление компонента Apache Kafka от Confluence

3 ноября 2021 года компания Confluent, которая занимается продвижением и коммерциализацией Apache Kafka, выпустила новый релиз ksqlDB, который включает 20 исправленных ошибок и 18 добавленных фич. Самое интересное в выпуске…

Greenplum под защитой: настраиваем Kerberos

Автор Категория ,
Greenplum под защитой: настраиваем Kerberos

В этой статье для администраторов Greenplum рассмотрим, как настроить систему сетевой защиты Kerberos для этой MPP-СУБД, чтобы контролировать доступ к хранящимся в ней данным с помощью сервера аутентификации. А также…

Повышаем устойчивость приложений Apache Kafka через обработку исключений

Автор Категория ,
Повышаем устойчивость приложений Apache Kafka через обработку исключений

Сегодня разберем практический вопрос из обучения администраторов кластера Apache Kafka и разработчиков распределенных приложений. Про исключения в Kafka-приложениях: какие они бывают, почему случаются, с какими параметрами конфигурации связаны и что…

Savepoint vs Checkpoint в Apache Flink: сходства и отличия

Автор Категория ,
Savepoint vs Checkpoint в Apache Flink: сходства и отличия

Разбираемся с механизмами отказоустойчивости Flink-приложений. Что такое контрольные точки (Checkpoint), чем они отличаются от точек сохранения (Savepoint) и что между ними общего. А также при чем здесь snapshot, что выбирать…

10 важных конфигураций Apache Kafka для практической работы

Автор Категория ,
10 важных конфигураций Apache Kafka для практической работы

Чтобы сделать наши курсы по Apache Kafka для администраторов кластеров и разработчиков распределенных приложений еще более полезными, сегодня рассмотрим несколько полезных и значимых конфигурационных параметров этой платформы потоковой передачи событий.…

Последний релиз 2021: новинки Apache NiFi 1.15.2

Автор Категория ,
Последний релиз 2021: новинки Apache NiFi 1.15.2

Всего через 1,5 месяца после выпуска версии 1.15.0, 22 декабря 2021 года вышел очередной релиз Apache NiFi. Разбираем главные новинки и исправленные баги, а также смотрим, как команда разработчиков решила…

Управление состояниями в Apache Flink: краткий ликбез

Автор Категория ,
Управление состояниями в Apache Flink: краткий ликбез

Что такое состояния в приложениях Apache Flink, каких видов они бывают, как ими управлять и зачем это нужно: основы разработки stateful-заданий и API DataStream. Чем состояние с ключом отличается от…

Миллиарды сообщений в секунду: микросервисная ML-система на Apache Kafka и DynamoDB

Автор Категория , ,
Миллиарды сообщений в секунду: микросервисная ML-система на Apache Kafka и DynamoDB

В этой статье разберем кейс бразильской фудтех-компании Ifood по реализации микросервисной ML-системы на Apache Kafka и serverless NoSQL-СУБД DynamoDB с пропускной способностью миллиарды сообщений в секунду. Сложности масштабирования микросервисов и…